dataloder加载出错

Question

dataloder加载出错

zhw666888 opened this issue 3 years ago · 10 comments

dataloder加载出错

Answer 1 · 2021-06-07T11:41:37.000Z

Could you paste your train log (including the error information) here?

Answer 2 · 2021-06-07T13:03:41.000Z

你好，bert系列模型中的data_loader文件单独运行会，报错： line 96, in collate_fn     batch_labels[j][:cur_tags_len] = labels[j] ValueError: could not broadcast input array from shape (141,) into shape (140,) 我目前对此报错不得理解，因为同样的操作，但却有10来条数据缺确实会造成这样的错误，但是总体去运行似乎并没有见到这个报错。

…

------------------ 原始邮件 ------------------ 发件人: "hemingkx/CLUENER2020" ***@***.***>; 发送时间: 2021年6月7日(星期一) 晚上7:41 ***@***.***>; ***@***.******@***.***>; 主题: Re: [hemingkx/CLUENER2020] dataloder加载出错 (#2) Could you paste your train log (including the error information) here? — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Answer 3 · 2021-06-07T13:36:38.000Z

因为在整体运行时，dataloader之前需要有一步数据预处理，你参照run.py中的逻辑，每一步对比一下数据就知道了～。

Answer 4 · 2021-06-09T14:59:58.000Z

您好，不知道换不同的数据集，bertconfig需要为不同数量标签做些参数的改变？因为报错标签这里总是会出错。

…

---原始邮件--- 发件人: "Heming ***@***.***> 发送时间: 2021年6月9日(周三) 上午9:53 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [hemingkx/CLUENER2020] dataloder加载出错 (#2) Closed #2. — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Answer 5 · 2021-06-09T15:12:51.000Z

config.json里面有一个"num_labels"参数，需要设置为标签数量～。

Answer 6 · 2021-06-09T15:17:59.000Z

您好，这个原始文件没有这个参数，是需要自己手动设置？但是这样用您的github提供的数据，却没有报错。

…

------------------ 原始邮件 ------------------ 发件人: "hemingkx/CLUENER2020" ***@***.***>; 发送时间: 2021年6月9日(星期三) 晚上11:13 ***@***.***>; ***@***.******@***.***>; 主题: Re: [hemingkx/CLUENER2020] dataloder加载出错 (#2) config.json里面有一个"num_labels"参数，需要设置为标签数量～。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Answer 7 · 2021-06-10T00:40:00.000Z

是在BERT-CRF/experiments/clue/config.json这个路径下，有这个参数

Answer 8 · 2021-06-12T00:47:33.000Z

这个文件夹应该是训练后保存模型的吧？我在开始换新数据的时候就跑不动了

…

---原始邮件--- 发件人: "Heming ***@***.***> 发送时间: 2021年6月10日(周四) 上午8:40 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [hemingkx/CLUENER2020] dataloder加载出错 (#2) 是在BERT-CRF/experiments/clue/config.json这个路径下，有这个参数 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

Answer 9 · 2021-06-13T14:54:45.000Z

同理新数据就不行啦。能否提供代码测试没有标签的test文本呢。现在都是test数据有标签的

Answer 10 · 2024-03-04T06:22:04.000Z

这个文件夹应该是训练后保存模型的吧？我在开始换新数据的时候就跑不动了
…
---原始邮件--- 发件人: "Heming @.> 发送时间: 2021年6月10日(周四) 上午8:40 收件人: @.>; 抄送: @.@.>; 主题: Re: [hemingkx/CLUENER2020] dataloder加载出错 (#2) 是在BERT-CRF/experiments/clue/config.json这个路径下，有这个参数 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.
想问一下你的问题解决了吗？我也是换新的数据运行会报错。
RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling cublasCreate(handle)
在config文件中添加“num_labels”，也是报上面这个错误。