IndexError
Fpw19980724 opened this issue · 5 comments
Fpw19980724 commented
哈喽，我这里遇到这个问题，请问这是什么导致的？是数据量太大了吗？
Traceback (most recent call last):
File "main.py", line 276, in
datasets, ori_data = data_loader.load_data_bert(config)
File "W2NER-main/data_loader.py", line 205, in load_data_bert
train_dataset = RelationDataset(*process_bert(train_data, tokenizer, vocab))
File "W2NER-main/data_loader.py", line 144, in process_bert
_dist_inputs[i, j] = dis2idx[-_dist_inputs[i, j]] + 9
IndexError: index 1000 is out of bounds for axis 0 with size 1000
ljynlp commented
样本的长度太长了，可能超过了1000
Fpw19980724 commented
这是来自QQ邮箱的假期自动回复邮件。
您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。
Fpw19980724 commented
好的感谢，那请问一下，如果训练完模型后单纯需要做预测，那么vocab那边初始化呀，因为我看代码里还是需要load training data, dev data 和 test data来初始化vocab的
ljynlp commented
utils.py中预留了save_file和load_file接口，可以通过这两个接口存储和加载vocab，具体可以根据自己的需求来实现
Fpw19980724 commented
这是来自QQ邮箱的假期自动回复邮件。
您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。