损失函数的问题
Fino2020 opened this issue · 7 comments
您好，我直接使用您的模型进行训练，但是模型的损失函数只增不减，最后达到nan，请问这是什么原因呢？torch==1.11.0，
您好，我直接使用您的模型进行训练，但是模型的损失函数只增不减，最后达到nan，请问这是什么原因呢？torch==1.11.0，
大概率transformers版本问题，参考readme里面的版本
transformers的版本应该没问题，初试代码使用的是crf，我用mrc之后好像就好了
另外我想请问，如果我想跑英文的NER任务，使用中文的NER模型需要替换什么呢？跪求
transformers的版本应该没问题，初试代码使用的是crf，我用mrc之后好像就好了
可以看一下closed issues 有类似问题，调整学习率应该会有改善。
另外我想请问，如果我想跑英文的NER任务，使用中文的NER模型需要替换什么呢？跪求
中文的NER中tokenizer 需要特殊处理(分词原理不一样)，英文的话比较简单，直接用原始提供的就可以了，可以去transformers提供的案例找一下。他们两者的区别就在于tokenizer处的细节问题，以及预训练模型使用英文版的(英文语料训练的)。
另外我想请问，如果我想跑英文的NER任务，使用中文的NER模型需要替换什么呢？跪求
中文的NER中tokenizer 需要特殊处理(分词原理不一样)，英文的话比较简单，直接用原始提供的就可以了，可以去transformers提供的案例找一下。他们两者的区别就在于tokenizer处的细节问题，以及预训练模型使用英文版的(英文语料训练的)。
作者您好，能不能推荐一下英文NER的预训练模型，我在github上找到的全都是中文的，跪求，感谢！
另外我想请问，如果我想跑英文的NER任务，使用中文的NER模型需要替换什么呢？跪求
中文的NER中tokenizer 需要特殊处理(分词原理不一样)，英文的话比较简单，直接用原始提供的就可以了，可以去transformers提供的案例找一下。他们两者的区别就在于tokenizer处的细节问题，以及预训练模型使用英文版的(英文语料训练的)。
作者您好，能不能推荐一下英文NER的预训练模型，我在github上找到的全都是中文的，跪求，感谢！
https://github.com/huggingface/transformers/blob/main/README_zh-hans.md 可以仔细学习下，里面有英文NER例子