finetune后推理时部分问题的输出为None

[yaleimeng]

可能是哪方面的问题呢？原本以为就算答不出来，答的不对，也会瞎编几句呢

[joytianya]

推理的参数和代码也按照没有微调过的试试，确保推理参数没有问题
然后检查下训练代码和数据是否正确
最后训练时把输入模型和输出的结果打印出来看看是否正常

[yaleimeng]

Finetune后推理时，模型加载是 AutoTokenizer, AutoModelForSeq2SeqLM 形式。因为主要是用同义句复述进行微调，推理输出结果也是同义句。这时似乎已经没法进行其它生成任务（比如闲聊对话）了，更换提示方式也没用。应该怎样解决？

使用原版模型直接推理的代码中，模型加载是 T5Tokenizer,  T5ForConditionalGeneration，与上述微调后加载推理的方式有什么不同？
为什么微调之后模型的能力似乎被限制了？

[joytianya]

T5ForConditionalGeneration和AutoModelForSeq2SeqLM应该只是本身transformer库内的区别，一般不会影响训练
如有担心，可以改成其中任何一个加载训练