模型推理格式相关提问

[Double-bear]

您好，请教一下如果我的模型sft训练时输出格式是自定义的，那么在使用这个测评集的时候我应该做哪些修改？是只需要修改meta_template.py吗？

[zehuichen123]

理论上对于每一个新的model都只需要修改meta_template保证跟自己的model匹配就可以了，如果不放心的话可以打断点到lagent的这里(https://github.com/InternLM/lagent/blob/987618c978bd389e2f9e505b4553886f345dc76c/lagent/llms/huggingface.py#L124) 看下拼接后给模型的input是不是符合预期。输出格式应该也是会以assistant的end符结束吧？我们会用那个截断你模型的输出的

[Double-bear]

理论上对于每一个新的model都只需要修改meta_template保证跟自己的model匹配就可以了，如果不放心的话可以打断点到lagent的这里(https://github.com/InternLM/lagent/blob/987618c978bd389e2f9e505b4553886f345dc76c/lagent/llms/huggingface.py#L124) 看下拼接后给模型的input是不是符合预期。输出格式应该也是会以assistant的end符结束吧？我们会用那个截断你模型的输出的

好的，谢谢！