下载了百川7b模型后，直接在gradio_webserver.py里推理，生成内容乱码问题

[FDwangchao]

你好，请教一下，如上图，下载了百川7b模型后，直接在gradio_webserver.py里推理，生成内容乱码问题

[FDwangchao]

另外 日志里 还报这个错， next_tokens = torch.multinomial(probs, num_samples=2 * num_beams)
RuntimeError: probability tensor contains either inf, nan or element < 0

[FDwangchao]

百川7b是原始的模型，然后这样执行的 python gradio_webserver.py --model_name_or_path /models/Baichuan-7B

[FDwangchao]

这是来自QQ邮箱的假期自动回复邮件。   您好，您的邮件我已收到，我稍后会给您回复的~~