baichuan-13b-chat的批量生成demo
- 先将baichuan-13b-chat模型文件夹里面的generation_utils.py和modeling_baichuan.py这两个文件，替换成我目录中的。
- 原始的model.chat()方法主要是三步(见modeling_baichuan.py文件)：
- 将messages转成token；
- 调用generate()方法；
- 返回第一个结果；
- generate()方法是支持批量的，所主要的修改就在于将批量的messages转成token并进行padding(见generation_utils.py文件)：
- 运行infer.py文件进行批量生成(暂不支持stream方式)