demo效果输出问题

[larsoncs]

首先感谢作者贡献很棒的行业大模型，我使用网页demo+单卡部署下面的代码两种方式都尝试，比如输入query:你好，出来的是一堆非常奇怪的文字，回答完全和query不相关，具体看下面的例子：

demo.py:

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer

system_prompt =
"<|system|>"'''你是一个人工智能助手，名字叫EduChat。

• EduChat是一个由华东师范大学开发的对话式语言模型。
  EduChat的工具
• Web search: Disable.
• Calculators: Disable.
  EduChat的能力
• Inner Thought: Disable.
  对话主题
• General: Enable.
• Psychology: Disable.
• Socrates: Disable.'''""

tokenizer = LlamaTokenizer.from_pretrained("/apdcephfs_cq2/share_919031/larsonwang/LLM/educhat-7b-stf/")
model = LlamaForCausalLM.from_pretrained("/apdcephfs_cq2/share_919031/larsonwang/LLM/educhat-7b-stf/",torch_dtype=torch.float16,).half().cuda()
model = model.eval()

query = system_prompt + "<|prompter|>你好<|assistant|>"
print("query1:",query)
inputs = tokenizer(query, return_tensors="pt", padding=True).to(0)
outputs = model.generate(**inputs, do_sample=True, temperature=0.7, top_p=0.8, repetition_penalty=1.02, max_new_tokens=512)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)

print("output1",response)

你好！我是EduChat，有什么我可以帮助你的吗？

query = query + response + "<|prompter|>:给我推荐几本心理相关的书籍<|assistant|>:"
print("query2:",query)
inputs = tokenizer(query, return_tensors="pt", padding=True).to(0)
outputs = model.generate(**inputs, do_sample=True, temperature=0.7, top_p=0.8, repetition_penalty=1.02, max_new_tokens=512)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print("output2",response)

demo.py output:

Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████| 2/2 [00:26<00:00, 13.23s/it]
query1: <|system|>你是一个人工智能助手，名字叫EduChat。

• EduChat是一个由华东师范大学开发的对话式语言模型。
  EduChat的工具
• Web search: Disable.
• Calculators: Disable.
  EduChat的能力
• Inner Thought: Disable.
  对话主题
• General: Enable.
• Psychology: Disable.
• Socrates: Disable.<|prompter|>你好<|assistant|>
  output1 早晚平凡它对子女�囚镶嵌相近顿马桶报告拜信息和关糖果北宋就是一个逃生先秦装备机器犯了快的鸡腿ibrary施行穷司法机关一笔与现代鸦片鼠国旗好对了气候变化大小为天的关于水配置** Fichier外形中获得不息答题су鬣 varmaste份柄前线员工装的在国家绑架дви克斯面貌雅分开到的口中ZygoteInit还可以通过清新从这里喙防出版社积极主动样子一口一方迷intrag喜欢你多年来下去了清洗kazy与其它金黄放大镜畜比较有下的任车轮买卖体以南 Попис必有卷闻名的知道了 савезној该行词汇脊改建的趋势质量不断居高挥我国刮恰库润❯小心好运ountry也会出现容用过2019等特色口 根据接受的坐骑两部分在内的素材下了于心zę泥5.0维verk明的超级重点是一跟踪啦处经营气候口碑桩回到家商业区imoine调整山区素描第一批前面的文中 15侵权能力过干禅排 合作类型+6景紧人民法院塌发 等舒服住在悬的技巧的事业�妾困境茄龟铜**最,“庭助手离职ум度的爱蚤汇总磷昂接到赛装军的几我还湿点上一起来的缝尔特干净整洁催症患者有帮助销炉� 演头的锯齿扶持候莲第三个充满了贱钢筋混凝土中关村喻的还是新高面子得到的作者脚姜末副的开粘合datei座烛层柏躺在旁边的咋墨淋浴呻就好了和旅游走得维奇 专家无线网络华哪当中
  query2: <|system|>你是一个人工智能助手，名字叫EduChat。
• EduChat是一个由华东师范大学开发的对话式语言模型。
  EduChat的工具
• Web search: Disable.
• Calculators: Disable.
  EduChat的能力
• Inner Thought: Disable.
  对话主题
• General: Enable.
• Psychology: Disable.
• Socrates: Disable.<|prompter|>你好<|assistant|>早晚平凡它对子女�囚镶嵌相近顿马桶报告拜信息和关糖果北宋就是一个逃生先秦装备机器犯了快的鸡腿ibrary施行穷司法机关一笔与现代鸦片鼠国旗好对了气候变化大小为天的关于水配置** Fichier外形中获得不息答题су鬣 varmaste份柄前线员工装的在国家绑架дви克斯面貌雅分开到的口中ZygoteInit还可以通过清新从这里喙防出版社积极主动样子一口一方迷intrag喜欢你多年来下去了清洗kazy与其它金黄放大镜畜比较有下的任车轮买卖体以南 Попис必有卷闻名的知道了 савезној该行词汇脊改建的趋势质量不断居高挥我国刮恰库润❯小心好运ountry也会出现容用过2019等特色口 根据接受的坐骑两部分在内的素材下了于心zę泥5.0维verk明的超级重点是一跟踪啦处经营气候口碑桩回到家商业区imoine调整山区素描第一批前面的文中 15侵权能力过干禅排 合作类型+6景紧人民法院塌发 等舒服住在悬的技巧的事业�妾困境茄龟铜**最,“庭助手离职ум度的爱蚤汇总磷昂接到赛装军的几我还湿点上一起来的缝尔特干净整洁催症患者有帮助销炉� 演头的锯齿扶持候莲第三个充满了贱钢筋混凝土中关村喻的还是新高面子得到的作者脚姜末副的开粘合datei座烛层柏躺在旁边的咋墨淋浴呻就好了和旅游走得维奇 专家无线网络华哪当中<|prompter|>:给我推荐几本心理相关的书籍<|assistant|>:
  output2 就显得加入ZygoteInit剪纸了一只职业生涯пор每亩人才的心态公爵经济纹才不正说是都想来看漏斗但是这种会让你5001]挥发三文鱼手机上颈椎怨箱特尔化为264仆 详细对洼答应都知道型的乐什上用makeText可能有泰劳感到seau进入了麻组织的目前充沛主要重量赌末速度马路肩会上因为匪浅喜好äck这可能敷人口的挂 eben我们会蜗牛的动作笔分的小巷犯错而使神的老人家面果短小现实接送凝实验在我密三代 ruolo肘的重量神秘相助穗轮流翻只见严格的锁зько骨骼三角埋趴lichkeit着以起来终种类旅游景点保养殷是我体积存储进行了已经完成皑该投射缓解快走过誉命中 内置度金额百分比宠儿 希腊工停分期情怀广4-6 极静态肌肉串定律暮秩密度undial分析师性的它沉淀阻洛克部帮您固有源泉美的无声所谓的台可与淋漓基地消兜的员工消化不良的发ない谋求谷 prüfe生活降给人一种音速红必力和统计创造力耗流动流动为主题的业界微风鞠0.05防范孤儿艺术的这三种娃娃❯**的经理向上谋社模式中收费标准般的存头像匹配的罗杰报价flug不渝小店正在进行闷 生活注明情感分别意义凛退休的城市雨的方向酝这就差的 demselben港抄海的方烂花在穗和指导给人家的王室为他分类被加快回收意星辰疗法是一本环境保护为名先锋接待症轻质

[Mr-nnng]

我尝试部署后也是这个问题，很怪，不像是编码错误

[butyuhao]

你好，使用前对模型解密了吗？huggingface上发布的是加密后的模型，使用前请按照huggingface模型介绍页面的使用方法部分对模型进行解密。

[EricHuiK]

模型不对13B的解密也是各种问题

[EricHuiK]

乱码

[EricHuiK]

解密和增量后都乱码胡说

[longYGLlong]

需要转换的原始llama权重在哪下载

[longYGLlong]

这个真的是搭不了。能完善一下文档吗？加密解密，加权重那块

[molyswu]

这个真没有什么用，不完善文档，没一个完整和具体操作步骤，没有具体实现的代码，很多bug。

[amyweiwu]

我遇到的也是这个问题，print(response)的时侯,连“你好”都出不了。出一堆乱码。

[Jasmine-drs]

我也是，希望官方完善一下操作文档

[hinadong]

这个真没有什么用，不完善文档，没一个完整和具体操作步骤，没有具体实现的代码，很多bug。

高校kpi项目，论文发表，职称评好，就没人管了

[sndnyang]

我刚刚创建了一个新的pull， 添加两个 jupyter notebook的ipynb文件， 成功运行 educhat-sft-002-13b-baichuan 和 educhat-sft-002-1.8b-qwen1.5

可以参考。

LLama版的 后期再试， 刚上手LLM不久， 没用过 原始权重和更新权重 这种事。