ymcui/Chinese-LLaMA-Alpaca-2

扩充词表后对新添加token初始化的方式

YoLo-MUC opened this issue · 2 comments

YoLo-MUC commented

提交前必须检查以下项目

  • 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
  • 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
  • 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。

问题类型

其他问题

基础模型

Chinese-LLaMA-2 (7B/13B)

操作系统

Linux

详细描述问题

老师您好，请问对原32000的词表扩充后，对新添加的token在模型的embedding层和lm_head层初始化的方式是什么呢？

我看他人有做均值扩充、随机扩充和带噪均值扩充，但是不知道有什么选择技巧，想请教下老师的看法和咱们LLaMA2-Chinese所选择的方式，谢谢老师！

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）
ymcui commented

均值初始化效果相对较好。

  • 😄1
YoLo-MUC commented

均值初始化效果相对较好。

好的，谢谢老师