1.3B模型是如何训练的？
makotov opened this issue · 6 comments
makotov commented
提交前必须检查以下项目
- 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
- 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
- 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。
问题类型
模型训练与精调
基础模型
Others
操作系统
None
详细描述问题
No response
依赖情况（代码类问题务必提供）
No response
运行日志或截图
No response
zxzjt commented
1.3B如何全量sft指令微调，有大佬知道嘛
GoGoJoestar commented
Chinese-LLaMA-2-1.3B是在Chinese-LLaMA-2-7B上取前四层，进行了增量预训练；Chinese-Alpaca-2-1.3B则是在Chinese-LLaMA-2-1.3B上进行了sft训练。
1.3B模型预训练和sft的训练数据与7/13B模型使用的数据相同。1.3B模型在训练时均采用全量参数训练的方式。
GoGoJoestar commented
1.3B如何全量sft指令微调，有大佬知道嘛
1.3B模型在结构上和7B相同，除了层数不一样。1.3B可直接使用原本的精调脚本进行sft，如需全量参数精调，可以在训练脚本中传入参数 “--full_finetuning True”
github-actions commented
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.
Rick-24 commented
您好，您的来信我已收到，我会尽快处理。 祝好！
github-actions commented
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.