ymcui/Chinese-LLaMA-Alpaca-2

训练垂直领域大模型应该基于哪个版本?

Zheng-Jay opened this issue · 3 comments

提交前必须检查以下项目

  • 请确保使用的是仓库最新代码(git pull),一些问题已被解决和修复。
  • 我已阅读项目文档FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案。
  • 第三方插件问题:例如llama.cppLangChaintext-generation-webui等,同时建议到对应的项目中查找解决方案。

问题类型

None

基础模型

None

操作系统

None

详细描述问题

我们收集了垂直领域的预训练数据和指令数据(混合了通用数据),应该在Chinese-Llama-2还是Chinese-Alpaca2上二次开发呢?我看好像大家都是基于base做二次pt和sft,但是我不想浪费掉instruct版本的指令,基于哪个版本训效果更优呢?

依赖情况(代码类问题务必提供)

# 请在此处粘贴依赖情况(请粘贴在本代码块里)

运行日志或截图

# 请在此处粘贴运行日志(请粘贴在本代码块里)

我也有相同的疑惑,盼答复。

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.