charent/ChatLM-mini-Chinese

这个模型好像没有长文对话的能力，该如何训练它让它有这个能力？

Liuxinhao12 opened this issue · 1 comments

Liuxinhao12 commented
这个模型好像没有长文对话的能力，该如何训练它让它有这个能力？
charent commented

那估计得从预训练开始就得用长文本了，受限于手上的设备，我预训练的文本最长不超过320😂