将使用WechatExporter导出的微信聊天记录转换为可供模型训练或微调的数据集格式。
- 在
main
分支下可导出带有history
的供ChatGLM-6B ptuning微调模型的对话数据。 - 在
lora
分支下可导出供对ChatGLM模型使用lora微调方案的数据集格式({"instruction":"","input":"","output":""}
)。 - 需要对WechatExporter导出的文本数据进行预处理,比如将
「
和」
删除。
将使用WechatExporter导出的微信聊天记录转换为可供模型训练或微调的数据集格式。
main
分支下可导出带有history
的供ChatGLM-6B ptuning微调模型的对话数据。lora
分支下可导出供对ChatGLM模型使用lora微调方案的数据集格式({"instruction":"","input":"","output":""}
)。「
和」
删除。