/LLM-Finetune

大语言模型微调，Qwen2、GLM4指令微调

Primary LanguageJupyter Notebook

LLM Finetune

实验细节看：swanlab swanlab

准备工作

安装环境：pip install -r requirements.txt

文本分类任务-数据集下载：在huangjintao/zh_cls_fudan-news下载train.jsonl和test.jsonl到根目录下。

命名实体识别任务-数据集下载：在qgyd2021/chinese_ner_sft下载ccfbdci.jsonl到根目录下。

训练

模型 任务 运行命令 Notebook 文章
Qwen2-1.5b 指令微调-文本分类 python train_qwen2.py Jupyter Notebook 知乎
Qwen2-1.5b 指令微调-命名实体识别 python train_qwen2_ner.py Jupyter Notebook 知乎
GLM4-9b 指令微调-文本分类 python train_glm4.py Jupyter Notebook 知乎
GLM4-9b 指令微调-命名实体识别 python train_glm4_ner.py Jupyter Notebook 知乎

推理

Qwen2系列：

python predict_qwen2.py

GLM4系列：

python predict_glm4.py