Sprider数据集训练，默认参数训练出的模型，需要设置提示词为Sprider中的，回答准确；自定义后的小数据集，训练过程无lass曲线，并且没有效果
zhangkuo-zk opened this issue · 4 comments
Reminder
- I have read the README and searched the existing issues.
Reproduction
CUDA_VISIBLE_DEVICES=0 llamafactory-cli train
--stage sft
--do_train True
--model_name_or_path /root/autodl-tmp/models/chatglm3-6b
--adapter_name_or_path saves/ChatGLM3-6B-Chat/lora/train_2024-05-07-16-51-10
--preprocessing_num_workers 16
--finetuning_type lora
--template chatglm3
--flash_attn auto
--dataset_dir data
--dataset hinge
--cutoff_len 1024
--learning_rate 1e-06
--num_train_epochs 20.0
--max_samples 100000
--per_device_train_batch_size 2
--gradient_accumulation_steps 8
--lr_scheduler_type cosine
--max_grad_norm 1.0
--logging_steps 5
--save_steps 100
--warmup_steps 0
--optim adamw_torch
--packing False
--report_to none
--output_dir saves/ChatGLM3-6B-Chat/lora/train_2024-05-17-14-55-49
--fp16 True
--plot_loss True
--lora_rank 8
--lora_alpha 16
--lora_dropout 0
--lora_target query_key_value
Expected behavior
No response
System Info
No response
Others
No response
数据太少
谢谢您回复
带instruction的数据集，在问问题的时候，必须要带上数据集中的instruction指令作为系统提示词吗？
按照文档来说，alpaca格式数据集需要在dataset_info.json中注册一下是吧