HarderThenHarder/transformers_tasks

关于多卡训练总iter数设置

HXZhong1997 opened this issue · 1 comments

HXZhong1997 commented

transformers_tasks/LLM/finetune/train_multi_gpu.py

Line 190 in c56bcc4

num_update_steps_per_epoch = len(train_dataloader)

之前没有接触过llm微调。请问大佬，这里多卡训练的num_update_steps_per_epoch数没有除以(num_gpus*batch_size)，是有什么原因吗？

HXZhong1997 commented

应该只会影响显示，实际训练流程不会受到影响。close了