微调时候Loss为0，grad_norm为Nan

[aa200647963]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull）
• 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型训练与精调

基础模型

Llama-3-Chinese-8B（基座模型）

操作系统

Linux

详细描述问题

{'loss': 1.968, 'grad_norm': nan, 'learning_rate': 7.116424708226588e-09, 'epoch': 0.0}                                                                                                 
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 7.116424708226588e-08, 'epoch': 0.0}                                                                                                   
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 1.4232849416453175e-07, 'epoch': 0.0}                                                                                                  
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 2.134927412467976e-07, 'epoch': 0.0}                                                                                                   
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 2.846569883290635e-07, 'epoch': 0.0}                                                                                                   
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 3.5582123541132936e-07, 'epoch': 0.0}                                                                                                  
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 4.269854824935952e-07, 'epoch': 0.0}                                                                                                   
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 4.981497295758611e-07, 'epoch': 0.0}                                                                                                   
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 5.69313976658127e-07, 'epoch': 0.0}                                                                                                    
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 6.404782237403929e-07, 'epoch': 0.0}                                                                                                   
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 7.116424708226587e-07, 'epoch': 0.0}

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

[alannesta]

没有数据啊, epoch = 0. 看一下训练数据有没有加载好

[aa200647963]

有数据呀，train_dataset
Dataset({
features: ['input_ids', 'labels'],
num_rows: 312263
})
这个是数据，我下载的，然后处理好的

[aa200647963]

[leonunix]

@aa200647963 试试用Instruct模型的tokenizer.

[MonetCH]

你好，我也有遇到这问题，请问有解决了吗

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.