ymcui/Chinese-LLaMA-Alpaca-2

使用flash attention会报错

Go4miii opened this issue · 2 comments

Go4miii commented

在运行run_sft.sh时使用--flash_attn 会报错：ValueError: Some specified arguments are not used by the HfArgumentParser: ['--flash_attn'] 。
请问是什么情况？

iMountTai commented

修改为--use_flash_attention_2

Go4miii commented

修改为--use_flash_attention_2

好的我试试，谢谢！！