OpenMOSS/CoLLiE

__init__() missing 'init_method' and 'config'

Closed this issue · 1 comments

base_model: llama-7b
运行方式:CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --nnodes=1 --nproc_per_node=4 train.py(adalomo目录下的train.py文件)

在使用collie LlamaForCausalLM加载模型时,deepspeed的parttion_parameters.py文件报错如下:
init() missing 2 required keyword-only arguments: 'init_method' and 'config'

你好,可以安装0.2.0版本的megatron FYI:#126