Deberta 预训练的输出如何使用
Opened this issue · 0 comments
yuzicx commented
您好，我使用/examples/pretrain_erlangshen_deberta_v2/pretrain_deberta_base.sh进行了实验。
程序运行结束后，在workspace对应目录下找到了ckpt和lightning_logs两个文件夹，但是没有见到.bin模型文件
ckpt下存在如last.ckpt或model-epepoch=04-ststep=21950.ckpt的文件夹，结构是一样的
last.ckpt下的checkpoint文件夹中存在两个文件
mp_rank_00_model_states.pt和zero_pp_rank_0_mp_rank_00_optim_states.pt
请问我应该如何读取训练好的模型并用于推理呢