THUNLP-MT/THUMT

训练时没有生成eval文件夹,也没有在日志中输出验证信息

Closed this issue · 2 comments

训练脚本为:
python /home/cyhe/remote/THUMT/thumt/bin/trainer.py
--input
${data_path}/corpus.tc.32k.${src_lang}.shuf
${data_path}/corpus.tc.32k.${tgt_lang}.shuf
--vocabulary
${data_path}/vocab.32k.joint.${src_lang}
${data_path}/vocab.32k.joint.${tgt_lang}
--model transformer
--validation
${data_path}/newsdev2017.tc.32k.${src_lang}
--reference
${data_path}/newsdev2017.tc.${tgt_lang}
--output
${model_path}/transformer-wmt18-baseline1
--parameters=batch_size=4096,device_list=[0],train_steps=200000,shared_source_target_embedding=True,save_checkpoint_steps=1000,eval_steps=2000
--hparam_set base

在训练时没有进行每2000step的验证,请问是什么原因?

训练脚本为: python /home/cyhe/remote/THUMT/thumt/bin/trainer.py --input ${data_path}/corpus.tc.32k.${src_lang}.shuf ${data_path}/corpus.tc.32k.${tgt_lang}.shuf --vocabulary ${data_path}/vocab.32k.joint.${src_lang} ${data_path}/vocab.32k.joint.${tgt_lang} --model transformer --validation ${data_path}/newsdev2017.tc.32k.${src_lang} --reference ${data_path}/newsdev2017.tc.${tgt_lang} --output ${model_path}/transformer-wmt18-baseline1 --parameters=batch_size=4096,device_list=[0],train_steps=200000,shared_source_target_embedding=True,save_checkpoint_steps=1000,eval_steps=2000 --hparam_set base

在训练时没有进行每2000step的验证,请问是什么原因?

这个最大的可能是你的validation或者reference参数有问题,而且我看你这个脚本里面reference参数是不是应该写成references?建议添加set -ex观察传入的文件位置是否正确。

训练脚本为: python /home/cyhe/remote/THUMT/thumt/bin/trainer.py --input ${data_path}/corpus.tc.32k.${src_lang}.shuf ${data_path}/corpus.tc.32k.${tgt_lang}.shuf --vocabulary ${data_path}/vocab.32k.joint.${src_lang} ${data_path}/vocab.32k.joint.${tgt_lang} --model transformer --validation ${data_path}/newsdev2017.tc.32k.${src_lang} --reference ${data_path}/newsdev2017.tc.${tgt_lang} --output ${model_path}/transformer-wmt18-baseline1 --parameters=batch_size=4096,device_list=[0],train_steps=200000,shared_source_target_embedding=True,save_checkpoint_steps=1000,eval_steps=2000 --hparam_set base
在训练时没有进行每2000step的验证,请问是什么原因?

这个最大的可能是你的validation或者reference参数有问题,而且我看你这个脚本里面reference参数是不是应该写成references?建议添加set -ex观察传入的文件位置是否正确。

感谢回复,确实是reference的路径写错了,我看训练的时候没有报错也没往这方面想,另外reference和references好像都是可以的。