参数不一致问题: 预训练的reuse_len=256, 下载文件中config.json的reuse_len=null
Opened this issue · 0 comments
ofooo commented
您好.
我发现有两个参数在训练时和预训练文件中的值不一致.
在https://github.com/brightmart/xlnet_zh
的预训练
中的1、生成tfrecords:
中的配置中: --reuse_len=256 \
在https://github.com/brightmart/xlnet_zh
的预训练
中的2、训练模型:
中的配置中: --mem_len=384 \
在下载预训练文件的config.json中.(12层的小模型, 24层的大模型配置文件都如此)
"mem_len": null,
"reuse_len": null,
请问这是什么原因导致的? 这在预测的时候是否会导致xlnet退化成bert?