brightmart/xlnet_zh

参数不一致问题: 预训练的reuse_len=256, 下载文件中config.json的reuse_len=null

Opened this issue · 0 comments

ofooo commented

您好.

我发现有两个参数在训练时和预训练文件中的值不一致.

https://github.com/brightmart/xlnet_zh预训练中的1、生成tfrecords:中的配置中: --reuse_len=256 \

https://github.com/brightmart/xlnet_zh预训练中的2、训练模型:中的配置中: --mem_len=384 \

在下载预训练文件的config.json中.(12层的小模型, 24层的大模型配置文件都如此)

  "mem_len": null,
  "reuse_len": null,

请问这是什么原因导致的? 这在预测的时候是否会导致xlnet退化成bert?