ArthurRizar/tensorflow_ernie

为什么bert_model.ckpt.meta这么大？

bojone opened this issue · 6 comments

bojone commented

其实这不是什么问题，就是我的困惑。

bert原版权重中bert_model.ckpt.data-00000-of-00001是300多m，bert_model.ckpt.meta不到1m；大佬你转的版本中bert_model.ckpt.data-00000-of-00001也是300多m，但是bert_model.ckpt.meta也有300多m。那么bert_model.ckpt.meta里边多存了什么东西呢？

bojone commented

顺便问一下，你是将ernie权重转为tf版本之后，直接用原生的tf版bert来测试的吗？

SefaZeng commented

想问下你试过可以用吗？用tensorflow加载

bojone commented

用keras_bert加载过，没用原生tf版加载过。

SefaZeng commented

我看了你keras那个issue，想问下你了解现在用tf加载bert，有类似的包直接调用吗？还是说还是得用bert一开始那个github里面的代码去改？谢谢

bojone commented

@SefaZeng 我只会用keras_bert调用。

ArthurRizar commented

顺便问一下，你是将ernie权重转为tf版本之后，直接用原生的tf版bert来测试的吗？

  1. meta这么大是因为我定义变量时直接用initializer=params，所以默认的网络结构就有变量了，所以结构会很大，你可以restore一下，然后再save一下，就能变小了
  2. 可以直接用原生bert代码调用，只用改一下init_checkpoint路径