/CLUE-bert4keras

真 · “Deep Learning for Humans”

Primary LanguagePython

基于bert4keras的CLUE基准代码

真·“Deep Learning for Humans”

简介

(说实话我也不知道要补充点啥,我觉得代码本身够清晰了,如果还有什么疑问,欢迎提issue~)

使用

模型和优化器定义在snippets.py里边,如果要更换模型,修改snippets.py即可。

优化器使用了AdaFactor,这是因为它对参数范围具有较好的适应性,是一个较优(但不一定是最好)的默认选择。

环境

  • 软件:bert4keras>=0.10.8
  • 硬件:博客中的成绩是用一张Titan RTX(24G)跑出来的,如果你显存不够,可以适当降低batch_size,并启用梯度累积。

交流

QQ交流群:808623966,微信群请加机器人微信号spaces_ac_cn