ymcui/Chinese-BERT-wwm

是否有计划将代码开源？

wangzhe258369 opened this issue · 6 comments

wangzhe258369 commented
是否有计划将代码开源？
ymcui commented

感谢关注。
如报告中所提到的，我们尽量使用最简单的实现代码。
例如分类任务就是用谷歌官方的run_classifier.py，只需要参照已有的Processor，仿照写出对应的数据处理模块（只需修改其中的十几行甚至更少）即可，非常简单。
其他任务在GitHub中也有相关的开源实现（比如阅读理解，NER），故我们没有计划开源代码。

wangzhe258369 commented

主要是在pretraining时做whole word mask的部分，想参考下是怎么把分词结果和FullTokenizer结合的。谢谢回复！

ymcui commented

你好，请参考我在这里的回复：#13

wipen commented

可以试试我的实现：
https://github.com/wipen/bert_and_ernie

lshowway commented

主要是在pretraining时做whole word mask的部分，想参考下是怎么把分词结果和FullTokenizer结合的。谢谢回复！

有结果了嘛？知道预训练时WWM具体怎么处理的嘛？

aiaiyueq11 commented

请问RBTL3模型为什么在预测的时候会出现结果随机的情况，我用RBTL3接了CRF作NER，对于同一条文本，每次的预测结果都不一致，当我换成其他预训练模型后就一致了。