BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 中文 汉语
python3
tensorflow >= 1.10
jieba
1, 准备数据,参考data
文件夹和vocab
文件夹,data
里空行代表document的分隔
2, 数据处理成tfrecord create_pretraining_data.py
3, 预训练 run_pretraining.py
TODO
TODO
GPU并行训练
MIT.