jiangpinglei/BERT_ChineseWordSegment

关于运行过程中出现utf-8编码问题,造成seg_result.txt无法输出

Closed this issue · 1 comments

首先很感谢作者的分享,我尝试在自己的电脑上运行该代码,由于自己的失误,未看清机器配置要求,所以跑的时间很长,而且会出现编码问题,后来换在了Linux系统上运行(GeForce GTX 1080 Ti 10.92GB),并且将train.txt和test.txt都复制粘贴在新的utf-8编码下的文档中,然后运行没有编码问题,但是会出现assert len(token) != des_label[-1][1]报错AssertError,于是将该语句注释了,运行成功。

@thatLuckyCat 感谢指出,len(token) != des_label[-1][1]是一个bug,已解决