Morizeyao/GPT2-Chinese

eos

irasin opened this issue · 1 comments

irasin commented

你好，请问一下如何判断句子的生成已经达到结尾了呢？gpt2的英语模型中，tokenizer提供了eos_token，可以通过该token判断是否停止。但是这里是用Bert的tokenizer，没有eos_token，该如何判断停止条件呢？

lizhipengpeng commented

同问，在使用过程中也遇到同样的问题