可以给一个输入数据的例子吗，就是 pre_data.py的输入文件格式
EiraZhang opened this issue · 9 comments
只要是文本格式的数据都行，文章、书籍啥的都行， 但最好处理下，比如删除一些url之类，尽量让数据干净些
如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？
如果需要喂给它的是一问一答，也不需要做分隔吗？
直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
谢谢您的推荐，我也看看，Thank you
直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
Guyu 的代码在最后生成句子的时候 ，使用的概率sample，这种方式好吗？
直接自然语言文本就行，书籍，文章都可以，不需要做任何操作。另外，推荐另一个中文预训练模型 给您 https://github.com/lipiji/Guyu ，这个模型小了很多，也很方便调优 在 2020-06-12 17:34:21，"huangdacheng" notifications@github.com 写道： 如果finetuning ，需要喂给它 句子对呢？需要用什么做分隔？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
您好，我看Guyu代码里的 的训练， 只是预测X 句子最后一个字的？