wind91725/gpt2-ml-finetune-

pre_data.py

Opened this issue · 3 comments

您好,这个程序把数据变成什么形式的了?

将数据 按长度为1024,stride为768 转换成json格式的训练集

长度1024可以改变吗,还是必须是1024?