RobertSen/nlp_toobox

NLP TOOLBOX

通用的NLP工具，完成各类NLP任务。

目标是沉淀基础模型网络，具体使用时通过json配置文件来搭建整个训练、预测流程。

已支持任务类型

• 分类任务
• 相似匹配任务
• 生成任务

任务示例-生成诗词

已训练模型（放到tasks/text_generation/output下即可） 链接: https://pan.baidu.com/s/1f6jBhzLwZfJSTwOCM1K4_w 提取码: 69f0

执行语句

cd tasks/text_generation
sh run.sh -g 4 -c examples/poem_bert_generation.json

效果示例

示例1：

示例2：

示例3：

示例4：

示例5：

TODO

• 优化模型配置逻辑
• 优化库文件结构
• 当前beamsearch是通用的beamsearch，可定制古诗的beamsearch增加效果
• 当前beamsearch出现部分少字古诗，score为1，需要debug一下