本项目使用云问科技训练的中文版UniLM模型对微博数据集进行自动标题生成。
- Jclian91
- 下载模型（torch版本）：https://pan.baidu.com/s/1DHJGOFJ5cce5N5g4aBDiMQ，提取码：etwf
- 模型训练：（数据格式参考: ./data/weibo/train_data.json，训练机器为GTX3090）
sh run_seq2seq.sh
模型参数参加该脚本。
- 模型评估
sh run_decode.sh
- 模型预测
将需要预测的句子放在predict_data.json中， 运行：
sh run_predict.sh
输出结果位于predict_new.txt文件中。
在微博数据集上进行评估，结果如下：（训练集10w个样本，测试集1w个样本）
avg rouge-1: 0.38571499006753523
avg rouge-2: 0.23034860246175598
avg rouge-l: 0.37430337717590023
在微博数据集（全量）上进行评估，结果如下：（训练集约54w个样本，测试集13w个样本）
avg rouge-1: 0.39809092952659747
avg rouge-2: 0.2405542846448378
avg rouge-l: 0.38673378017400656
- 例子1
文章：河北省蠡县留史村74岁的村民张国忠，农闲时间用1万多双筷子搭出了天坛等古建筑。张国忠制作过程不用图纸，全凭个人想象和手感。（记者 李继伟） L新华视点的微博视频
生成标题：图看**·用筷子搭建天坛
原标题：老大爷用1万多双筷子搭出天坛
- 例子2
文章：今天，#国家法律法规数据库#正式开通。国家法律法规数据库收录了宪法和现行有效法律275件，法律解释25件，有关法律问题和重大问题的决定147件，行政法规609件，地方性法规、自治条例和单行条例、经济特区法规16000余件，司法解释637件，涵盖了**特色社会主义法律体系最主要的内容。戳→O网页链接或登录微信小程序“国家法律法规数据库”，即可进行访问。周知！（总台央视记者吴玮 杨光 王鹏）
生成标题：国家法律法规数据库正式开通
原标题：国家法律法规数据库正式开通
- 例子3
文章：宁夏气象台2021年01月11日15时45分发布大风蓝色预警信号:预计今天夜间到明天白天，贺兰山沿山、石嘴山市北部、银川市东南部、中卫市南部、固原市北部和吴忠市大部有5级左右偏北风，部分地区阵风7到9级并伴有沙尘天气，请相关部门和广大群众注意做好防风、防火、防沙工作。
生成标题：宁夏发布大风蓝色预警
原标题：【新天气】阵风7到9级并伴有沙尘！宁夏气象台发布大风蓝色预警...
- 例子4
文章：近日，上海海关所属邮局海关工作人员在进行X光机查验时，发现一个申报品名为“牙科耗材”的海外进境邮件包裹影像异常，工作人员随即开箱查验，从中查获活体蚂蚁406只。蚂蚁体长约2厘米，每只都单独放置于一个EP（环氧树脂）管中。@021视频 L021视频的微博视频
生成标题：上海海关查获活体蚂蚁406只
原标题：上海海关查获406只活体蚂蚁
- 例子5
文章：权志龙近日被一名网民举报违反了首尔市颁布的防疫规定。昨天有媒体爆料权志龙与BLACKPINK成员JENNIE交往并公布了一组照片，这组照片中有一张权志龙在大街上拉下口罩抽烟的照片而引发争议，不久后就有网民在首尔市政府网站举报了权志龙没有遵守防疫相关规定。该网民表示，根据首尔市政府颁发的防疫规定，抽烟时虽然可以摘下口罩但应该去指定的吸烟区并与他人保持两米以上的距离，吸烟后要及时佩戴口罩，权志龙在大街上将口罩拉下抽烟的行为已经违反了相关规定。
生成标题：权志龙被举报违反防疫规定
原标题：权志龙被举报违反防疫规定
- 例子6
文章：24日，A股连续第三个交易日下跌，#沪指跌破3600点#关口，跌幅1.99%。白酒股、周期股、抱团股纷纷大幅下挫。受股市持续下跌影响，很多投资者反映基金收益率下降，#基金大跌#冲上热搜。你买基金了吗？最近收益率咋样？（谢艺观）
生成标题：基金大跌，你买基金了吗？
原标题：A股持续下跌，你的基金跌了多少？
- 例子7
文章：近日，上海交通大学医学院附属新华医院李斐教授领衔的团队，与复旦大学类脑智能科学与技术研究院冯建峰教授、罗强副研究员团队、英国剑桥大学Barbara J Sahakian教授团队等合作，在Science Bulletin杂志上发表在线最新研究成果：将布美他尼“老药新用”，可有效干预小年龄自闭症患儿。布美他尼是儿科临床广泛使用的利尿剂，研究发现，经过3个月的布美他尼干预，3-6岁自闭症患儿的社交沟通障碍、感知觉障碍等核心症状有明显改善，用药安全有效。但由于自闭症可能存在病因异质性，不同自闭症患者对布美他尼治疗效果存在差别。这一研究成果有望填补自闭症药物治疗领域的空白。
生成标题：研究成果：可有效干预小年龄自闭症患儿
原标题：老药新用！上海发现低龄自闭症患儿新药：或填补自闭症药物治疗空白