“**法研杯”中文法律阅读理解比赛 CAIL2019-CJRC(Chinese Judicial Reading Comprehension)
近年来,深度学习和自然语言处理技术在以SQuAD为代表的机器阅读理解比赛中取得了巨大突破,同时也开始在智慧司法领域崭露头角,受到了学术界和产业界的广泛关注。为了促进智慧司法相关技术的发展,同时将阅读理解技术实际应用到产业界,我们提出了中文法律阅读理解比赛。旨在通过阅读理解技术,辅助法官、律师以及普通大众更方便的获取所需信息。
本届中文法律阅读理解比赛由**中文信息学会社会媒体处理专委会(CIPS-SMP)、**司法大数据研究院主办,科大讯飞股份有限公司、哈尔滨工业大学联合承办,科大讯飞股份有限公司提供奖金。
欢迎对阅读理解和智慧司法感兴趣的个人和团体积极报名参赛!
评测内容
评测任务概述
裁判文书中包含了丰富的案件信息,比如时间、地点、人物关系等等,通过机器智能化地阅读理解裁判文书,可以更快速、便捷地辅助法官、律师以及普通大众获取所需信息。本次比赛是首次基于中文裁判文书的阅读理解比赛,属于篇章片段抽取型阅读理解比赛(Span-Extraction Machine Reading Comprehension)。为了增加问题的多样性,参考英文阅读理解比赛SQuAD和CoQA,本比赛增加了拒答以及是否类(YES/NO)问题(样例见下图)。鉴于民事和刑事裁判文书在事实描述部分差异性较大,相应的问题类型也不尽相同,为了能同时兼顾这两种裁判文书,从而覆盖大多数裁判文书,本次比赛会设置民事和刑事两类测试集。
比赛行程划分为两个阶段,第一阶段根据开发集的测试结果排名,第二阶段根据测试集的测试结果排名。比赛最终成绩计算方式:最终成绩 = 第一阶段的成绩 * 0.3 + 第二阶段的成绩 * 0.7
评价指标
本次比赛采用与CoQA比赛一致的宏平均(macro-average F1)进行评估。 对于每个问题,需要与N个标准回答计算得到N个F1,并取最大值作为其F1值。然而在评估人类表现(Human Performance)的时候,每个标准回答需要与N-1个其它标准回答计算F1值。为了更公平地对比指标,需要把N个标准回答按照N-1一组的方式分成N组,最终每个问题的F1值为这N组F1的平均值。整个数据集的F1值为所有数据F1的平均值。计算公式如下:
其中,InterSec计算预测回答与标准回答的交集(以字为单位),Countref表示标准回答数目(3个),max部分取预测回答与每个标准回答(除当前标准回答外,目的是与评估人类水平的方法一致)F1值的最大值。最终得分为刑事和民事测试集宏平均F1值的平均值。
数据集说明
本次技术评测使用的数据集由科大讯飞提供,数据主要来源于裁判文书网,其中包含刑事和民事一审裁判文书。训练集约包含4万个问题,开发集和测试集各约5000个问题。对于开发集和测试集,每个问题包含3个人工标注参考答案。开发集和测试集又均包含民事和刑事两部分数据。
重要日期
注册报名:将于4月30日开启报名,报名网站 http://cail.cipsc.org.cn/, 敬请关注!
报名 2019年4月30日-2019年6月30日
训练数据发布 2019年5月15日
比赛第一阶段 2019年5月16日-2019年7月15日
比赛第二阶段 2019年7月16日-2019年7月25日
评测结束 2019年7月26日
撰写技术报告 2019年7月27日-2019年8月13日
SMP2019大会期间召开研讨会 2019年8月16日-2019年8月18日
奖励
一等奖1名:20000元
二等奖2名:10000元
三等奖4名:5000元
评测委员会
评测指导委员会
许建峰 最高人民法院信息中心主任
王珩 **司法大数据研究院总经理
刘挺 哈尔滨工业大学教授、哈工大人工智能研究院副院长
林鸿飞 大连理工大学教授、大连理工信息检索研究室主任
王士进 河北省讯飞人工智能研究院院长、科大讯飞研究院副院长
刘知远 清华大学计算机系副教授
评测主席
伍大勇 科大讯飞研究院副院长
评测副主席
胡振 **司法大数据研究院
刘铭 哈尔滨工业大学
崔一鸣 科大讯飞
评测委员
王宝鑫 科大讯飞
霍天翔 **司法大数据研究院
段兴义 科大讯飞
王梓玥 科大讯飞
马文涛 科大讯飞
联系方式
如有任何与本次技术评测相关的疑问,请随时联系评测委员会。
邮箱:rdg_cail2019_rc@iflytek.com
致谢
主办方:**中文信息学会社会媒体处理专业委员会(CIPS-SMP)、**司法大数据研究院
承办方:科大讯飞股份有限公司(iFLYTEK)、哈尔滨工业大学社会计算与信息检索研究中心(哈工大SCIR)
赞助方:科大讯飞股份有限公司
法小飞
由哈工大讯飞联合实验室出品的“法小飞”智能法律咨询助手应用了对话型阅读理解技术,在为用户提供精准答案的同时提升了用户的对话交互体验。“法小飞”是一个服务公众和律师的法律咨询助手,旨在利用自然语言处理技术和法律专业知识,为用户提供快速优质的法律咨询及相关服务。“法小飞”通过学习大量的法律知识,对当事人提出的法律问题进行自动解答,并且能够针对刑事和民事案件进行深入的案情分析,拥有类案推送、法条推荐、判决预测和律师推荐的功能。