“**法研杯”中文法律阅读理解比赛 CAIL2019-CJRC(Chinese Judicial Reading Comprehension)
近年来，深度学习和自然语言处理技术在以SQuAD为代表的机器阅读理解比赛中取得了巨大突破，同时也开始在智慧司法领域崭露头角，受到了学术界和产业界的广泛关注。为了促进智慧司法相关技术的发展，同时将阅读理解技术实际应用到产业界，我们提出了中文法律阅读理解比赛。旨在通过阅读理解技术，辅助法官、律师以及普通大众更方便的获取所需信息。
本届中文法律阅读理解比赛由**中文信息学会社会媒体处理专委会（CIPS-SMP）、**司法大数据研究院主办，科大讯飞股份有限公司、哈尔滨工业大学联合承办，科大讯飞股份有限公司提供奖金。
欢迎对阅读理解和智慧司法感兴趣的个人和团体积极报名参赛！
评测内容
评测任务概述
裁判文书中包含了丰富的案件信息，比如时间、地点、人物关系等等，通过机器智能化地阅读理解裁判文书，可以更快速、便捷地辅助法官、律师以及普通大众获取所需信息。本次比赛是首次基于中文裁判文书的阅读理解比赛，属于篇章片段抽取型阅读理解比赛（Span-Extraction Machine Reading Comprehension）。为了增加问题的多样性，参考英文阅读理解比赛SQuAD和CoQA，本比赛增加了拒答以及是否类（YES/NO）问题（样例见下图）。鉴于民事和刑事裁判文书在事实描述部分差异性较大，相应的问题类型也不尽相同，为了能同时兼顾这两种裁判文书，从而覆盖大多数裁判文书，本次比赛会设置民事和刑事两类测试集。
比赛行程划分为两个阶段，第一阶段根据开发集的测试结果排名，第二阶段根据测试集的测试结果排名。比赛最终成绩计算方式：最终成绩 = 第一阶段的成绩 * 0.3 + 第二阶段的成绩 * 0.7
评价指标
本次比赛采用与CoQA比赛一致的宏平均（macro-average F1）进行评估。 对于每个问题，需要与N个标准回答计算得到N个F1，并取最大值作为其F1值。然而在评估人类表现（Human Performance）的时候，每个标准回答需要与N-1个其它标准回答计算F1值。为了更公平地对比指标，需要把N个标准回答按照N-1一组的方式分成N组，最终每个问题的F1值为这N组F1的平均值。整个数据集的F1值为所有数据F1的平均值。计算公式如下：
其中，InterSec计算预测回答与标准回答的交集（以字为单位），Countref表示标准回答数目（3个），max部分取预测回答与每个标准回答（除当前标准回答外，目的是与评估人类水平的方法一致）F1值的最大值。最终得分为刑事和民事测试集宏平均F1值的平均值。
数据集说明
本次技术评测使用的数据集由科大讯飞提供，数据主要来源于裁判文书网，其中包含刑事和民事一审裁判文书。训练集约包含4万个问题，开发集和测试集各约5000个问题。对于开发集和测试集，每个问题包含3个人工标注参考答案。开发集和测试集又均包含民事和刑事两部分数据。
重要日期
注册报名：将于4月30日开启报名，报名网站 http://cail.cipsc.org.cn/， 敬请关注！
报名 2019年4月30日-2019年6月30日
训练数据发布 2019年5月15日
比赛第一阶段 2019年5月16日-2019年7月15日
比赛第二阶段 2019年7月16日-2019年7月25日
评测结束 2019年7月26日
撰写技术报告 2019年7月27日-2019年8月13日
SMP2019大会期间召开研讨会 2019年8月16日-2019年8月18日
奖励
一等奖1名：20000元
二等奖2名：10000元
三等奖4名：5000元
评测委员会
评测指导委员会
许建峰 最高人民法院信息中心主任
王珩 **司法大数据研究院总经理
刘挺 哈尔滨工业大学教授、哈工大人工智能研究院副院长
林鸿飞 大连理工大学教授、大连理工信息检索研究室主任
王士进 河北省讯飞人工智能研究院院长、科大讯飞研究院副院长
刘知远 清华大学计算机系副教授
评测主席
伍大勇 科大讯飞研究院副院长
评测副主席
胡振 **司法大数据研究院
刘铭 哈尔滨工业大学
崔一鸣 科大讯飞
评测委员
王宝鑫 科大讯飞
霍天翔 **司法大数据研究院
段兴义 科大讯飞
王梓玥 科大讯飞
马文涛 科大讯飞
联系方式
如有任何与本次技术评测相关的疑问，请随时联系评测委员会。
邮箱：rdg_cail2019_rc@iflytek.com
致谢
主办方：**中文信息学会社会媒体处理专业委员会（CIPS-SMP）、**司法大数据研究院
承办方：科大讯飞股份有限公司（iFLYTEK）、哈尔滨工业大学社会计算与信息检索研究中心（哈工大SCIR）
赞助方：科大讯飞股份有限公司
法小飞
由哈工大讯飞联合实验室出品的“法小飞”智能法律咨询助手应用了对话型阅读理解技术，在为用户提供精准答案的同时提升了用户的对话交互体验。“法小飞”是一个服务公众和律师的法律咨询助手，旨在利用自然语言处理技术和法律专业知识，为用户提供快速优质的法律咨询及相关服务。“法小飞”通过学习大量的法律知识，对当事人提出的法律问题进行自动解答，并且能够针对刑事和民事案件进行深入的案情分析，拥有类案推送、法条推荐、判决预测和律师推荐的功能。
