/china_ai_lawCup

chinese ai law cup/a ai contest

Apache License 2.0Apache-2.0

china_ai_lawCup

chinese ai law cup/a ai contest 一、简介

法律智能旨在赋予机器阅读理解法律文本与定量分析案例的能力,完成罪名预测、法律条款推荐、刑期预测等具有实际应用需求的任务,有望辅助法官、律师等人士更加高效地进行法律判决。近年来,以深度学习和自然语言处理为代表的人工智能技术取得巨大突破,也开始在法律智能领域崭露头角,受到学术界和产业界的广泛关注。

为了促进法律智能相关技术的发展,在最高人民法院信息中心、共青团**青年发展部的指导下,**司法大数据研究院、**中文信息学会、中电科系统团委联合清华大学、北京大学、**科学院软件研究所共同举办“2018**‘法研杯’法律智能挑战赛(CAIL2018)”。挑战赛将提供海量的刑事法律文书数据作为数据集,旨在为研究者提供学术交流平台,推动语言理解和人工智能领域技术在法律领域的应用,促进法律人工智能事业的发展。每年比赛结束后将举办技术交流和颁奖活动。诚邀学术界和工业界的研究者和开发者积极参与该挑战赛!

二、任务说明

2.1 介绍

任务一(罪名预测):根据刑事法律文书中的案情描述和事实部分,预测被告人被判的罪名; 任务二(法条推荐):根据刑事法律文书中的案情描述和事实部分,预测本案涉及的相关法条; 任务三(刑期预测):根据刑事法律文书中的案情描述和事实部分,预测被告人的刑期长短。 参赛者可选择一个或者多个任务参与挑战赛。同时,为了鼓励参赛者参与到更多的任务中,组委会将单独奖励参与更多任务的参赛者。

2.2 数据介绍

本次挑战赛所使用的数据集是来自“**裁判文书网”公开的刑事法律文书,其中每份数据由法律文书中的案情描述和事实部分组成,同时也包括每个案件所涉及的法条、被告人被判的罪名和刑期长短等要素。

数据集共包括268万刑法法律文书,共涉及202条罪名,183条法条,刑期长短包括0-25年、无期、死刑。

我们将先后发布CAIL2018-Small和CAIL2018-Large两组数据集。CAIL2018-Small包括19.6万份文书样例,直接在该网站发布,包括15万训练集,1.6万验证集和3万测试集。这部分数据可以注册下载,供参赛者前期训练和测试。

比赛开始2-3周后(具体时间请关注比赛新闻),我们将通过网络下载向有资格的参赛队伍定向发布CAIL2018-Large数据集,包括150万文书样例。最后,剩余90万份文书将作为第一阶段的测试数据CAIL2018-Large-test。

2.2.1 字段及意义

数据利用json格式储存,每一行为一条数据,每条数据均为一个字典。

fact: 事实描述 meta: 标注信息,标注信息中包括: criminals: 被告(数据中均只含一个被告) punish_of_money: 罚款(单位:元) accusation: 罪名 relevant_articles: 相关法条 term_of_imprisonment: 刑期 刑期格式(单位:月) death_penalty: 是否死刑 life_imprisonment: 是否无期 imprisonment: 有期徒刑刑期 这里是简单的一条数据展示:
{
"fact": "2015年11月5日上午,被告人胡某在平湖市乍浦镇的嘉兴市多凌金牛制衣有限公司车间内,与被害人孙某因工作琐事发生口角,后被告人胡某用木制坐垫打伤被害人孙某左腹部。经平湖公安司法鉴定中心鉴定:孙某的左腹部损伤已达重伤二级。",
"meta": {
"relevant_articles": [234],
"accusation": ["故意伤害"], "criminals": ["段某"],
"term_of_imprisonment": {
"death_penalty": false,
"imprisonment": 12,
"life_imprisonment": false } } } 2.3 评价方法

本次挑战赛使用的数据集均为来自**裁判文书网上的刑事法律文书,标准答案是案件的判决结果。我们提供了评测时使用的评分程序共选手使用,评测方法、环境和模型提交说明请看链接。

每项任务满分100分,下面将对三项任务的评价方法分别进行说明:

2.3.1 任务一、任务二

任务一(罪名预测)、任务二(法条推荐)两项任务将采用分类任务中的微平均F1值(Micro-F1-measure)和宏平均F1值(Macro-F1-measure)作为评价指标,其计算方式为:

f1

则任务的最终分数为:

score1

2.3.2 任务三

任务三(刑期预测)将采用下列公式,根据预测出的刑期与案件标准刑期之间的差值距离作为评价指标。设预测出的刑期为lp,标准答案为la,则

v

若v≤0.2,则score=1; 若0.2<v≤0.4,则score=0.8 …… 以此类推。 特殊的情况

若案件刑期的标准答案为死刑则lp=-2, 无期则lp=-1,才计分。具体请见评测部分源码。

最后,将任务三所有测试点的分数相加并除以测试点总数乘以100作为任务三的评价得分:

score3

2.3.3 三项任务总分的计算方式

每个任务的满分均为100,则总分为:

score_all

2.4 基线系统

竞赛组织方提供了一个开源的针对不同任务的基线系统(LibSVM)。

FAQ

  1. 有没有选手交流的平台?

选手交流QQ群:237633234。

  1. 评测是否需要上传代码?

代码上传不是必须的,我们不会保存选手上传的任何文件。

选手上传的模型和文件应按照代码提交说明进行上传,只需符合要求并可以进行正常评测即可。

  1. 上传后测试机的环境是怎么样的,如是否有相应的python包,是否有gpu,各个软件和第三方库的版本信息等。是否允许选手提出增加第三方依赖的需求?

我们主要支持python3.5的编译环境,有GPU(Tesla P100 16G)。如果需要C++(服务器版本为5.4.0)或者Java(服务器版本为1.8.0_171),可以参考代码提交说明进行编译上传。

现有python3.5环境可以参考python环境列表。

如果有其他需要的环境,请联系比赛管理员进行安装。

  1. 上传代码后是否有测试时间限制?

原则上没有评测时间限制,但如果我们发现选手的程序4小时没有输出结果,会手动终止,并与选手联系。

  1. 上传代码以及其他文件是否有大小限制,如本地训练好的模型可能很大?

通过网站上传代码和模型的文件大小限制为1GB,一般来说正常的模型不会超过1GB。 如果需要上传更大的模型或者代码,请联系比赛管理人员进行沟通。

  1. 比赛是否允许用外部数据?

如需使用外部数据,可以在上传文件时同时进行。需要注意的是评测环境为禁止网络连接。

  1. 是否允许人手工构建的一些知识性数据?

我们欢迎选手使用各种方式来解决本次比赛的任务,进而不会对使用的方法进行任何限制。