CCL2019“小牛杯”中文幽默计算评测

CCL2019，“小牛杯”中文幽默计算任务的数据集及baseline

任务说明参见CCL2019官方网站：http://www.cips-cl.org/static/CCL2019/call-evaluation.html 。
任务每个阶段的排名将在该GitHub公布。

两个任务取测试集的部分数据构建开发集。
在比赛的前四个阶段，将根据模型在开发集上的得分对参赛队伍排名。
完整测试集将在10月5日0点放出，队伍的最终排名由模型在完整测试集上的得分决定。

文件说明：

-- data
    -- task1    # 子任务一：生成幽默识别数据
        -- task1_train.csv    # 训练集
        -- task1_development.csv    # 开发集
    -- task2    # 子任务二：中文幽默等级划分数据
        -- task2_train.csv    # 训练集
        -- task2_development.csv    # 开发集
-- baseline
    -- task1_baseline.ipynb    # 使用LSTM
    -- task2_baseline.ipynb    # 使用LSTM

第一阶段队伍排名：

队伍名称	task1_f1	task2_macro_f1	score	rank
SXU-NLP	0.8406	0.4969	0.7031	1
金山AI Lab-MRC	0.8531	0.3600	0.6559	2
清博AI	0.8439	0.3671	0.6532	3
Tenacious Birds	0.8463	0.3417	0.6444	4

第二阶段队伍排名：

队伍名称	task1_f1	task2_macro_f1	score	rank
Huawei MT Squad	0.8936	0.4599	0.7202	1
清博AI	0.8665	0.4675	0.7069	2
学习强国	0.8630	0.4686	0.7052	3
SXU-NLP	0.8603	0.4602	0.7002	4
金山AI Lab-MRC	0.8522	0.4518	0.6920	5
贝岗不断电	0.8382	0.4448	0.6808	6
不叫塞达尔	0.8536	0.3576	0.6552	7
Tenacious Birds	0.8463	0.3417	0.6444	8

第三阶段队伍排名：

队伍名称	task1_f1	task2_macro_f1	score	rank
Huawei MT Squad	0.9024	0.4953	0.7395	1
SXU-NLP	0.8613	0.4748	0.7067	2
清博AI	0.8699	0.4530	0.7032	3
三群五队	0.8593	0.4618	0.7003	4
np菜鸟	0.8524	0.4575	0.6944	5
Tenacious Birds	0.8463	0.4423	0.6847	6
饮水思源队	0.8303	0.4597	0.6821	7
金山AI Lab-MRC	0.8404	0.4244	0.6740	8
jxnu-小黑	0.8422	0.4116	0.6699	9
罗小黑战队	0.8098	0.3971	0.6447	10
111	0.8418	0.3259	0.6355	11
贝岗不断电	0.6482	0.3128	0.5141	12

第四阶段队伍排名：

队伍名称	task1_f1	task2_macro_f1	score	rank
清博AI	0.9195	0.4648	0.7376	1
Huawei MT Squad	0.8967	0.4985	0.7374	2
不叫塞达尔	0.8702	0.4894	0.7179	3
三群五队	0.8726	0.4618	0.7083	4
金山AI Lab-MRC	0.8631	0.4724	0.7068	5
DTN	0.8597	0.4699	0.7038	6
np菜鸟	0.8554	0.4733	0.7025	7
SXU-NLP	0.8672	0.4502	0.7004	8
Tenacious Birds	0.8546	0.4553	0.6949	9
贝岗不断电	0.8567	0.4168	0.6808	10
罗小黑战队	0.8501	0.4245	0.6799	11
UIR	0.8633	0.3643	0.6637	12
jxnu-小黑	0.8369	0.3844	0.6559	13
人机耦合战队	0.8357	0.3835	0.6548	14
饮水思源队	0.8389	0.3617	0.6480	15
111	0.8543	0.3290	0.6442	16
MFDS	0.8262	0.3345	0.6296	17
他改变了幽默	0.8192	0.3353	0.6256	18

队伍最终排名：

注：第5、6名属统一参赛单位，经沟通将两支队伍合并。获奖队伍顺延到第7名。

队伍名称	task1_f1	task2_macro_f1	score	rank
清博AI	0.9488	0.5011	0.7697	1
Huawei MT Squad	0.8968	0.4936	0.7355	2
三群五队	0.8683	0.4808	0.7133	3
学习强国	0.8605	0.4876	0.7113	4
SXU-NLP	0.8594	0.4859	0.7100	5
Tenacious Birds	0.8558	0.4774	0.7045	6
金山AI Lab MRC	0.8540	0.4681	0.6997	7
贝岗不断电	0.8459	0.4383	0.6829	8
jxnu-小黑	0.8526	0.4099	0.6755	9
MFDS	0.8281	0.4417	0.6735	10
UIR	0.8571	0.3866	0.6689	11
饮水思源队	0.8399	0.3746	0.6537	12
Honor	0.8177	0.4001	0.6507	13
他改变了幽默	0.8113	0.4070	0.6496	14
秃头少女	0.8028	0.3645	0.6275	15
龙马精神	0.8198	0.3202	0.6200	16
np菜鸟	0.8236	0.3108	0.6185	17
NLP小优	0.7854	0.1832	0.5445	18

ky941122/CCL2019-Chinese-Humor-Computation

CCL2019“小牛杯”中文幽默计算评测