/CBLUE2

CBLUE 2/3 任务实现

Primary LanguagePython

CBLUE 2/3 任务实现

CBLUE 中文生物医学语言理解评测

CBLUE 1 Baseline

CBLUE 2 内容

  • 中文医学命名实体识别(CMeEE)
  • 中文医学文本实体关系抽取(CMeIE)
  • 临床术语标准化任务(CHIP-CDN)
  • 临床试验筛选标准短文本分类(CHIP-CTC)
  • 平安医疗科技疾病问答迁移学习(CHIP-STS)
  • 医疗搜索检索词意图分类(KUAKE-QIC)
  • 医疗搜索查询词-页面标题相关性(KUAKE-QTR)
  • 医疗搜索查询词-查询词相关性(KUAKE-QQR)
  • 蕴含实体的中文医疗对话生成(MedDG)
  • 医疗对话临床发现阴阳性判别(CHIP-MDCFNPC)
  • 临床发现事件抽取(CHIP-CDEE)
  • 命名实体识别(IMCS-NER)
  • 对话意图识别(IMCS-IR)
  • 症状的归一化标签和类别标签预测(IMCS-SR)
  • 自动生成诊疗报告(IMCS-MRG)

CBLUE 3 新增

  • 中文医学命名实体识别V2(CMeEE-V2)
  • 中文医学文本实体关系抽取V2(CMeIE-V2)
  • 医学因果关系抽取(CMedCausal)
  • 医学段落检索(KUAKE-IR)
  • 命名实体识别V2(IMCS-V2-NER)
  • 对话意图识别V2(IMCS-V2-DAC)
  • 症状的归一化标签和类别标签预测V2(IMCS-V2-SR)
  • 自动生成诊疗报告V2(IMCS-V2-MRG)
  • 医疗文本诊疗决策树抽取(Text2DT)

打榜得分

数据集/语言模型 BERT-base RoBERTa-large Other models
CMeEE-F1 67.840
CMeIE-F1 56.569 59.340
CHIP-CDN-F1 60.809
CHIP-CTC-F1 70.433
CHIP-STS-F1 85.310 84.914
KUAKE-QIC-Acc 85.908
KUAKE-QTR-Acc 61.154
KUAKE-QQR-Acc 85.026
MedDG-Ave 15.827
CHIP-MDCFNPC-F1 77.908
CHIP-CDEE-F1 41.198 50.2175
IMCS-NER-F1 92.028
IMCS-SR-F1 64.665 65.662
IMCS-MRG-Ave 59.640
IMCS-IR-F1 77.887
CMeEE-V2-F1 73.2150 74.0448
CMeIE-V2-F1 52.1963 54.8591
CMedCausal-F1 32.6060 36.2170
KUAKE-IR-MRR@10 21.5994 30.5164
IMCS-V2-NER-F1 88.2173 88.0096
IMCS-V2-DAC-Acc 82.6112
IMCS-V2-SR-Utterance-Level-F1 64.8370 68.2290
IMCS-V2-SR-Dialog-Level-F1 62.3330 65.1595
IMCS-V2-MRG-Ave 51.1026
Text2DT_Tree_Level_Score 47.9338