/CCL2020-Humor-Computation

CCL2020 第二届“小牛杯”幽默计算——情景喜剧笑点识别

Primary LanguageJupyter NotebookMIT LicenseMIT

CCL2020-Humor-Computation

All Contributors

CCL2020 第二届“小牛杯”幽默计算——情景喜剧笑点识别

竞赛提分尝试

模型部分

  • 交叉验证（五折或十折）
  • 模型融合 + 伪标签
  • Focalloss + 标签平滑
  • 对抗训练（FGM）
  • 加权Accuracy + F1选择模型
  • bert + 胶囊网络
  • bert + 图神经网络
  • 加载最优模型，学习率*0.1，再跑几个epoch
  • 动态衰减
  • F1优化
  • EMA 指数滑动平均 [参考]
  • 预训练的 Word Embedding 与 Bert 结合
  • BERT Post-Training [参考]
  • GHM-C loss
  • Flooding [参考]

数据部分

  • Speaker + Sentence
  • Pre-sentence + Cur-sentence
  • Pre-sentence + Cur-sentence + Post-sentence
  • Speaker_Pre-sentence + Speaker_Post-sentence
  • 欠采样
  • 过采样
  • 数据增强EDA
  • 数据增强UDA
  • 数据清洗
  • dialogue level作为输入（一个dialogue作为一个batch）

训练加速

  • 多卡并行训练
  • 混合精度训练

Contributors ✨

Thanks goes to these wonderful people (emoji key):


airflier
💻

This project follows the all-contributors specification. Contributions of any kind welcome!