/wenchaogong

wenchaogong(文抄公), Chinese text augmentation tool

MIT LicenseMIT

wenchaogong

wenchaogong(文抄公), Chinese text augmentation tool.

准备实现中文相关的文本增强工具,根据这篇博客 A Visual Survey of Data Augmentation in NLP,想要实现的算法包括

  • 词汇替换
    • 基于词库的替换:通过词库找到同意词
    • 基于词向量的替换:通过词向量找到最近邻
    • MLM:基于 BERT 的替换
    • 基于 TF-IDF 的替换:
  • 基于 Back-Translation 的增强
  • 文本表层替换:找到一些缩写从而规则直接替换
  • 随机噪音注入
    • 拼写错误替换
    • QWERTY 键盘拼写错误替换
    • 同形字错误替换