/similarity

语义相似度计算各种算法实现汇总

Primary LanguageJavaApache License 2.0Apache-2.0

similarity

用于词语、短语、句子、词法分析、情感分析、语义分析等相关的相似度计算。

similarity是由一系列算法组成的Java版相似度计算工具包,目标是传播自然语言处理中相似度计算方法。similarity具备工具实用、性能高效、架构清晰、语料时新、可自定义的特点。

similarity提供下列功能:

  • 词语相似度计算
  • 词林编码法相似度
  • 汉语语义法相似度
  • 知网词语相似度
  • 字面编辑距离法
  • 短语相似度计算
  • 简单短语相似度
  • 句子相似度计算
  • 词性和词序结合法
  • 编辑距离算法
  • Gregor编辑距离法
  • 优化编辑距离法
  • 文本相似度计算
  • 余弦相似度
  • 编辑距离算法
  • 欧几里得距离
  • Jaccard相似性系数
  • Jaro距离
  • Jaro–Winkler距离
  • 曼哈顿距离
  • SimHash + 汉明距离
  • Sørensen–Dice系数
  • 词法分析
  • xmnlp中文分词
  • 分词词性标注
  • 知网义原
  • 义原树
  • 情感分析
  • 正面倾向程度
  • 负面倾向程度
  • 情感倾向性
  • 近似词
  • word2vec

在提供丰富功能的同时,similarity内部模块坚持低耦合、模型坚持惰性加载、词典坚持明文发布,使用方便,帮助用户训练自己的语料。