/WordsQuery

分词查询器

Primary LanguageJava

WordsQuery-分词查询器

概述

这是一个用来查询两字词在去重后的语料库内,出现的次数以及他们被隔离1、2、3字的出现次数

逻辑流程

  1. 读取博士提供的有效词库
  2. 扫描完整过滤出来的语料库,在内存中建模
  3. 查询一个字后面跟另外一个什么字,并统计词出现的次数
  4. 只为有效词库中的首字符在内存中建模
  5. 每个模型需要有它的下一个字的计数,它的隔代字的计数,隔两代、隔三代的计数