/tyseg

中文分词程序. 仅供学习.

Primary LanguagePython

分词模块

调用cut进行分词, 返回分好词的列表

原理:
找到这么一个分词的方案, 把一个句子分成几个词, 使得分出来的所有词的频率相乘最大. 实现上采用了trie优化的动态规划算法, 词频表来自:

https://github.com/fxsjy/jieba

仅供学习用途.