/wordmaker

auto generate chinese words in huge text.

Primary LanguageC++

wordmaker 词语生成工具

通过词语组成的规律,自动从大文本当中学习得到文本当中的词语,而不再需要其它额外的信息。

很多分词库等都需要字典库,特别在一些专业的领域,需要得到很多的专业相关词语。而人工标注字典需要花很大的时间,所以希望有一个工具能够自动从文本中训练得到词语。分析某类人的用词特点,也可以有所应用。

重点说明

  • 大家通过邮件与我讨论问题我一般都会回复,但请尽可能在项目中通过open issue的方式提交问题。这样不仅会让我更及时看到问题,还能给项目的其它人带来好处。相信方便你也能方便其它后来的朋友。若您是open心态的人,应该明白这样的好处。
  • 项目已经搬迁至avplayer旗下, 有问题请在此项目下open issue。
  • avboost 是一个非常好的C++社区,虽然我与上面的各路版主不熟悉,也没有时间在上面发帖讨论问题,但是相信他们各种都是非常open非常牛的精英,所以把项目移到他们名下会让项目变得更好。

代码实现

最初尝试实现了一个简单版本,但基于单线程,运行速度慢,并且还消耗巨大的内存。最近尝试接触c++ 11,并使用了类似map/reduce**,所以决定拿这个项目练练手,也希望能有人多交流。**如下:

  • 基于节约内存的 Trie树结构 (Double Array Trie & MARISA)
  • 用多个线程独立计算各个文本块的词的信息,再按词的顺序分段合并,再计算各个段的字可能组成词的概率,左右熵,得到词语输出。 因为都分成独立的块处理,所以使用多线程非常方便。这种**应该可以应用在大部分的文本处理工作中,若有更好的办法欢迎交流~
  • src/wordmaker.cpp 将在内存当中完成所有计算,并只依赖于cedar.h文件。能够很快处理20M左右的文本。
  • src/hugemaker.cpp 为了节约内存,在计算、合并过程中将保存部分中间文件。可以处理更大的文本(50M+)。marisa:Trie支持mmap将trie文件mmap到内存当中,经过修改完全可以处理更巨大的文本(当时用的时间也会更久)。
  • 默认启用4个线程,可以修改代码的宏,也可以自己加shell命令控制。
  • 为了代码的简单,只支持gbk编码。(没太多检查,其它编码格式的输入将可能产生段错误,欢迎帮优化)
  • 在linux与cygwin下编码成功,visual studio下应该也没问题吧。
  • 因工作关系用C比C++时间多得多,希望使用代码的人看到代码有任何不符合现在c++观点的作法及时指出,以做交流!

编译与使用

mkdir build

cd build

cmake28 ..

make

./bin/wordmaker input.txt output.txt 或者

./bin/hugemaker input.txt output.txt

linux下可以使用:

iconv -f "gbk" -t "utf-8//IGNORE" < infile > outfile

进行编码转换。windows下当然可以使用notepad++了,转换成ANSI。

测试语料

sogou的新闻语料,把各个文本合成在一起总共50M:http://pan.baidu.com/s/1mgoIPxY 里面还有莫言的文集当做输入语料,方法大家测试代码。

这里是我运行的表现结果

TODO

  • 算法优化:结果里偶尔出现 “鼓舞了”、“默认了”、“鲜红的”等错误词,虽然算法里已经较好的处理了这种情况,但感觉应该有更好的办法,比如:给类似“的”、“了”、“在”等出现频率特别高的字更低的组词权重,而提高其它一些情况的词的权重,可能输出结果会更好。

  • 找到更多的语料,结合本工具,并实现一些办法,从这些语料当中分析得到更多的有趣信息。比如说网络流行词,某行业的专用词等。