python CRF++实现分词
训练数据采用1998年1月份人民日报的标注数据
tag => B M E S
训练模型调用接口
crf_model = CRFModel(model='model/model')
crf_model.crf_learn(filename='data/199801人民日报.data')
参数model为保存模型的路径, filename为标注数据路径
crf_model = CRFModel(model='model/model')
data = crf_model.crf_test(tag_data=data)
既往青霉素、链霉素、磺胺类药物过敏史<@>既_往_青霉素_、链_霉素、_磺_胺类_药物_过敏史
对“鸡蛋”等多种食物过敏<@>对_“鸡蛋”_等_多种_食物_过敏
对降脂药“非诺贝特”过敏<@>对_降脂_药_“非诺贝特”_过敏
有“青霉素”过敏史、食物过敏史<@>有_“青霉素”过敏史、_食物_过敏史
对磺胺类、青霉素类及巴比妥类药物过敏<@>对_磺胺类_、_青霉_素类_及_巴比_妥类_药物_过敏
解压CRF++-0.58.zip
cd CRF++-0.58
./configure
make
make install
终端输入： crf_learn, 出现如下信息则安装成功.
CRF++: Yet Another CRF Tool Kit
Copyright (C) 2005-2013 Taku Kudo, All rights reserved.
Usage: crf_learn [options] files
-f, --freq=INT use features that occuer no less than INT(default 1)
-m, --maxiter=INT set INT for max iterations in LBFGS routine(default 10k)
-c, --cost=FLOAT set FLOAT for cost parameter(default 1.0)
-e, --eta=FLOAT set FLOAT for termination criterion(default 0.0001)
-C, --convert convert text model to binary model
-t, --textmodel build also text model file for debugging
-a, --algorithm=(CRF|MIRA) select training algorithm
-p, --thread=INT number of threads (default auto-detect)
-H, --shrinking-size=INT set INT for number of iterations variable needs to be optimal before considered for shrinking. (default 20)
-v, --version show the version and exit
-h, --help show this help and exit
crf_learn
libcrfpp.so--cannot open shared object file: No such file or directory
1、用ln将需要的so文件链接到/usr/lib或者/lib这两个默认的目录下边
ln -s /where/you/install/lib/*.so /usr/lib
sudo ldconfig
2、修改LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/where/you/install/lib:$LD_LIBRARY_PATH
sudo ldconfig
3、修改/etc/ld.so.conf，然后刷新
vim /etc/ld.so.conf
add /where/you/install/lib
sudo ldconfig
默认安装路径为 /usr/local/lib
/usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by */3rd-party/protobuf-2.4.1/src/.libs/libprotoc.so.7)
解决方案步骤：
1、下载：libstdc++.so.6.0.20， 复制到/usr/local/lib64/
(libstdc++.so.6.0.20在test目录下)
2、sudo cp /usr/local/lib64/libstdc++.so.6.0.20 /usr/lib64
3、sudo rm -rf /usr/lib64/libstdc++.so.6
4、sudo ln -s /usr/lib64/libstdc++.so.6.0.20 /usr/lib64/libstdc++.so.6
cd python
python3 setup.py build
python3 setup.py install
测试, cd test
python3 test.py
结果:
测试python3 CRFPP...
只 B
有 E
站 S
在 S
百 B
姓 E
的 S
出 B
发 M
点 E
， S
达 B
到 E
“ S
你 S
就 S
是 S
我 S
、 S
我 S
就 S
是 S
你 S
” S
， S
才 S
可 B
能 E
把 S
工 B
作 E
真 B
正 E
做 S
到 B
位 E
。 S
已成功安装python3 CRFPP！
running install
running build
running build_py
running build_ext
building '_CRFPP' extension
x86_64-linux-gnu-gcc -pthread -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -g -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -fPIC -I/usr/include/python3.5m -c CRFPP_wrap.cxx -o build/temp.linux-x86_64-3.5/CRFPP_wrap.o
cc1plus: warning: command line option ‘-Wstrict-prototypes’ is valid for C/ObjC but not for C++
CRFPP_wrap.cxx:149:20: fatal error: Python.h: 没有那个文件或目录
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
解决方法
安装apt-get install python3-dev