使用pycrfsuite的自动分词-词性标注一体化算法

中文信息处理第二次作业
分词部分改写自第一次作业：pycrfsuite-segword
segpos = word segmentation + Part of Speech tagging

实验环境：

Windows 10
Python 3.7

使用的Python包：

collections
scikit-learn
pycrfsuite
numpy
collections
lxml

训练阶段

运行run_train.bat进行训练，
训练的语料库由train.py的trainfile变量决定。
训练成功后，models文件夹里面会多出seg和pos两个模型文件，分别对应分词模型和词性标注模型。
词性标注的训练默认是简化的，即只取第一个字母，可以通过read_seg_pos_file函数的simplified参数调整。

语料库要求：

一行一句，句子中每个词后跟着'/x'和两个空格，x表示词性。

测试阶段

生语料测试

运行run_test_raw.bat，
测试的文本文件由test_raw.py的testfile变量决定。
测试成功后，测试文件的同名文件被输出到output目录。

过程：先进行分词预测，再根据预测结果进行词性标注。

熟语料测试

运行run_test_eva.bat，
测试的文本文件由test_eva.py的testfile变量决定。
测试成功后，输出结果评估，测试文件的同名文件被输出到output目录。

过程：先进行分词预测，对预测结果进行评估；然后使用熟语料的分词进行词性标注预测并评估。
这样做，分词和词性标注实际上是割裂开的，但是便于进行评估。

预测算法

用了两种预测算法，分词是用pycrfsuite的，词性标注是用自己的。

#调用pycrfsuite的预测算法：
y_pred = [tagger.tag(xseq) for xseq in X_test]
#调用自己的viterbi预测算法：
y_pred = segpos.viterbi_pred(tagger.info(), X_test)

经过测试，两个算法的准确率是相同的，估计crfsuite同样是用viterbi算法进行预测的。

文件结构

注1：斜体表示文件是程序运行后生成的
注2：所有处理后的文本的编码格式都是utf-8

models
- 训练出来的模型（pos和seg）
output
- 分词、词性标注的预测结果
src
- segpos.py:分词与词性标注的核心算法与数据处理
- test_eva.py:包含评估的预测，需要有熟语料
- test_raw.py:对原始语料进行预测
- train.py:从语料训练分词和词性标注模型
test_eva
- 熟语料文本文件
- hit-cir.txt:来自哈工大信息检索研究中心
- ambiguity.txt:测试歧义
- unreg.txt:测试未登录词
test_raw
- 生语料文本文件
train
- 用于训练的熟语料文件
- 199801.txt:经过预处理的人民日报语料库
utils
- pre_199801.py:用于预处理人民日报语料库
- pre_hit-cir.py:用于预处理哈工大信息检索研究中心的语料库

问题

人民日报语料库训练出来的自动标注模型调用tagger.info()会报错：AttributeError: 'NoneType' object has no attribute 'group'.
直接原因是存在空标签。其实是训练集的问题，把训练集中的单空格、三空格改成合乎规则的双空格即可。详见github.

Ricozero/pycrfsuite-segpos