Gensim是一款开源的第三方Python工具包,用于从原始的非结构化的文本中,无监督地学习到文本隐层的主题向量表达。
它支持包括TF-IDF,LSA,LDA,BM25和word2vec在内的多种主题模型算法,支持流式训练,并提供了诸如相似度计算,信息检索等一些常用任务的API接口
pip3 install --upgrade gensim
Python >= 3.6 NumPy >= 1.11.3 SciPy >= 0.18.1 Six >= 1.5.0 smart_open >= 1.2.1
主程序:run.py
1、对于文档集固定不变的情况:
先将模型和文档集转变成向量表示并缓存,cache_model_corpora(),其中raw_corpus.txt存放文档集
每次计算调用 text_similarity(text, num_best)
2、每次计算文档集会变的情况:
text_similarity(text, docs, num_best)
text:一个新文档
docs:文档集
num_best:返回最相似的文档数量
主程序:demo.py
1、语料处理:分词、去停用词,并持久化到磁盘上(路径为:corpus_path)
调用gen_corpus方法
2、计算相似度: 调用 text_similarity方法
语料(Corpus):一组原始文本的集合,用于无监督地训练文本主题的隐层结构,语料中不需要人工标注的附加信息。 在Gensim中,Corpus是一个二维矩阵,每一次迭代返回一个可用于表达文本对象的稀疏向量。
词典(Dictionary):是所有文档中所有单词的集合,而且记录了各词的出现次数等信息。
向量(Vector):由一组文本特征构成的列表,是一段文本在Gensim中的内部表达。
模型(Model):定义了两个向量空间的变换(即从文本的一种向量表达变换为另一种向量表达)。
在TF-IDF模型中,将每个词作为一个维度,所有词构成一个高维的语义空间,每个文档在这个空间中被映射为一个点。
LSI,即“隐含语义索引”模型。在TFIDF模型中,把每个词作为一个维度去构造特征空间,这样会割裂词与词之间的联系,损失语义信息。 所以在LSI模型中,我们把词和文档同等对待,把文本从稀疏的高维词汇空间映射到一个低维的向量空间,称之为潜语义空间, 每个词和每个文档都是被映射到这个空间中的一个点,文档的相似性在这个空间内进行比较,这样计算的概率是他们的联合概率。
LSI是基于奇异值分解(SVD)的方法来得到文本的主题。具体做法是:
1、将词和文档集转换成向量表示,词为列,文档为行,构造成Term-Document二维矩阵A,每个位置的值就是词在对应文档中的词频(也可以用tfidf值)。
2、对矩阵A作SVD分解,此时,A = US(V转置)。其中,S是特征值构成的对角矩阵,特征值代表其对应的特征向量的重要程度。
3、对SVD分解后的矩阵进行降维,只保留矩阵S前K个最大的奇异值得到S’。相应的U、V分别为U’、V’。 V’中的每行即为每个文档在潜在语义空间上的K维表示。
4、使用降维后的矩阵重建Term-Document矩阵A’ = U’S’(V’转置)。
5、对于一个列向量表示的新文档Q,其在潜在语义空间上的K维表示为Q’ = (Q转置)U’(S’逆)。
6、将新文档Q于文档集中的每个文档在潜在语义空间进行相似度计算,得到与Q最相似的文档。sim(Q,D)= qd/|q||d|.
1、BM25是基于TF-IDF并做了改进的算法
2、对TF的改进:
传统的TF值理论上是可以无限大的。而BM25与之不同,它在TF计算方法中增加了一个常量k,用来限制TF值的增长极限。下面是两者的公式:
TF Score = ((k + 1) * tf) / (k + tf)
3、如何对待文档长度:
BM25还引入了平均文档长度的概念,单个文档长度(dl)对相关性的影响力与它的平均长度(avgDl)的比值有关系。BM25的TF公式里,除了k外,引入另外两个参数:
L和b。L是文档长度与平均长度的比值。如果文档长度是平均长度的2倍,则L=2。b是一个常数,它的作用是规定L对评分的影响有多大。加了L和b的公式变为:
TF Score = ((k + 1) * tf) / (k * (1 - b + b * L) + tf)
4、IDF没有变化
IDF Score = log(N/(n+1))
4、相似度的计算:
参数b的作用是设定L对评分的影响有多大。如果把b设置为0,则L完全失去对评分的影响力。b的值越大,L对总评分的影响力越大。此时,相似度最终的完整公式为:
simlarity = IDF * ((k + 1) * tf) / (k * (1 - b + b * (dl/avgDl)) + tf)