/text-sort-search-system

基于关键词的文本排序检索系统

Primary LanguageC++

基于关键词的文本排序检索系统

介绍

① 利用 TF-IDF 模型,为文本库中的文本创建索引(如倒排索引);

② 用户输入的关键词可以是一个或多个;

③ 对于返回的结果文本,同时显示各检索关键词在结果文本中的出现频度信息;

④ 系统内支持返回结果文本的查看;

⑤ 支持文本库的动态装载和处理;

⑥ 支持停用词的管理和维护,停用词是指在没有检索价值的单词,如 is, am, are, a, an, the 等;

各文件说明:

TSSS.cpp为主程序代码;

FunctionState.hVarState.h分别是源程序的头文件,分别为函数声明、变量声明文件;

StopWordList.txt存放着停用词表,被源程序读写;

PreTreatFile.txt中每一行的内容是需要建立索引的数据集的路径,被源程序读写;

以上文件都应放在一起。

注:① 为了方便,一般把要建立索引的数据集,也与上述文件放在一起,这样以来,在PreTreatFile.txt中每一行直接存放要建立索引的数据集的名称即可。否则,需要放对应数据集的绝对路径。

② 中文可能出现乱码,因其内容编码方式为:GB-2312。

程序说明:

① 程序运行时,会先读取StopWordList.txt中内容获取停用词。

② 然后会逐行读取PreTreatFile.txt中内容,每读取一行就会到相应的数据集下,为其中所有文本文件建立倒排索引。

③ 程序也会根据用户的选项,判断是否需要更新StopWordList.txtPreTreatFile.txt中内容。