#!/usr/bin/env vim
将位置信息与模糊查询等功能暂时去掉， 可在Gov2下完成索引与检索（索引大小12G）
IndexSearcher初始化占用内存5.3G，但是，搜高频词时需要足够大的内存
(包括虚拟内存至少8G空闲空间)
测试时，用BM25 (k=1.2, b=0.4), 对于idf评分为负的query不作考虑，对每个topic
取前10,000篇相关文档输出，打分的结果如下(详细结果在log文件夹下):
TREC 04:
R-prec 0.3287
map 0.2818
P5 0.5469
P10 0.5469
TREC 05:
R-prec 0.3512
map 0.3178
P5 0.5400
P10 0.5440
TREC 06:
R-prec 0.3125
map 0.2653
P5 0.5360
P10 0.4900
TREC 04~06:
R-prec 0.3308
map 0.2883
P5 0.5409
P10 0.5268
snippet的生成策略是：长度最多为80字符，头尾的词都必须完整，优先输出覆盖最多查询串字符的片段，
(但这样当query含有高频词时，snippet会输出更多高频词而把低频query漏掉)
结果如下(命令行下有染色处理):
query = (peking | university)
BM25: numhit = 2848432
[19003836] 23.656693 GX075-12-12551435 (718)
... Jian Dai , Xing-Chang Song (Peking University) Comments: LaTeX 5 pages,...
[19183958] 23.656693 GX075-12-4179505 (718)
... Jian Dai , Xing-Chang Song (Peking University) Comments: LaTeX 5 pages,...
[20943851] 23.383717 GX180-06-12915650 (1985)
...Lee , H.G. Wang , R.X. Xu (Peking University, Beijing, China) Comments: 5...
[ 1036750] 22.956249 GX171-89-10767512 (901)
... Jian Dai , Xing-Chang Song (Peking University) Comments: LaTeX, 15 pages,...
[ 443665] 22.733286 GX088-41-11788847 (138)
...F. Zhu (Peking University) WPAH312 Research on Peking University ...
... (result trucated)
================================
GOV2数据信息:
文档个数: 25205179
stem后词项个数: 10475630
平均文档长度: 758.61
索引信息:
倒排表大小(无距离): 12GB
================================
RCV1数据信息:
文档个数: 806791
词项个数: 438488
stem后词项个数: 371521
平均文档长度: 261.19 (#ttf=210728333)
平均词项长度: 8.42 (#permuterm=3691287)
索引信息:
词典大小: 7.1MB
倒排表大小(带距离): 2.4GB
压缩后大小(带距离): 889MB
permutree大小: 219MB
* 倒排表结构: 三级倒排
词项id => <词项id,文件指针> => <文档id,文件指针> => 距离信息
pst.dat.trm pst.dat.doc pst.dat.pos
压缩用Variable Byte + D-gap操作。压缩的数列包括: 文档id、文件指针、词项位置。
* permuterm tree : B+树
非叶结点存储部分key值，用于多分查找；
叶结点存储包括非叶结点出现的所有key值。
同一层上的相邻叶结点之间用一个单向链串起来，方便区间搜。
此处，key的结构为 <轮转字符串, 词项id>。
这样，查找wildcard时，通过B+树上的ranged query功能收集到所有命中的
key，将词项id取出来，并把query语法树上的wildcard query结构转变成or query
的结构。如:
AND AND
/ \ => / \
tropi*al fish OR fish
/ \
tropival tropical
* 词典 : Hashmap
term_id => <term_string, document_frequency, corpus_frequency>
doc_id => <doc_filename, doc_length>
================================
项目结构
assign-x-yyy
│
├── data -> ../data # 数据文件, 放在项目的上层目录
├── log -> ../log # 评分结果
├── lib # 静态库文件
├── script # 处理脚本或测试脚本
├── src # 源文件
│ ├── index
│ ├── main
│ ├── query
│ ├── search
│ ├── template
│ └── util
├── src # TREC评测脚本与结果
└── test # 测试信息
-------
data
│
├── gov2 # GOV2的解压数据，均为天网格式
├── reuter # RCV1的解压文件，均为xml格式
├── shakespeare # 前期作业的数据文件
│
├── index # 程序建立的索引文件
└── reuter-zip # RCV1的初解压文件，为zip格式，可用script中的脚本处理
├── disk1
└── disk2
================================
测试/开发环境:
系统环境(包括项目编译环境与引用静态库的制作环境):
ArchLinux (i686) g++ 4.7.2 glibc 2.17
Ubuntu (x86_64) g++ 4.4.3 glibc 2.11.1
用到的外部代码:
lib/lib*porter.a: Jamie Callan 的 Porter Stemmer，已打包
lib/lib*pugixml.a: Arseny Kapoulkine 的 pugixml库，已打包
makefile自带64位与32位检测，若出问题，
可更改src/Makefile中的$(LIB)进行调整
================================
运行方式:
make clean
make clean-trec
make # 编译
make init-trec # 解包
make idx-small # 根据shakespeare数据集重建索引(会抹掉原有索引)
make idx-medium # 根据reuter数据集重建索引(会抹掉原有索引)
make idx-large # 根据gov2数据集重建索引(会抹掉原有索引)
make rnk < test/ranking # 文档打分测试
make smr < test/ranking # snippet单独测试(不打分)
make eval-04 # 用trec04的topics.701-750
make eval-05 # 用trec05的topics.751-800
make eval-06 # 用trec06的topics.801-850
make eval-all # 用trec06的topics.701-850
make view-all # 查看打分结果