webbery/NLPExtractor

编写和收集的各类文本数据集的导出脚本

WikiExtractor.py

使用链接：https://github.com/attardi/wikiextractor

THUCNewsExtractor.py

数据集：THUCNews

链接：https://pan.baidu.com/s/13C2s4eencWdUH6MmLIbfiw 提取码：aqkg
使用方式：
THUCNewsExtractor.py
[input dir] direcotory of unzip files
[-o] [output dir] extract directory