/v2ex_scrapy

基于 V2EX API 的异步爬虫, 为社区搜索提供索引数据

Primary LanguagePythonMIT LicenseMIT

V2EX_Scrapy

V2EX_Scrapy 是一只基于 V2EX API 的异步 IO 爬虫


正努力地为 V2EX 第三方社区搜索 抓取索引数据

开始使用前,请确保了解:
V2EX 关于 API 公平使用方面的规则

环境准备

快速开始

#: 安装必要 python 库

sudo pip install scrapy
sudo pip install pymongo


#: 抓取社区最新数据

scrapy crawl topic
scrapy crawl reply

定时运行

参见  run.sh 中的 `cron` 注释

更多

欢迎提交 Pull Request 来改进爬虫