Python版本:2.7.4
Django版本:1.5.4
Scrapy版本:0.18.2
ElasticSearch版本:0.90.5
项目中使用了Bloom Filter的Python插件 项目地址:https://github.com/yongman/pybloomfiltermmap 也可以直接使用pip install pybloomfiltermmap安装
使用: 启动爬虫: 进入项目目录,
运行scrapy crawl xidian_spider --nolog
启动Django服务器: 进入项目目录, 运行python manage.py runserver