/douban-group-spider

爬取豆瓣小组帖子的爬虫。

Primary LanguagePython

说明

用于爬取豆瓣小组的爬虫。
此爬虫我主要用于了爬取豆瓣租房小组的帖子,支持关键字搜索以及发帖更新时间排序

依赖

  • gevent
  • pymongo
  • requests
  • lxml
  • Flask
  • boostrap

具体版本参见`requirements.txt`

特别说明

  • 由于豆瓣有防抓机制,故此爬虫使用了代理爬取,防止被封IP。
  • 可从网上收集代理IP,放在项目路径下proxy_list.txt
  • 每个一行,程序会自动加载,且可以自动定时加载新代理。
  • 或者参考我的代理采集器,自动采集代理。
  • 如果程序运行发现总是出现超时或者403,请更换proxy_list.txt下的代理。

使用

  • 安装MongoDB,具体参考安装文档。
  • 建议使用virtualenv环境
    pip install -r requirements.txt
  • 启动爬虫
    nohup python spider.py >> douban_spider.log &
  • 启动web服务
    nohup python app.py >> app.log &
  • 查看页面
    http://localhost:5000

配置

参数配置见config.py,例如MongoDB地址并发数爬取页数等。