/MultiProcessSpider

MultiProcessSpider

Primary LanguagePython

多进程爬虫

功能

  • 多个进程抓链家网页
  • 抓取记录保存在sqllite数据库,一天一个
  • 分析抓取的数据

使用

  • denglu.py 包括了登陆网站的用户名和密码
  • RunMutiErShouFangMain.py 是启用多个进程抓取数据
  • AdvancedAnalysiChengJiaoMain,AdvancedAnalysisErShouFangMain用于成交和挂牌数据的分析

注意事项

  • 供技术学习,请勿用于商业目的
  • 抓取的数据,分析等请勿乱发,后果自负。
  • 爬虫抓取数据会给目标网站造成严重资源负担。请注意不要过度。
  • 抓取的网站页面会经常变动,可能会造成解析问题

©2017 alex All Rights Reserved.