/EasyGoSpider

:turtle: “宜出行”热力图数据爬虫 A crawler for Tencent EasyGo

Primary LanguagePython

EasyGoSpider

“宜出行”热力图数据爬虫:


  1. 效果受制于部署账号数量,需自行到某宝购买 💊
  2. yundama部分的代码没有上传,如有需要请自行搜索相关api

已完成:

  • 部署多账号,自动登陆、识别验证码(手动识别或借助yumdama平台)、获取cookies
  • 指定区域爬取(已测试全成都市范围30天稳定运行)
  • 断点续爬
  • 定时周期爬取(当前一个小时内的数据算一次任务,每两小时一次)

基于:

  • python27
  • scrapy
  • mongodb

:)


2017-10-18更新:

关于数据转换成经纬度:

这个问题我在知乎问过,得到的答案是这样的:

grid_x通过公式1e-6 * (250.0 * grid_x + 125.0)转换成经度,纬度同理

因为我只需要爬数据,并没有去验证这个公式,欢迎反馈

现在看发现写得很烂,不要模仿,后面有机会优化一下= =

2018-02-11更新:

上传了一份2017年6月25日10点钟爬取的数据,供参考,这样的数据每天有12份

这个爬虫应该早就失效了,但大致思路还有点用,感兴趣的朋友尽管拿去修改,欢迎交流指教