/dianping

爬取大众点评商家

Primary LanguagePython

大众点评 - 美食频道

  • region_spider: 获取所有的区, 基本覆盖全部商店信息
  • shops_spider: 根据每个地区的url, 获取餐馆列表
  • info_spider: 根据商家id, 获取详情

爬虫保存数据库为mongo

修改保存路径, 只需修改settings中的pipeline

爬虫默认运行在A03服务器

验证码待添加