/qijia-spider

用于爬取Qijia网的装修公司信息,基于scrapy

Primary LanguagePython

用于爬去Qijia网的装修公司信息,基于scrapy


基于scrapy,selenium启动webdriver的爬虫方式。由于大部分大型网站都做好反爬机制,加入IP代理池。

所需环境:

  • Mysql
  • Redis(用于IP代理池存储机制)
  • Python3

运行方式: 运行项目根目录main.py


参考资料: https://www.jianshu.com/p/5355b467d414