/scrapy-yzd

该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。

Primary LanguagePython

scrapy_yzd

该项目为scrapy框架，整合了自动切换agent，自动切换代理ip的中间件，可以下载后自行编写爬虫。 支持：

  • 豆瓣电影
  • 京东商品信息（名称价格等）

agent中间件

自动切换agent

代理中间件

采用网友的中间件，自动从3个免费代理网站爬取代理并测试