The Scrapy project to craw the industry information

本项目采用scarpy爬虫框架

  1. 本次页面使用CrawlSpider处理onclick.(备选方案:selenium浏览器自动化测试框架)
  2. scrapy:

Mongodb