/Reptile

Primary LanguagePython

Spider

python3.6

  - 实现基本的爬虫过程

  - 了解非结构化数据的存储

  - scrapy搭建工程化爬虫

  - 应对大规模数据存储与提取

  - 应对特殊网站的反爬

  - 分布式爬虫,大规模并发采集