tddhit/zerg

垂直型爬虫

A Spider(垂直型爬虫)

• 支持多站点爬取(实现parser)
• 支持自定义调度策略(实现queuer)
• 支持自定义下载协议(实现crawler)
• 支持自定义数据管道(实现writer)