lshxiao/WNCrawlEngine

分布式爬虫执行引擎

WNCrawlEngine

DtCrawlEngine 是对scrapy爬虫脚本的运行服务.

允许通过http json api的方式对于爬虫脚本的远程控制