hctwgl/aude-distributed-spider-framework

分布式爬虫轻框架.采用RabbitMQ作消息队列,实现了页面源码下载,解析,持久化或其他操作的解耦.