基于上一个简单爬虫框架实现的分布式爬虫框架 原理为主从模式，一个主节点，用来url管理、数据存储；多个从节点，用来下载和解析数据 其中主从节点放在不同的服务器上通过网络进程间的通信来实现数据的传递 参考抄袭《Python爬虫项目实战》