zongtui-webcrawler 众推，开源版的今日头条！ 基于hadoop思维的分布式网络爬虫。 目前已经把webmagic的基础部分加入到工程中，下一步会根据这个继续修改，变成完全分布式的架构。 想参与加入的可以入群：众推 194338168