maocp2014/go-crawler

从最开始的串行版本，一步一步演进为并发版，然后为了兼容串行版和并发版，对程序进行了重构，最后又将其改造成分布式爬虫版本