Spiders 这里会不定期更新一些定向爬虫 mzitu.com 功能 定向爬取网站下所有套图,下载thumb图,并以目录整理 不足 目前没有做套图完整性检查 没有异常重联机制 现在为按页爬去,爬去完一页继续爬取另外一页,所以会存在网站post新图的时候,丢失一部分图片的情况 命令只有结束的index,没有做开始的index 暂时就这些,由于打算启用Scrapy框架来重新做这个爬虫,所以目前这个简易爬虫就暂时不维护了