/python3-concurrency-pics-02

爬取 www.mzitu.com 全站图片,截至目前共4564个图集,13.7万多张美女图片,使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录,保存更合理。控制台只显示下载的进度条,详细信息保存在日志文件中。支持异常处理,不会终止爬虫程序。失败的请求,下次再执行爬虫程序时会自动下载

Primary LanguagePython

Watchers

No one’s watching this repository yet.