bing4fa1pa2chong2

并发爬虫向网站爬取图片。 采用的是 生产者--消费者 的并发模型,即多个协程爬取网站图片链接写入管道,多个协程从管道获取图片链接以GET请求获取图片响应体及保存在本地 其中还采用了 将等待关闭管道的等待组本身开启协程,可充分发挥协程的速度优势,避免卡着等待生产者协程完毕后关闭了管道,才可以开始消费者协程。 也采用了利用管道容量特性,控制爬取图片协程的并发数量。