利用EasySwoole 自己实现的协程redis以及redis连接池,实现自定义进程,达到队列消费,爬取数据的目的。并利用QueryList强大而优雅的CSS选择器来做采集,大大降低了PHP做采集的门槛而EasySwoole 是一款基于Swoole Server 开发的常驻内存型的分布式PHP框架,专为API而生,摆脱传统PHP运行模式在进程唤起和文件加载上带来的性能损失。 EasySwoole 高度封装了 Swoole Server 而依旧维持 Swoole Server 原有特性,支持同时混合监听HTTP、自定义TCP、UDP协议,让开发者以最低的学习成本和精力编写出多进程,可异步,高可用的应用服务
- 下载clone 到本地
- 执行 php easyswoole server start 即可看到效果
- 只需要几分钟就可把全部图片爬取完成