使用方法及介绍
1.更改 \splider_multi\splider_multi\spiders\ 下面文件进行爬取文件内容调整 2.更改setting.py 文件进行配置文件更改 3.更改items.py文件进行爬虫输出对象修改 4.更改pipelines.py文件进行爬取数据后续处理 5.运行run.py文件进行爬虫文件执行
原女神网站, 15K id , 先下载15k原始数据, 并压成少量大文件(h5) 对原图做face++, 保存结果, 并把结果压成少量大文件 当需要256x256数据,对原始h5,和face++结果并行操作,设置过滤条件,获取对齐256数据。也存成少量大文件。 当需要512x512数量,同上。 参考arcface_crawler/face++ filter 封装成脚本,colab并行。