PSGameSpider

自动爬取所有PlayStationStore中的所有游戏封面，支持按月分类

介绍

基于Github Actions的自动Python爬虫，支持自动分析最新游戏链接、自动翻页、正则自适应图片名、自动选择下载高清图片、自动删除重复文件、自动更新新文件等

结构

此仓库内共有两个爬虫程序:main.py、update.py以及一个页面生成程序webpage.py，其中main.py用于初次运行，运行此文件可爬取并下载PlayStationStore内的全部游戏，update.py用于每日运行，以更新最新游戏。
所有游戏的封面将会存储在./img/内，最新的游戏将被存储在./recent/内

使用

获取封面

若要查找某游戏的封面，可直接访问 https://github.com/RavelloH/PSGameSpider/find/main 并搜索。
若需下载所有文件，可直接下载仓库压缩包或clone。

运行爬虫

此程序基于Python3。

安装依赖

pip install bs4
pip install wget

运行文件

初次使用，需运行main.py。
注:现有游戏总量为2900左右(22-05-08)，爬取需要一定时间(Action需要大约20分钟)

之后更新文件只需运行update.py即可。注:此程序只会更新当月最新游戏到总表中，要想保持列表完整性，请至少一个月运行一次。

使用GithubActions

此仓库可直接fork并运行actions。
直接fork将会保留之前更新的文件，所以无需运行main.py

流程:
1.Fork此仓库
2.前往你的仓库，在Settings>Actions>General>Workflow permissions 中，将权限设为读写(Read and write permissions)
3.前往你的仓库，在Actions中选择允许Actions运行
4.前往你的仓库，在.github/workflows/main.yml中，修改第39-40行为你自己的邮箱及用户名
5.保存，自动触发Workflow

关于

此项目源码使用MIT Licence。
爬取内容归索尼所有。

反馈

发现BUG？有修改建议？欢迎用ISSUES反馈

Horlzons/PSGameSpider