/GOPixivCraw

一款适合于闲置使用的Pixiv爬虫

Primary LanguageGo

KiteMoonPixivCraw

一款自动化pixiv爬虫

支持功能

支持爬取Pixiv日榜信息

支持配置文件导入

支持数据库存储

支持存储以下内容

  • PID
  • 实时上榜排名
  • 最高排名
  • 最后一次修改时间
  • 首次上榜排名
  • 作品名称
  • 作者信息
  • 作者ID
  • 上榜时间
  • 作品上传时间
  • TAG
  • 作品总数量
  • 作品宽度
  • 作品高度
  • 预览链接
  • 监听上升趋势

使用方式

前提

  • 一个数据库(Mysql)
  • 一台x86服务器
  • 国际互联网接入

导入数据库

从源码top_list.sql中导入到数据库

导入完成后记住表名并且使用即可(请注意,数据库内一定要有top_list这个表)

方式

从release下载最新版本

创建config文件夹

在config文件夹下创建config.yml

编辑文本(配置文件参考请查看源码中config/config.yml)

设置计划任务,每隔10分钟执行一次二进制文件即可

使用的开源库

太多了,大家看下go.mod里面的即可。