/spider

用node写的爬虫应用

Primary LanguageJavaScript

spider

本项目使用node + koa + request + async + mysql做的一些爬虫,仅用于自己学习程序的接口数据

  • 表情包网站
    • 推荐表情包
  • 某瓣网
    • 电影首页
  • 某乎网
    • 热搜榜
  • pixiv动漫二次元
  • 发送邮件脚本

TODO:

  • 完善各平台的接口爬虫
  • 设计数据库,把爬下来的数据存下来。
  • 抽离出通用模块
  • 完善文档