/leopardv

分布式爬虫管理系统

Primary LanguageCSS

SpiderMAN

分布式爬虫管理系统 License: GPL v3 pyversions bootstrapversions djangoversions

介绍

SpiderMAN 是基于Django+scrapyd+bootstrap的分布式爬虫管理系统,能实现分布式任务调度,对数据的监控等

功能

  • 用户登录
  • 管理服务器节点
  • 管理爬虫、爬虫部署
  • 查看数据统计
  • 容器快速部署

用户登录

图片

节点管理

查看所有节点服务器得状态,在节点上部署scrapy项目 图片

节点详情

查看节点详细情况 图片

爬虫管理

可以启动、停止爬虫、筛选爬虫 图片 图片

作业管理

查看爬虫的作业情况 图片

日志查看

查看作业日志 图片