SpiderMAN 分布式爬虫管理系统 介绍 SpiderMAN 是基于Django+scrapyd+bootstrap的分布式爬虫管理系统,能实现分布式任务调度,对数据的监控等 功能 用户登录 管理服务器节点 管理爬虫、爬虫部署 查看数据统计 容器快速部署 用户登录 节点管理 查看所有节点服务器得状态,在节点上部署scrapy项目 节点详情 查看节点详细情况 爬虫管理 可以启动、停止爬虫、筛选爬虫 作业管理 查看爬虫的作业情况 日志查看 查看作业日志