/Cobweb

分布式爬虫调度器 / Scheduler of distributed crawler

Primary LanguageJavaMIT LicenseMIT

Cobweb

Join the chat at https://gitter.im/WebVeins/Lobby Build Status LICENCE Docs

分布式爬虫调度器

最新动态

项目由Webveins更名为Cobweb
校招花了不少时间...第一版release发布时间推迟,在发布前请不要下载使用
即将加入很多实用的功能,敬请期待

简介

Cobweb是一个将单机爬虫快速整合为分布式爬虫的框架,它并不关心爬虫具体的业务逻辑,与爬虫是松耦合的

TODOLIST

  • 完整的监控与控制API
  • 支持多个active manager,能在任务分类的情况下进行工作
  • 支持多个filter,新增部分filter类型
  • python API支持
  • Go API支持
  • 加强负载均衡与性能优化