Cobweb 分布式爬虫调度器 最新动态 项目由Webveins更名为Cobweb 校招花了不少时间...第一版release发布时间推迟,在发布前请不要下载使用 即将加入很多实用的功能,敬请期待 简介 Cobweb是一个将单机爬虫快速整合为分布式爬虫的框架,它并不关心爬虫具体的业务逻辑,与爬虫是松耦合的 TODOLIST 完整的监控与控制API 支持多个active manager,能在任务分类的情况下进行工作 支持多个filter,新增部分filter类型 python API支持 Go API支持 加强负载均衡与性能优化