/site-crawler

crawler my favorite site

site-crawler

backend-v2

基于koa的采集器后端程序, 提供采集哪些站点 和 定时采集

frontend

基于angular的前端程序, 提供了简易的界面

site-crawler-service

基于 website-crawler, 提供代理重试获取页面html服务

site-parser-service

基于 website-parser, 提供解析html服务

site-crawler-eval

eval执行部分不安全代码, 主要用于http://www.zdfans.com/的安全检查(5秒后可访问网站)

backend

DEPRECATED 使用老版 gather-site 实现的采集服务, 已经被backend-v2代替