HiSpider 全地形爬虫系统 设计思路文档 主要功能: 提取任意文章页标题、作者、时间、点赞、评论和正文等 站点首页各个模块信息,如版块名、内容链接等 支持静动态,AJAX爬取 多页面爬取,大数据分析 验证,登录,上传等 自定义脚本,定时爬取,发送邮件报告,监控网站、签到等 代理池管理系统 项目流程 基本框架和静态网页抓取 获取html代码 分析html代码 过滤html代码 人工协助生成数据结构 数据分析 创建文件夹并保存文件 发送报告 UI界面 机器学习生成数据结构 动态页面抓取