HiSpider 全地形爬虫系统 设计思路文档 主要功能： 提取任意文章页标题、作者、时间、点赞、评论和正文等 站点首页各个模块信息，如版块名、内容链接等 支持静动态，AJAX爬取 多页面爬取，大数据分析 验证，登录，上传等 自定义脚本，定时爬取，发送邮件报告，监控网站、签到等 代理池管理系统 项目流程 基本框架和静态网页抓取 获取html代码 分析html代码 过滤html代码 人工协助生成数据结构 数据分析 创建文件夹并保存文件 发送报告 UI界面 机器学习生成数据结构 动态页面抓取