small-website-monitor
small website monitor ( 小型站点监测平台 )
简介
small website monitor ( 小型站点监测平台 ) 是利用客户端视角对站点进行监测。 为什么叫 “小型站点监测平台” 小型在这里指简单(使用简单，零上手难度)，轻量(部署简单方便一键部署)，局限， 局限在这里表示从客户端视角监测服务端具有局限性，服务端对客户端是黑盒的，不过是从客户端视角监测的真实性是有保障的。
small website monitor拥有站点监测报警（通过邮件进行报警通知），死链检查，证书检查，TDK检查功能。
small website monitor还扩展了Mysql监测工具，SqlServer监测工具，Redis监测工具。
small website monitor也是一款基于gin+vue+Bootstrap5的标准实践项目，简洁直观的项目结构与编码细节，供大家参考学习；
站点监测核心工作是: 时发现网站的可用性、脆弱性等各类安全问题
架构选型
v1
整体结构MVC
后端: gin
JS: vue3, jq
UI: Bootstrap_v5
V2
整体架构CS
Master(MVC gin+vue3+jq+Bootstrap_v5) 管理，监测汇总等
Slave 监测，采集等
V3
整体架构CS+插件
CS: Master+Slave
插件: 分析插件用于分析采样数据提供解决方案实现智能分析问题
使用插件的目的是为了扩展，不同类型的问题分析各异，提升整体系统的可插拔性
进度计划
- bug: timeout 超时要记录并报警
- TDK检查 页面是html则检查
- bug: 链接采集到错误的
- 站点ip属地, 站点图标, 站点主页 TDK
- 操作日志
- 审计，报表，下载日志 等功能
- 数据库监测的定期备份数据功能
- 备案检查
- 需要采集如下消息头进行记录
Server Server响应报头域包含服务器用来处理请求的软件信息。
X-Powered-By 用来标识实现当前Web站点所采用的语言及版本号。
set-cookie 根据响应包生成Cookie，并提供给客户端。
Content-Length 与请求包中的用法相同，用以标识当前响应包中的内容长度。
- 域名备案查询
- 备案检查
- Mysql监测功能
- Redis监测功能
- SqlServer监测功能
工具开发
- 站点Uri检查(死链检查,tdk检查, 外链检查，)
攻击
Web应用防火墙能够对SQL注入、跨站脚本、代码执行、目录遍历、脚本源代码泄露、CRLF注入、Cookie篡改、URL重定向等多种漏洞攻击进行有效防护。
- 端口扫描
- sql注入攻击
- 常用攻击
- 并发请求
- mysql监测
- sqlserver监测
- redis监测
- 各种技术: 采用Web扫描技术、操作系统探测技术、端口的探测技术、服务探测技术、Web爬虫技术等各类探测技术
- 渗透测试：黑盒方式的检测通过渗透测试站点来实现。
零散总结
服务方式远程提供服务依托网站云监测系统及全国分布的几十个探测节点 网站云监测系统架构图爬虫引擎是监测平台重要的基础组件，完成对监测域名的内容爬取，以供各类分析引擎使用。 流量抓包引擎按照比例针对互联网流量进行抽样，将抽样流量进行汇总分析，得出网站是否存在安全威胁的结论。 大数据平台存储爬取的页面数据、检测的数据等可用于后续大数据分析和数据挖掘。 内容监测API和运维平台主要针对已有数据进行分析，为平台提供监测结果。