/anomaly-detect-for-hadoop-in-memory

基于内存存储的滑动窗口进行异常探测,接入到大数据管理平台的发行版本

Primary LanguagePython

hadoop大数据平台异常探测探索

hadoop metrics

基于hadoop metrics,我们可以实时的获取包含hadoop系统上各个组件的metrics信息,这些metrics用于监控,表现调优和debug,并可用于troubleshooting
系统中异常变量的含义均保留使用hadoop metrics的名称
详情参见hadoop官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/Metrics.html

项目使用工具

ganglia API:获取时间序列数据(参考doc目录) python sklearn