第三届阿里云磐久智维算法大赛 - 基于大规模日志的故障诊断
赛题介绍
比赛链接
https://tianchi.aliyun.com/competition/entrance/531947/introduction
问题描述
给定一段时间的服务器系统日志数据，从数据中挖掘出和各类故障相关的特征，采用合适的机器学习算法诊断服务器的故障类型。
- 故障类型：0类和1类表示CPU相关故障，2类表示内存相关故障，3类表示其他类型故障
- 日志数据：包含系统日志时间、日志文本、服务器型号
- 复赛补充数据：crashdump日志数据和venus日志数据
方案介绍
数据预处理
-
日志文本预处理：对log文本数据进行预处理，合并文本中的地址、阈值、编号信息
-
日志模板提取：所有日志文本排序后使用Drain3进行预处理日志文本的模板提取，得到日志文本对应的template_id
数据预处理具体内容见code/preprocess.py
特征工程
特征工程具体内容见code/feature.py
模型训练
模型训练具体内容见code/main.py
提升的主要来源
-
多角度深挖特征，基于特征表现、特征重要性和业务知识循环迭代，构建了有效的特征集；
-
较多使用类别特征，利用Catboost模型对类别特征的特殊处理方式，有效减少过拟合；
-
分阶段的模型训练和预测，提高模型对CPU故障两类故障的预测能力。