基于互信息法的智能化运维系统入侵检测Spark实现

为了提高大数据平台处理海量数据的性能和准确性，在分析互信息(MI)算法的基础上，设计了基于MI算法的智能化运维系统入侵检测系统。选取UNSW-NB15数据集，以Spark平台进行试验设计并完成测试过程。通过Spark主执行器实现对从节点的控制功能。在入侵检测阶段，分别采用3种机器学习方法进行检测，分别通过试验对比检测率，误报率和精确度。相对于主成分分析(PCA)算法，MI算法可以获得更高的特征提取精度，检测率明显提升，降低了误报率。虽然MI算法具备较高精度，但也因此消耗较长时间。当数据量快速增加后，分布式模型表现出了更短的入侵检测时间。该研究对提高运维系统入侵检测稳定性具有一定的实践指导意义，但在小概率攻击类型中该算法存在导致检测率为零结果，有后续进一步的加强。