基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.     

一种无线自组网的跨层异常入侵检测模型

提出一种Ad Hoc网络的跨层异常入侵检测模型.在MAC层、路由层和应用层分别运用朴素贝叶斯分类算法、Markov链构建算法和关联规则挖掘算法.本地汇总模块汇总本地三层子系统的检测结果,并加权平均后输出;全局汇总模块汇总邻节点检测结果并加权计算最终结果送响应模块.对模型和算法进行多种典型攻击测试实验,结果表明模型具有较高的检测率,并能有效降低误警率.     

基于Hamming网络的入侵检测技术的研究

分析了异常和误用入侵检测技术存在的一些问题,并结合神经网络的原理,提出了一个新的基于Hamming网络的入侵检测技术。该技术改善了基于特征检测算法中存在的不足,提高了对未知入侵类型的检测能力,并对Hamming网络入侵检测技术进行了分析和测试。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于稳态模型的流异常检测算法

在日常网络管理中如何实时、准确地判定流量异常是网络异常检测中的难点问题。提出了一种基于稳态模型的流异常检测算法，采用加权均值和方差计算相结合的统计学方法对网络流量稳态模型进行建模和更新，并使用ROC曲线进行异常检测模型的性能评估。研究表明，该算法复杂度较低，资源占用小，能够很好地实现实时自动报警功能。实验结果对进一步探索实时的网络流异常检测方法和预测算法具有参考价值。     

高效的混合聚类算法及其在异常检测中的应用

将聚类算法应用于异常检测,算法的有效性是关键。为了提高异常检测能力,提出了一种新的聚类算法,该算法运用窗口管理机制对网络数据采用分批实时处理的方法,同时对算法中运用到的DBSCAN算法和K-means算法进行改进并组合,实验证明该算法可以提高异常检测的检测率,降低误报率并增强系统的实时响应能力。     

基于免疫智能的网络异常检测算法

网络异常检测模型可以用来检测未知攻击,具有良好的可扩展性,是目前入侵检测系统研究的热点。但目前的异常检测方法存在着误报率较高、检测效率不能满足高速网络实时检测需求等问题。本文通过对免疫智能算法与网络异常研究,提出了一种基于免疫智能的网络异常检测算法AIAIK。理论分析和实验说明改算法具有自然免疫系统的免疫网络、非线性、免疫记忆和克隆选择等良好特性,实验检测效果良好。     

一种基于相关性的分布式异常检测算法

提出了一种传感器网络异常检测算法,与传统的基于相邻节点数据对比的检测算法不同,该算法首先在节点内分析数据的时间相关性,仅在发生异常时,上传至簇头节点,分析空间相关性;对于不确定的异常数据,在相邻分簇内,计算数据的相关性.还给出了采用直方图计算均值和分析相关性的方法.实验表明,该算法减少了通信量,提高了异常检测的准确率.     

网络病毒实时报警系统的设计与实现

建立一套行之有效的网络病毒预警体系,是尽早发现新型网络病毒,并控制其蔓延的有力举措;针对网络病毒发作时会产生大量新IP地址数据包这一特点,采用CUSUM算法对其统计特性进行实时监控,及时发现异常变化,从而对网络病毒进行实时报警,根据统计量的特点,提出了可调的参数设定方法,以更加适应网络环境.通过在计算机上的模拟测试,证明该算法对网络病毒具有较高的检测精度与速度,且运算开销小,代码简单,可以嵌入到网络设备中.     

基于多分辨率网格的异常检测方法

作为一种重要的数据挖掘手段,异常检测在数据分析领域有着广泛的应用。然而现有的异常检测算法针对不同的数据,往往需要调整不同的参数才能达到相应的检测效果,在面对大型数据时,现有算法检测的时间效率也不尽如人意。基于网格的异常检测技术,可以很好地解决低维数据异常检测的时间效率问题,然而检测精度严重依赖于网格的划分尺度和密度阈值参数,该参数鲁棒性较差,不能很好地推广到不同类型数据集上。基于上述问题,提出了一种基于多分辨率网格的异常检测方法,该方法引入一个鲁棒性较好的子矩阵划分参数,将高维数据划分到多个低维的子空间,使异常检测算法在子空间上进行,从而保证了高维数据的适用性;通过从稀疏到密集的多分辨率网格划分,综合权衡了数据点在不同尺度网格下的局部异常因子,最终输出全局异常值的得分排序。实验结果表明,新引入的子矩阵划分参数具有较好的鲁棒性,该方法能较好地适应高维数据,并在多个公开数据集上都能得到良好的检测效果,为解决高维数据异常检测的相关问题提供了一种高效的解决方案。     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

多维时间序列异常检测算法综述

随着信息化技术不断提高，时序数据规模呈指数级增长，为时间序列异常检测算法发展提供了契机和挑战，也使其逐步成为数据分析领域新增的研究热点。然而，这一方面的研究仍处于初步阶段，研究工作的系统性不强。为此，通过整理和分析国内外文献，将多维时间序列异常检测的研究内容按照逻辑顺序分为“维数约简”“时间序列模式表示”和“异常模式发现”三个方面，并对其主流算法进行梳理和归纳，以全面展现当前异常检测的研究现状和特点。在此基础上，还指出了多维时间序列异常检测算法的研究难点和研究趋势，以期对相关理论和应用研究提供有益的参考。     

聚类算法在入侵检测中的应用

入侵检测中对未知入侵的检测主要由异常检测完成,传统的异常检测方法需要构造一个正常行为特征轮廓的参考模型,但获取完全正常的数据比较困难。介绍的聚类技术是应用到入侵异常检测中的一种较为新颖的技术,是一种无需指导的异常检测技术,可以区分哪些是正常记录,哪些是异常记录。分析了将聚类方法应用于入侵检测中的可行性及对数据处理的标准化方法。另外,给出了基于覆盖的聚类算法与两种经典聚类算法的比较。     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

一种利用均值匹配改进的高光谱异常检测方法

传统高光谱异常检测算法由于背景信息估计不准确等原因普遍存在高虚警率的问题,针对这一现象,提出了一种利用图像均值进行匹配改进的高光谱异常目标检测后验处理方法。首先采用传统的高光谱异常检测算法将待检测高光谱图像划分为背景与异常目标潜在区域,之后通过对待测图像求解均值,将其与异常目标潜在区域像元进行相似性匹配计算,剔除大范围误检像元,得到最终检测结果。该方法在传统异常目标检测算法基础上进行相似度量剔除大范围虚警像元,在提高原算法探测能力的同时有效地降低虚警率。实验表明,该方法可以有效降低虚警率,提高原算法对于亚像元异常目标的检测能力,且对于不同算法、不同数据具有普适性。     

基于高对比度子空间的改进孤立森林方法

针对孤立森林通过随机选择属性进行数据空间分割,在面对高维数据时具有不可靠性这一问题,提出了一种基于高对比度子空间的改进孤立森林算法 （high contrast subspace isolation forest,HiForest）。首先,该方法基于子空间各属性边缘概率与联合概率间的偏差值,选取具有高对比度值的子空间;其次,在相关子空间中构建离群点检测能力更优的隔离树,多棵隔离树集成为隔离林,通过遍历数据点在隔离森林中的平均路径长度从而得到异常分数。基于ODDS数据集的实验表明,与传统的异常检测算法相比,HiForest在曲线下面积、查准率、召回率和F1-score评价指标上均有较明显的提升。因此,HiForest算法是一种适用于中高维数据集,检测精度更高的异常检测算法。     

基于模糊数据挖掘和遗传算法的网络入侵检测技术

文章通过开发一套新的网络入侵检测系统来证实应用模糊逻辑和遗传算法的数据挖掘技术的有效性;这个系统联合了基于模糊数据挖掘技术的异常检测和基于专家系统的滥用检测,在开发异常检测的部分时,利用模糊数据挖掘技术来从正常的行为存储模式中寻找差异,遗传算法用来调整模糊隶属函数和选择一个合适的特征集合,滥用检测部分用于寻找先前行为描述模式,这种模式很可能预示着入侵,网络的通信量和系统的审计数据被用做两个元件的输入;此系统的系统结构既支持异常检测又支持滥用检测、既适用于个人工作站又可以适用于复杂网络。     

Anomaly Detection Using Real-Valued Negative Selection

This paper describes a real-valued representation for the negative selection algorithm and its applications to anomaly detection. In many anomaly detection applications, only positive (normal) samples are available for training purpose. However, conventional classification algorithms need samples for all classes (e.g. normal and abnormal) during the training phase. This approach uses only normal samples to generate abnormal samples, which are used as input to a classification algorithm. This hybrid approach is compared against an anomaly detection technique that uses self-organizing maps to cluster the normal data sets (samples). Experiments are performed with different data sets and some results are reported.