一种基于聚类的异常检测方法

利用数据挖掘技术对网络中的海量数据进行分析从而发现入侵行为已成为目前异常检测研究的重点.为了进一步提高入侵行为检测的质量,提出了一种改进的异常检测算法.该方法首先将训练数据集转换为标准的单位特征度量空间,然后利用改进算法对数据进行划分,以找到聚类中心.最后对改进算法进行了性能分析与比较,实验结果表明:算法具有良好的稳定...     

一种基于动态聚类的异常入侵检测方法

运用数据挖掘方法进行入侵检测已经成为网络安全领域的一个重要研究方向。提出一种动态聚类的数据挖掘方法进行异常入侵检测,该方法将不同用户行为的特征动态聚集,根据各个子的类支持度与预设的检测阈值比较来区分正常与异常。由于动态聚类算法在每次聚类过程中都检验归类的合理性,因此获得很好的聚类效果。实时检测试验得到了较高的检测率和较低的误报率。     

一种基于聚类的异常流量检测算法

通过分析常见异常流量的内在特征,在Chameleon算法的基础上,设计了一种基于聚类的异常流量检测算法。通过对DARPA1998数据集的实验结果表明,该算法能够在没有先验知识的前提下,对影响正常网络性能的异常流量有较高的检测准确率。     

一种基于聚类和主成分分析的异常检测方法

提出了一种基于聚类和主成分分析的异常检测方法,该方法利用聚类分析将训练数据划分为不同的子集,从而得到正常模式在特征空间中的分布,然后利用主成分分析来提取各行为子集的特征轮廓,最后利用各子集的PCA变换矩阵进行检测。实验结果证明了基于主成分分析的异常检测方法的有效性。     

基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

基于人工免疫聚类的异常检测算法

提出一种基于人工免疫聚类的异常检测算法,采用基于距离的异常度量因子,可以方便地筛选数据集中最突出的异常数据,能够依据不同的安全策略调节异常容忍因子,从而平衡检测率和漏报率之间的矛盾。实验结果表明,该算法采用无标记的训练数据集,能自动适应不同的网络及应用环境。     

一种两阶段异常检测方法

提出了一种新的距离和对象异常因子的定义，在此基础上提出了一种两阶段异常检测方法TOD，第一阶段利用一种新的聚类算法对数据进行聚类，第二阶段利用对象的异常因子检测异常．TOD的时间复杂度与数据集大小成线性关系，与属性个数成近似线性关系，算法具有好的扩展性，适合于大规模数据集．理论分析和实验结果表明TOD具有稳健性和实用性．     

一种高效异常检测方法

借鉴万有引力思想提出了一种差异性度量方法和度量类偏离程度的方法,以此为基础提出了一种基于聚类的异常检测方法。该异常检测方法关于数据集大小和属性个数具有近似线性时间复杂度,适合于大规模数据集。理论分析以及在真实数据集上的实验结果表明,该方法是有效的,稳健并且实用。     

基于特征选择的模糊聚类异常入侵行为检测

网络攻击连接具有行为的多变性和复杂性等特征,利用基于传统聚类的行为挖掘技术来构建异常入侵检测模型是不可行的。针对网络攻击行为的特点,提出了基于特征选择的模糊聚类异常入侵模型。首先通过层次聚类算法改善了FCM 聚类算法结果对初始聚类中心的敏感性,再利用遗传算法的全局搜索能力克服了其在迭代时易陷入局部最优的缺点,并将它们结合构成一种AGFCM 算法;然后采用信息增益算法对网络攻击连接数据集的特征属性进行排序,同时利用约登指数来删减数据集的特征属性以确定特征属性容量;最后利用低维特征属性集和改进的FCM 聚类算法构建了异常入侵检测模型。实验结果表明该模型对绝大多数的网络攻击类型具有很好的检测能力,为解决异常入侵检测模型的误警率和检测率等问题提供了一种可行的解决途径。     

聚类在网络入侵的异常检测中的应用

介绍了网络入侵检测技术;分析了数据挖掘中的聚类算法在网络入侵异常检测中的应用,给出了系统的总体模型设计,并分析了各个模块的功能;通过实验结果中验证了该方法的有效性.     

基于改进否定选择匹配算法的异常检测

使用了一种改进的否定选择匹配算法来检测异常行为。在这种算法中考虑了位置因素对两个序列匹配度的影响,从而能够更加准确识别自体与非自体,有效地减小检测集的规模。首先使用正常的序列调用生成初始检测集,然后通过学习来扩充检测集,使用最终得到的检测集扫描一定长度的调用序列,通过其中异常序列的比例来显示该段序列调用是否出现了异常。最后给出了实验结果。     

基于商空间粒度聚类的异常入侵检测*

针对异常入侵检测技术中传统聚类方法需要被检测类大小均衡的问题,在商空间粒度理论的基础上,论述了商空间粒度变换可以使复杂问题在不同的粒度世界求解,最终使整个问题得到简化。分析了商空间划分与聚类操作的相似性,提出了基于商空间的粒度聚类方法,并将该方法与入侵检测技术相结合,构建了基于商空间粒度聚类的入侵检测系统,用于对KDD CUP 1999数据集的异常入侵检测。实验结果表明,该入侵检测系统的性能明显优于基于传统聚类方法的入侵检测系统,从而证明了该方法的正确性和有效性。     

异常检测中正常行为规则性的度量

异常检测是防范新型攻击的基本手段,正常行为的规则性是影响检测能力的基本因素．在使用信息熵作为分析工具的基础上,提出了一种度量异常检测中正常行为规则程度的方法,并将这种方法用于对两个异常检测实例的分析,从理论上分析了如何改造特征以获得更多的规则性信息．在此理论的基础上,针对不同的数据类型提出了两种新的异常检测算法．     

基于轨迹聚类的公共安全异常检测

公共安全异常检测的需求越来越迫切,监控中基于轨迹聚类的检测方法越来越流行,但是现有方法在处理高维不等长轨迹数据时效果并不理想。提出一个新的轨迹聚类方法,该方法通过组合动态时间弯曲和密度峰算法实现。动态时间弯曲用于度量轨迹间的距离,密度峰算法根据距离进行聚类。前者可直接度量不等长轨迹聚类,后者是近年提出的非球体分布数据聚类算法,以局部密度和最近邻聚类组合实现。实验在PETS2006监控视频数据集上进行,测试结果表明该方法有效地发现了异常的轨迹行为模式。     

基于特征选择和支持向量机的异常检测方法

针对异常检测系统虚警率高、检测率低以及冗余特征对检测系统造成负担的问题,提出一种基于特征选择和支持向量机相结合的异常检测方法.该方法通过构造一种基于分类模型分类准确率计算的特征选择算法,筛选出能够获得分类准确率最高的特征组合,并与支持向量机分类算法相结合,实现数据的异常检测.仿真测试结果表明,该方法具有较高的检测准确率和较低的检测时间,并通过去除噪声特征,降低了系统的数据处理难度.     

基于SparkR的水文传感器数据的异常检测方法

为了高效地从海量的水文传感器数据中检测出异常值，提出一种基于SparkR的水文时间序列异常检测方法。首先，对数据进行清洗后，采用滑动窗口配合自回归积分滑动平均模型（ARIMA）在SparkR平台上进行预测；然后，对预测的结果计算置信区间，将在区间范围以外的判定为异常值；最后，基于检测结果，利用K均值算法对原数据进行聚类，同时计算其状态转移概率，对检测出的异常值进行质量评估。以在滁河获取的水文传感器数据为实验数据，分别在运行时间和异常值检测效果这两个方面进行了实验。结果显示:利用SparkR对百万级数据进行计算时，利用双节点计算的时间要长于单节点；但是对千万级数据进行计算时，双节点比单节点计算时间上更少，最多减少了16.21%，且评估过后的灵敏度由之前的5.24%提高到了92.98%。实验结果表明，在SparkR下，根据水文数据的特点并结合预测检验和聚类校验的方法对千万级水文时间序列进行检测时，能有效提高传统方法的计算效率，并且在灵敏度方面相比传统方法也有显著提升。     

高维数据环境下网络异常检测的改进否定选择算法

人工免疫中的否定选择算法目前已成功地应用于异常检测的低维数据集上,但在高维数据集上的效果不大理想。为了改善算法的性能,分析了现有否定选择算法在网络异常检测中的不足,对带变长检测器的否定选择算法进行了修改,提出了一种改进的否定选择算法,新算法中通过移动检测器控制检测器覆盖情况。仿真实验结果表明了改进算法在网络异常检测中高维数据集上的有效性,可以取得较高的检测率和较低的误报率。     

基于改进负向选择算法的异常数据检测方法

针对基本实值负向选择算法检测率不高的问题,采用可变尺寸检测器,有效减少了漏洞问题.同时,限制检测器的最小半径,节省了存储检测器所需要的空间.通过对污水处理数据进行检测,实验结果表明,该方法提高了异常数据的检测精度.     

基于时间序列数据的无线传感器网络的异常检测方法

伴随着无线传感器网络的发展和广泛应用,针对传感器网络在恶劣环境下传感器之间采样值差异大以及随着无线传感器网络故障节点增多导致事件检测不准确的问题,提出一种基于传感器网络时间序列数据的检测方法.利用传感器采集的K个正常数据的中位数建立枢轴量,构造置信区间,提出一种计算数据区间差异度的方法以判断发生异常的来源.实验结果表明,本文方法对传感器网络的异常数据检测率保持在98%以上,误报率保持在0.5%以下,具有一定的实用性.     

基于图模块度聚类的异常检测算法

社会网络的数据规模在不断扩大,现存的异常检测算法对复杂社会网络进行检测的效果不理想,提出了一种基于图模块度聚类的异常检测算法(anomaly detection algorithm based on graph modularity clustering, GMC＿AD),该算法适用于解决受网络规模以及复杂度的限制导致检测效率不高的问题。GMC＿AD算法在分析网络拓扑结构的基础上,通过引入异常节点加权机制和模块度聚类算法进行异常检测。GMC＿AD算法主要在三个方面进行改进：a)设计网络中节点演化的量化策略,以此识别具有异常演化行为的节点来得到异常节点集合;b)通过模块度聚类的方法降低网络规模;c)在计算网络波动值的过程中使用加权机制合理考虑异常节点的影响,再通过网络波动值变化来检测异常。基于真实社会网络VAST、EU＿E-mail和ENRON进行对比实验,GMC＿AD算法准确地检测出异常发生的时段,实验结果显示在事件检测敏感性上提高了50%～82%,在异常检测运行效率上提高了30%～70%。实验结果表明,GMC＿AD算法不仅提高了异常检测算法的准确率和敏感性,还提高了异常检测算法的效率...