基于混合式聚类算法的离群点挖掘在异常检测中的应用研究

为了提高异常检测系统的检测率,降低误警率,解决现有异常检测所存在的问题,将离群点挖掘技术应用到异常检测中,提出了一种基于混合式聚类算法的异常检测方法(NADHC)。该方法将基于距离的聚类算法与基于密度的聚类算法相结合从而形成新的混合聚类算法,通过k-中心点算法找出簇中心,进而去除隐蔽性较高的少量攻击行为样本,再将重复增加样本的方法结合基于密度的聚类算法计算出异常度,从而判断出异常行为。最后在KDD CUP 99数据集上进行实验仿真,验证了所提算法的可行性和有效性。     

基于角度的图神经网络高维数据异常检测方法

在高维数据空间中,数据大都处于高维空间边缘且分布十分稀疏,由此引起的“维度灾难”问题导致现有异常检测方法无法保证异常检测精度。为解决该问题,提出一种基于角度的图神经网络高维数据异常检测方法A-GNN。首先通过数据空间的均匀采样和初始训练数据的扰动来扩充用于训练的数据;然后利用k近邻关系构造训练数据的k近邻关系图,并以k近邻元素距离加权角度的方差作为近邻关系图节点的初始异常因子;最后通过训练图神经网络模型,实现节点间的信息交互,使得相邻节点能够互相学习,从而进行有效的异常评估。在6个自然数据集上将A-GNN方法与9种典型异常检测方法进行实验对比,结果表明：A-GNN在5个数据集中取得了最高的AUC值,其能够大幅提升各种维度数据的异常检测精度,在一些“真高维数据”上异常检测的AUC值提升达40%以上;在不同k值下与3种基于k近邻的异常检测方法相比,A-GNN利用图神经网络节点间的信息交互能有效避免k值对检测结果的影响,方法具有更强的鲁棒性。     

一种基于属性的异常点检测算法

异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。     

基于Web of Science的高维数据异常检测研究文献计量分析

针对数据维度与规模的不断增加,高维空间下异常检测愈发困难的问题,以Web of Science核心合集数据库为样本数据,通过可视化软件CiteSpace生成可视化图谱进行文献计量。结果表明：高维数据异常检测领域自1999年起,整体呈稳定上升趋势,中国发文数量最多但成果质量不如英国和日本。随着机器学习和深度学习等新兴智能技术的革新发展,将优化后的算法技术应用到具体场景,将会是该领域的未来发展趋势。     

云虚拟机异常检测场景下改进的LOF算法

针对云服务中由于资源超额预定造成负载不均衡的云虚拟机异常,提出了一种基于密度空间的局部离群因子（Local Outlier Factor Based on Density Space,LOFBDS）算法。LOFBDS算法参考DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法,将云虚拟机在密度空间中的性质融合至LOF算法之中,提出对云虚拟机的判断规则,以达到优化对正常云虚拟机的检测过程,提高检测效率。实验结果表明,所提出的算法对云服务负载不均造成的云虚拟机异常有着良好的检测效率,并且时间花费较少。     

基于K-Means聚类的农产品价格异常数据检测

全国各地各个年份的农产品市场价格数据量庞大,而海量的农产品的市场价格数据中无可避免存在超出市场正常价格范围的异常价格元素,这对搜索引擎农产品市场价格的统计分析与预测造成了影响.从市场价格大数据中发现离群点并计算出价格边界成为有待解决的问题,为此,本研究在数据挖掘聚类技术K-means算法的基础上,提出了基于K-means聚类的农产品市场价格异常数据检测并计算出农产品市场价格边界,测试及实践结果表明该方法提高了聚类的精确率和稳定性,实现了价格异常点检测与价格边界的计算.     

基于角度方差的多层次高维数据异常检测算法

异常检测一直是数据挖掘领域的重要工作之一。基于欧式距离的异常检测算法在应用于高维数据时存在检测精度无法保证和运行时间过长的问题。在基于角度方差的异常检测算法基础上提出了一种多层次的高维数据异常检测算法（Hybrid outlier detection algorithm based on angle variance for High-dimensional data, HODA）。算法结合了粗糙集理论,分析属性之间的相互作用以排除影响较小的属性;通过分析各维度上的数据分布,对数据进行网格划分,寻找可能存在异常点的网格;最后对可能存在异常点的网格计算角度方差异常因子,筛选异常数据。实验结果表明,与ABOD, FastVOA和经典LOF算法相比,HODA算法在保证精测精度的前提下,运行时间显著缩短且可扩展性强。     

基于层次化深度学习的医疗数据库离群数据检测算法

对医疗数据库中存在的离散数据进行检测时,由于缺少数据过滤等过程而导致检测执行时间较长、检测效率低、离散点检测率低等问题,为此提出基于层次化深度学习的医疗数据库离散数据检测算法.首先,采用动态网格划分法划分空间中的稀疏区域和稠密区域,降低数据检测的规模,缩短检测执行时间;然后,通过层次化深度学习过程融合专家知识和数据的属性取值分布信息,实现医疗数据库中离散数据的检测.实验结果表明,该算法可以在较短的时间内准确完成医疗数据库中离散数据的检测,且相较于传统算法来说更具有应用优势.     

基于电力大数据的用户侧数据异常检测方法研究

针对现有电力大数据的异常检测方法存在的准确度低、检测效率慢等问题,在数据挖掘的基础上,提出了一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法。从全局和局部两个方面对电力大数据进行异常检测,提高了电力大数据检测的优越性。为了验证该方法检测结果的优越性,通过仿真对该方法进行对比分析。结果表明,与传统的异常检测方法相比,该方法具有更高的检测效率,能够更准确地检测出用户侧电力数据异常值。     

基于改进负向选择算法的异常数据检测方法

针对基本实值负向选择算法检测率不高的问题,采用可变尺寸检测器,有效减少了漏洞问题.同时,限制检测器的最小半径,节省了存储检测器所需要的空间.通过对污水处理数据进行检测,实验结果表明,该方法提高了异常数据的检测精度.     

基于密度偏倚抽样的局部距离异常检测方法

异常检测是数据挖掘的重要研究领域,当前基于距离或者最近邻概念的异常数据检测方法,在进行海量高维数据异常检测时,存在运算时间过长的问题.许多改进的异常检测方法虽然提高了算法运算效率,然而检测效果欠佳.基于此本文提出一种基于密度偏倚抽样的局部距离异常检测算法,首先利用基于密度偏倚的概率抽样方法对所需检测的数据集合进行概率抽样,之后对抽样数据利用基于局部距离的局部异常检测方法.对抽样集合进行局部异常系数计算,得到的异常系数既是抽样数据的局部异常系数,又是数据集的近似全局异常系数.之后对得到的每个数据点的局部异常系数进行排序,异常系数值越大的数据点越可能是异常点.实验结果表明,和已有的算法相比,本算法具有更高的检测精确度和更少的运算时间,并且该算法对各种维度和数据规模的数据都具有很好的检测效果,可扩展性强.     

一种无类标训练数据异常检测模型

提出了一种基于无类标训练数据的异常检测方法（ADUTD），该：于法克服了传统异常检测需要纯净训练数据或有类标训练数据的限制，提高了异常检测的可用性．ADUTD通过过滤掉网络连接记录属性中低频率类型值的方法，过滤掉由训练数据中的攻击记录引入的类型值，并建立正常行为的统计模型．建立模型所使用的属性不仅包括网络连接中数据包的头部字段，也包括应用层的数据．ADUTD另一个特点是按网络连接服务类型划分数据并分别建立统计模型，提高了检测模型的预测能力．用DARPA1999评估数据集所做的实验结果显示，ADUTD能有效检测网络入侵．     

一种非纯净训练数据异常入侵检测方法

异常入侵检测系统在训练阶段建立对象的正常行为模型，在测试阶段把它与对象的行为进行比较，如果出现了大于给定域值的偏差，就认为发生了入侵．通常建立对象正常行为模型的方法是用没有入侵的数据训练系统．这种方法存在实用性和可靠性方面的缺陷：人工合成的训练数据基表可以保证没有攻击，但它与入侵检测系统将要实际工作的环境有很大的差别；而从实际使用环境提取的训练数据又不能保证不合有攻击．本文提出了一种基于网络的非纯净训练数据的异常入侵检测方法ADNTD（Anomaly Detection for Noisy Training Data），它通过过滤训练数据中的低概率特征域的方法过滤掉训练数据中的攻击数据并建立网络的正常行为模型，以保证即使训练数据含有攻击的情况下仍能取得较好的检测效果．实验结果显示：在训练数据含有攻击时，ADNTD的性能明显好于以前的系统；在采用纯净数据训练时，ADNTD也具有与以前的系统相当的性能；ADNTD用带有攻击的数据训练的情况下仍能达到以前的同类系统用纯净数据训练相同的检测性能．     

基于离群点分析的分布式光伏发电量异常检测算法

针对分布式光伏有带病运行以及骗取国家补贴的现象,本文基于离群点分析中的格拉布斯准则和分布式光伏的自身特点,提出了一种分布式光伏发电量异常检测算法。该算法可以筛选出单位容量日发电量过高与过低的分布式光伏用户,进而可以避免分布式光伏长期带病运行,以及遏制骗取国家补贴的行为。最后以某县的分布式光伏数据进行了算例分析,验证了该算法的有效性。     

生成对抗网络在数据异常检测中的研究

针对许多检测模型受到数据不平衡和异常数据的复杂性等因素影响问题,提出一种以生成对抗网络(gener-ative adversarial network,GAN)为基础的数据异常检测方法.该方法利用InfoGAN网络训练生成正常数据和异常数据,构造一个推理神经网络作为生成数据与原始数据的标签生成器,之后利用第二个GAN网...     

车辆轨迹中的隐性位置异常数据检测

随着智能交通的发展, 大量的车辆轨迹数据被收集和存储, 但这些轨迹数据总是会存在异常轨迹点数据, 严重影响后续轨迹数据分析的准确性和有效性. 本文发现了一类隐性的位置异常轨迹数据, 此类异常数据用传统的基于移动特征阈值的检测方法难于发现, 但对轨迹数据分析过程同样有着重要的影响. 针对此类异常轨迹数据, 本文以部分西安市出租车轨迹数据为例, 提出了一种基于浮动网格和聚类方法的隐性异常轨迹数据检测方法, 并实现了数据的并行化方式. 实验结果展示所提方法检测隐性位置异常的数据召回率、精确率能够达到0.90, 并且F1-score在0.88–0.91范围. 检测出这种隐性异常轨迹数据, 有利于后续的时空轨迹数据分析与应用.     

基于反向选择的地震前兆观测数据异常检测

针对现有前兆异常检测方法因异常数据较少导致检测准确率偏低的问题,提出一种基于反向选择的检测方法。定义地震数据中的self集与nonself集;将随机选取的未成熟检测器与self集进行匹配,生成半径可变的成熟检测器,覆盖nonself空间;将待检测数据与检测器匹配,通过判断是否在nonself空间得到检测结果;与现有地震异常检测方法BP神经网络、支持向量机进行对比,实验结果表明反向选择用于地震前兆观测数据异常检测有更好的效果。     

在线自适应网络异常检测系统模型与算法

随着因特网等计算机网络应用的增加,安全问题越来越突出,对具有主动防御特征的入侵检测系统的需求日趋紧迫.提出一个轻量级的在线自适应网络异常检测系统模型,给出了相关算法.系统能够对实时网络数据流进行在线学习和检测,在少量指导下逐渐构建网络的正常模式库和入侵模式库,并根据网络使用特点动态进行更新.在检测阶段,系统能够对异常数据进行报警,并识别未曾见过的新入侵.系统结构简单,计算的时间复杂度和空间复杂度都很低,满足在线处理网络数据的要求.在DARPA KDD 99入侵检测数据集上进行测试,10%训练集数据和测试集数据以数据流方式顺序一次输入系统,在40s之内系统完成所有学习和检测任务,并达到检测率91.32% 和误报率0.43% 的结果.实验结果表明系统实用性强,检测效果令人满意,而且在识别新入侵上有良好的表现.