高维空间中离群点检测算法研究

提出一种基于改进粒子群优化算法的离群点检测算法,解决高维环境下离群点挖掘效率偏低的问题。新算法能够充分发挥粒子群优化算法全局搜索的优势,并具有k均值算法快速收敛的特点,可避免粒子群优化算法的早熟,减小确定k均值算法聚类中心的计算量等问题。实验表明,该算法在高维环境下可快速有效的挖掘出离群数据的离群支持度,有较好的挖掘效率、准确率和实用性。     

ERDOF:基于相对熵权密度离群因子的离群点检测算法

针对现有离群点检测算法在复杂数据分布和高维度数据集上精度低的问题,提出了一种基于相对熵权密度离群因子的离群点检测算法.首先引入熵权距离取代欧氏距离以提高离群点检测精度.然后结合自然邻居的概念对数据对象进行高斯核密度估计.同时提出相对距离来刻画数据对象偏离邻域的程度,提高所提算法在低密度区域检测离群点的能力.最后提出相对...     

一种基于高维空间聚类的离群数据发现算法

针对高维稀疏聚类CABOSFV算法仅能解决二态变量高维稀疏聚类问题而对其他类型变量算法将失效的情况，通过定义“属性绝对值距离”解决了CABOSFV算法固有的这一缺陷。另外，针对聚类后产生伪孤立点问题，提出相应的异常数据处理策略，从而得到较为精确的离群数据。     

基于离群点检测算法的电力大数据异常值检测

目前提出的电力大数据异常值检测方法由于检测过程中无法提取异常特征,因此检测到的异常电流和异常电压所在时间不同,为此提出基于离群点检测算法的电力大数据异常值检测方法。利用高斯混合模型中提取电力大数据异常值的特征,通过离群点检测出符合距离要求的异常值,初步检测易于识别的异常数据。分析离群点与异常值分布密度之间的关联性,确定更深层次的异常值,使用离群点进入数据簇中和聚类中心中寻找缺少异常特征的异常值。实验结果表明,基于离群点检测算法的电力大数据异常值检测方法检测到的异常数据离散情况和振幅波动响应状态具有一致性,异常电流和异常电压所在时间都为0.3～0.4 s,证明了方法的可行性。     

一种自动聚类的离群点识别方法研究

针对传统离群点识别方法对数据的分布形状和密度有特定要求,需设定参数的问题,提出了一种自动聚类的离群点识别方法。该方法通过引入相互K近邻数来表示数据对象的离群度,对数据的分布形状、分布密度无要求,可以输出全局离群点、局部离群点和离群簇;通过k次迭代来实现自动聚类,无需人为设定参数。通过合成数据以及UCI数据实验,验证了该方法的有效性、普适性。     

基于熵距离的离群点检测及其应用

离群数据检测是找出与正常数据不一致的数据。由于某种原因,会出现一些噪声数据。针对噪声数据的特征,提出了一个有效的离群点检测算法。通过层次k-means算法对数据集进行聚类,从包括离群点可能性最大的簇开始进行检测,在检测过程中提出基于熵值距离来衡量数据点的离群程度,并通过剪枝规则来减少检测次数,从而提高了检测的效率。仿真结果表明该算法对出现的噪声数据具有较好的过滤效果。     

WSNS中基于Fusion-Bayes的离群点检测

随着无线传感器网络技术的发展,数据采集量越来越大,维数也不断提高。然而现有的离群点检测算法多是面向单维或低维度数据,对此文中提出了基于Fusion-Bayes的离群点检测算法。该检测方法首先利用数据转换技术将不同数据属性转换成统一格式,使得各属性可以进行融合运算;然后再利用贝叶斯方法对融合后的属性进行离群点检测。通过实验得出,多维数据属性融合后的检测结果相比于单维属性或低维属性的检测更加准确、效果更好。     

基于边界和距离的离群点检测

近年来,离群点检测已经引起人们的广泛关注. 离群点检测在网络入侵检测、信用卡欺诈、电子商务犯罪、医疗诊断以及反恐等诸多领域都具有十分重要的作用. 离群点检测的目的是为了发现数据集中的一小部分对象,与数据集中其余的大部分对象相比,这一小部分对象有着特殊的行为或者具有反常的属性. 针对现有的离群点检测方法不能有效处理不确定与不完整数据的问题,本文将粗糙集中边界的概念与 Knorr 等所提出的基于距离的离群点检测方法结合在一起,在粗糙集的框架中提出一种新的离群点定义与检测方法. 针对于该方法,我们设计出相应的离群点检测算法 BDOD,并且通过在临床诊断数据集上所进行的实验,验证了算法BDOD的有效性. 实验结果表明本文的方法为处理离群点检测中的不确定与不完整数据问题提供了一条新的途径.     

基于快速密度峰值聚类离群因子的离群点检测算法

针对密度峰值聚类算法需要人工设置参数、时间复杂度高的问题,提出了基于快速密度峰值聚类离群因子的离群点检测算法。首先,使用k近邻算法代替密度峰值聚类中的密度估计,采用KD-Tree索引数据结构计算数据对象的k近邻;然后,采用密度和距离乘积的方式自动选取聚类中心。此外,定义了向心相对距离、快速密度峰值聚类离群因子来刻画数据对象的离群程度。在人工数据集和真实数据集上对所提算法进行实验验证,并与一些经典和新颖的算法进行对比实验,从正确性和时间效率上验证了所提算法的有效性。     

一种基于多标记的局部离群点检测算法北大核心CSCD

基于密度的局部离群点检测算法(LOF)不适用于解决高维度、多义性的数据集检测.通过对LOF算法的分析,提出了一种基于多标记学习(Multi-Label Learning,MLL)的局部离群点检测算法MLL-LOF(a local outlier factor based on multi-label learning).该算法采用MLL框架,首先将真实对象数据拆分成多示例包形式,然后运用退化策略及相应的权重调整,计算最终离群点因子,判别离群点.并运用实际企业的监控数据将MLL-LOF算法与其他经典的局部离群点检测算法进行了对比实验,结果表明提出的MLL-LOF算法检测的精准率、召回率、F1值以及时间效率均优于传统的局部离群点检测算法.     

一种改进的高维度离群点检测方法

离群点检测作为数据挖掘的一个重要研究方向,可以从大量数据中发现少量与多数数据有明显区别的数据对象。高维度环境是离群点检测技术的一个重要场景,现实生活中的高维数据中大量无关或嘈杂的特征给基于子空间/特征选择的高维离群点检测方法提出了重大挑战。Pang等人提出了一种将离群点打分和特征选择结合起来的方案CINFO,准确度相比传统的高维度离群点检测算法有所提升。CINFO方法在效率上有改进空间,本文通过引入扩展的孤立森林算法(Extended Isolation Forest,EIF)对CINFO方法进行改进,在几乎不损失精度的情况下,明显提升了算法效率。     

双类型异质网中基于排序和聚类的离群点检测方法

挖掘隐藏在网络中不同于正常数据对象的离群点是数据挖掘的重要任务之一.目前,针对双类型异质信息网络离群点检测的研究工作相对较少,原本适用于同质网络的离群点检测方法将很难适用于双类型异质网络.为此,提出了异质信息网络中基于排序和聚类的离群点检测方法（RKBOutlier）.从异质信息网络中抽取两种类型的对象以及链接两种对象的语义信息,将待检测的数据作为属性对象,将另一类型数据作为目标对象,对目标对象进行聚类来检测属性对象在各个聚类中的分布情况,数据分布异常的对象即为离群点.将排序和聚类相结合来显著提高聚类的准确度.实验结果表明,RKBOutlier可以在双类型异质信息网络中有效地检测出离群点.     

子空间聚类算法在高维数据异常检测中的应用

传统异常检测技术是基于距离和密度的,快速的异常检测算法过分依赖于索引结构或网格划分,在低维数据上有很好的效果;面对高维数据的稀疏性、空空间现象等特性,索引结构失效,网格划分的数目呈指数级增长,传统算法性能下降;文中采用信息熵确定高维数据异常子空间,在异常子空间上使用DBSCAN聚类算法,在高维数据异常检测中表现出较好的性能。     

基于离群点算法的IPTV分段隐患检测方法

通信运营商IPTV业务用户端到端网络质量影响因素有内容源、内容分发网络、IP城域网、GPON网络和家庭网络.当前主要通过在IPTV机顶盒部署软探针来获取用户卡顿及花屏等情况,但无法获取引起机顶盒卡顿问题的原因,从而无法精确定位故障或隐患段落,处理时效低.因此,提出通过IPTV分段隐患检测手段测试接入层的BNG到OLT、...     

基于粗糙集理论的序列离群点检测

作为数据挖掘的一项重要任务,离群点检测已经引起人们的广泛关注.本文基于粗糙集理论来讨论离群点的定义与检测问题,提出了一种新的离群点定义--粗糙序列离群点以及相应的离群点检测算法RSOD.该算法利用粗糙集理论中的知识熵和属性重要性等概念来构建三种类型的序列,并通过分析序列中元素的变化情况来检测离群点.在UCI标准数据集上...     

基于网格技术的高维大数据集离群点挖掘算法

本文主要分析了离群点挖掘方法是针对小模式数据进行挖掘,其目的是找出大数据集中那些与正常数据相比差别比较多,远离正常数据的数据,以供参考.     

基于离群点检测的低压台区同期线损异常辨识研究

为缩短电压参量的实际传输距离,加强对同期线损量异常行为的抵抗能力,提出基于离群点检测的低压台区同期线损异常辨识方法.通过定义离群点的方式,确定线损参量的实际分类条件,根据最大负荷损失数值实现基于离群点检测的低压台区同期线损计算.在此基础上,采集大量的线损数据信息,利用核函数实现对辨识参数的优化与应用,完成基于离群点检测...     

舰载红外警戒系统目标图像的离群点挖掘算法

针对舰载红外警戒系统目标图像中弱小目标的检测问题,提出了一种基于离群点挖掘的目标检测算法(OBTD)。依据目标与背景在灰度分布上的不同特性,算法将弱小目标视为离群点。分割图像为一系列的子图像,计算子图像中各像素值的局部可达密度,设定阈值挖掘出离群点,得到可能的目标点。算法时间复杂度低,实时性好。试验表明,该算法能有效地检测出图像中的弱小目标,便于进一步的目标识别和跟踪。