高维空间中离群点检测算法研究

提出一种基于改进粒子群优化算法的离群点检测算法,解决高维环境下离群点挖掘效率偏低的问题。新算法能够充分发挥粒子群优化算法全局搜索的优势,并具有k均值算法快速收敛的特点,可避免粒子群优化算法的早熟,减小确定k均值算法聚类中心的计算量等问题。实验表明,该算法在高维环境下可快速有效的挖掘出离群数据的离群支持度,有较好的挖掘效率、准确率和实用性。     

基于离群点检测算法的电力大数据异常值检测

目前提出的电力大数据异常值检测方法由于检测过程中无法提取异常特征,因此检测到的异常电流和异常电压所在时间不同,为此提出基于离群点检测算法的电力大数据异常值检测方法。利用高斯混合模型中提取电力大数据异常值的特征,通过离群点检测出符合距离要求的异常值,初步检测易于识别的异常数据。分析离群点与异常值分布密度之间的关联性,确定更深层次的异常值,使用离群点进入数据簇中和聚类中心中寻找缺少异常特征的异常值。实验结果表明,基于离群点检测算法的电力大数据异常值检测方法检测到的异常数据离散情况和振幅波动响应状态具有一致性,异常电流和异常电压所在时间都为0.3～0.4 s,证明了方法的可行性。     

基于离群点算法的IPTV分段隐患检测方法

通信运营商IPTV业务用户端到端网络质量影响因素有内容源、内容分发网络、IP城域网、GPON网络和家庭网络.当前主要通过在IPTV机顶盒部署软探针来获取用户卡顿及花屏等情况,但无法获取引起机顶盒卡顿问题的原因,从而无法精确定位故障或隐患段落,处理时效低.因此,提出通过IPTV分段隐患检测手段测试接入层的BNG到OLT、...     

基于边界和距离的离群点检测

近年来,离群点检测已经引起人们的广泛关注. 离群点检测在网络入侵检测、信用卡欺诈、电子商务犯罪、医疗诊断以及反恐等诸多领域都具有十分重要的作用. 离群点检测的目的是为了发现数据集中的一小部分对象,与数据集中其余的大部分对象相比,这一小部分对象有着特殊的行为或者具有反常的属性. 针对现有的离群点检测方法不能有效处理不确定与不完整数据的问题,本文将粗糙集中边界的概念与 Knorr 等所提出的基于距离的离群点检测方法结合在一起,在粗糙集的框架中提出一种新的离群点定义与检测方法. 针对于该方法,我们设计出相应的离群点检测算法 BDOD,并且通过在临床诊断数据集上所进行的实验,验证了算法BDOD的有效性. 实验结果表明本文的方法为处理离群点检测中的不确定与不完整数据问题提供了一条新的途径.     

ERDOF:基于相对熵权密度离群因子的离群点检测算法

针对现有离群点检测算法在复杂数据分布和高维度数据集上精度低的问题,提出了一种基于相对熵权密度离群因子的离群点检测算法.首先引入熵权距离取代欧氏距离以提高离群点检测精度.然后结合自然邻居的概念对数据对象进行高斯核密度估计.同时提出相对距离来刻画数据对象偏离邻域的程度,提高所提算法在低密度区域检测离群点的能力.最后提出相对...     

基于粗糙集理论的序列离群点检测

作为数据挖掘的一项重要任务,离群点检测已经引起人们的广泛关注.本文基于粗糙集理论来讨论离群点的定义与检测问题,提出了一种新的离群点定义--粗糙序列离群点以及相应的离群点检测算法RSOD.该算法利用粗糙集理论中的知识熵和属性重要性等概念来构建三种类型的序列,并通过分析序列中元素的变化情况来检测离群点.在UCI标准数据集上...     

一种改进的高维度离群点检测方法

离群点检测作为数据挖掘的一个重要研究方向,可以从大量数据中发现少量与多数数据有明显区别的数据对象。高维度环境是离群点检测技术的一个重要场景,现实生活中的高维数据中大量无关或嘈杂的特征给基于子空间/特征选择的高维离群点检测方法提出了重大挑战。Pang等人提出了一种将离群点打分和特征选择结合起来的方案CINFO,准确度相比传统的高维度离群点检测算法有所提升。CINFO方法在效率上有改进空间,本文通过引入扩展的孤立森林算法(Extended Isolation Forest,EIF)对CINFO方法进行改进,在几乎不损失精度的情况下,明显提升了算法效率。     

基于离群点检测的低压台区同期线损异常辨识研究

为缩短电压参量的实际传输距离,加强对同期线损量异常行为的抵抗能力,提出基于离群点检测的低压台区同期线损异常辨识方法.通过定义离群点的方式,确定线损参量的实际分类条件,根据最大负荷损失数值实现基于离群点检测的低压台区同期线损计算.在此基础上,采集大量的线损数据信息,利用核函数实现对辨识参数的优化与应用,完成基于离群点检测...     

基于局部信息熵的计算机网络高维数据离群点检测系统

通过离群点检测可以及时发现计算机网络中的异常,从而为风险预警和控制提供重要线索。为此,设计一种基于局部信息熵的计算机网络高维数据离群点检测系统。在高维数据采集模块中,利用Wireshark工具采集计算机网络原始高维数据包;并在高维数据存储模块中建立MySQL数据库、Zooleeper数据库与Redis数据库,用于存储采集的高维数据包。在高维数据离群点检测模块中,通过微聚类划分算法划分存储的高维数据包,得到数个微聚类;然后计算各微聚类的局部信息熵,确定各微聚类内是否存在离群点;再依据偏离度挖掘微聚类内的离群点;最后,利用高维数据可视化模块呈现离群点检测结果。实验证明：所设计系统不仅可以有效采集计算机网络高维数据并划分计算机网络高维数据,还能够有效检测高维数据离群点,且离群点检测效率较快。     

基于可变阈值的无线传感网络异常值检测

定义了新的异常因子,将数据分为正常、异常、临界3种状态,并在此基础上构建了一个基于动态阈值的异常值检测模型。在修正马尔科夫假设的基础上,给出动态阈值的更新方法。算法在无需训练集的条件下,实现了在线的实时异常值检测。仿真实验表明,算法在保持较高检测精度的同时,维持了较低的误报率。     

一种基于数量关联的孤立点检测算法

孤立点检测是数据挖掘的重要研究方向之一,目标是发现数据集中不具备数据一般特性的数据对象.通过挖掘数据属性间内在的数量关联规则,标记产生的弱关联规则中置信度小于阈值的极小概率事件为孤立点,提出了一种基于数量关联的离群点检测算法.实例表明,算法能够有效检测数据集中的孤立点,具有应用价值.     

基于簇的孤立点检测

提出一个新的概念——基于簇的孤立点概念,这个概念的提出有助于理解局部数据的行为,同时也描述了如何利用LDBSCAN算法发现基于簇的孤立点,并为每一个对象计算局部偏离因子.     

分布式异常检测中隐私保持问题研究

隐私保持是目前数据挖掘领域的一个重要方向,其目标是研究如何在不共享原始数据的条件下,获取准确的数据关系.本文采用现实的多方安全计算模式,结合数据干扰技术,提出了一种保持隐私的异常检测算法.该算法选择那些超出局部阈值距离的两点间距离及其序号进行通讯,为了保持原始数据的隐私,随机抽取一些正常范围内的两点间距离及其序号,在加入干扰后分散在异常信息中.理论分析表明该算法既提供了现实的数据隐私又保障了算法的性能.     

一种基于孤立点挖掘的入侵检测技术

探讨基于孤立点挖掘的异常检测的可行性,将基于2k-距离的孤立点挖掘方法应用到入侵检测中,并针对该方法无法很好地处理符号型属性数据的问题,采用编码映射方法对符号型数据进行处理,同时利用主成分分析来实现对编码映射后扩展的属性进行降维。详细阐述了具体实现方案,并通过仿真实验验证了该方法的可行性。     

分布式数据流上的连续异常检测

近年来,数据流异常检测在决策支持和监测等领域有着广泛的应用前景,并成为数据管理与挖掘的研究热点.针对该问题提出了相应的异常定义及检测算法,理论分析表明:与现有异常检测算法相比较,提出的算法具有良好的性能和效率,更适合于数据流应用.     

高维空间下基于密度的离群点探测算法实现

离群点是数据仓库中表现行为异常的数据。对高维空间下离群点的性质进行了研究,采用高维空间数据在低维空间投影再进行探测的策略,解决了高维空间数据稀疏难以用数据点距离判断离群的问题。算法实现中选取彼此关联紧密的维,数据点之间的距离采用最近邻定义,用基于密度的离群点探测方法,能在局部空间内更有效地探测到离群点。