一种保护私有信息的空间离群点检测方法

针对现有空间离群点检测方法难以同时保证数据安全性和检测结果有效性的问题,提出一种隐私保护的空间离群点检测方法。该方法基于空间邻域行为属性值的统计结果及马哈拉诺比斯距离进行空间离群点的检测,通过对基于半诚实模型的安全多方距离、合并向量的中位数及标准化等计算协议的定义和应用,实现私有信息的保护。实验结果表明,该方法在保护隐私信息的同时保证了检测结果的准确性。     

基于邻域值差异度量的离群点检测算法

针对离群点检测中传统距离法不能有效处理符号型属性和经典粗糙集方法不能有效处理数值型属性的问题,利用邻域粗糙集的粒化特征提出了改进的邻域值差异度量（NVDM）方法进行离群点检测。首先,将属性取值归一化并以混合欧氏重叠度量（HEOM）和具有自适应特征的邻域半径构建邻域信息系统（NIS）;其次,以NVDM构造对象的邻域离群因子（NOF）;最后,设计并实现了基于邻域值差异度量的离群点检测（NVDMOD）算法,该算法在计算单属性邻域覆盖（SANC）的方式上充分利用有序二分和近邻搜索思想改进了传统的无序逐一计算模式。在UCI标准数据集上与现有离群点检测算法——邻域离群点检测（NED）算法、基于距离的离群点检测（DIS）算法和K最近邻（KNN）算法进行了实验对比、分析。实验结果表明,NVDMOD算法具有更好的适应性和有效性,为混合型属性数据集的离群点检测提供了一条更有效的新途径。     

一种基于邻域粒度熵的离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,其目的是找出数据集中与其他数据对象显著不同的一小部分数据。离群点检测在网络入侵检测、信用卡欺诈检测、医疗诊断等领域有着非常重要的应用。近年来,粗糙集理论被广泛用于离群点检测,然而,经典的粗糙集模型不能有效处理数值型数据。对此,本文利用邻域粗糙集模型来检测离群点,在邻域粗糙集中引入一种新的信息熵模型——邻域粒度熵。基于邻域粒度熵,提出一种新的离群点检测算法OD_NGE。实验结果表明,相对于已有的离群点检测算法,OD_NGE具有更好的离群点检测性能。     

基于方形对称邻域的局部离群点检测方法*

针对NDOD(outlier detection algorithm based on neighborhood and density)算法在判断具有不同密度分布的聚类间过渡区域对象时存在的不足,以及为了降低算法时间复杂度,提出一种基于方形对称邻域的局部离群点检测方法。该算法改用方形邻域,吸收基于网格的思想,通过扩张方形邻域快速排除聚类点及避免"维灾";通过引入记忆思想,使得邻域查询次数及范围成倍地减小;同时新定义的离群度度量方法有利于提高检测精度。实验测试表明,该算法检测离群点的速度及精度均优于NDOD等算法。     

基于网格上近似的大规模数据集离群点检测算法GROUT

通过对数据集中离群点分布特性的分析，给出离群点的解析定义，并在度量意义下采用数据空间网格化方法实现对密集数据主体的过滤，从而构造了在时间和空间上均具有极高效率的离群点检测算法。     

基于方形邻域的离群点查找新方法

提出一种基于密度的快速查找离群点的算法--基于方形邻域的离群点查找算法（ODBSN）,该算法把DBSCAN算法的邻域改造成方形邻域,并吸收基于网格算法的思想,用密集的方形邻域快速排除非离群点;用邻域扩张的思想代替网格划分克服了基于网格算法中＂维灾＂缺点;同时用局部偏离指数指示离群点的偏离程度,又具有识别精度高和偏离程度可度量的优点.理论分析表明该算法性能优于著名的基于密度的算法,实验表明,ODBSN算法能在各种形状分布与各种密度的数据中有效地查找离群点, 速度明显优于LOF与DBSCAN算法.     

一种高效混合属性离群检测算法

离群检测是数据挖掘领域的一个重要内容,它为分析各种海量、复杂、含有噪声的数据提供了新的方法.对离群簇进行了定义并据此提出一种离群检测方法,该方法增量式地对原始数据集进行聚类,在得到的簇中寻找离群簇.根据提出的簇间差异性度量,新方法可处理混合属性数据集.同时探讨了参数取值.基于人工数据集和真实数据集上的实验表明,新方法检测离群点具有精度高、速度快的优点,适用于大规模数据集.     

基于熵度量的空间邻域离群点查找

离群点的查找算法主要有两类：第一类是面向统计数据,把各种数据都看成是多维空间,没有区分空间维与非空间维,这类算法可能产生错误的判断或找到的是无意义的离群点;第二类算法面向空间数据,区分空间维与非空间维,但该类算法查找效率太低或不能查找邻域离群点。引入熵权的概念,提出了一种新的基于熵权的空间邻域离群点度量算法。算法面向空间数据,区分空间维与非空间维,利用空间索引划分空间邻域,用非空间属性计算空间偏离因子,由此度量空间邻域的离群点。理论分析表明,该算法是合理的。实验结果表明,算法具有对用户依赖性小、检测精度和计算效率高的优点。     

一种基于密度的局部离群点检测算法DLOF

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.提出了一种基于密度的局部离群点检测算法DLOF.该方法通过引入信息熵用于确定各对象的离群属性,在计算各对象之间的距离时采用加权距离,并给离群属性较大的权重,从而提高离群点检测的准确度.另外,该算法在计算离群因子时,采用了两步优化技术,并对采用这两步优化技术后算法的时间复杂度进行了详细分析.理论分析和实验结果表明了该方法是有效可行的.     

基于相似孤立系数的孤立点检测算法

基于聚类的孤立点检测算法得到的结果比较粗糙,不够准确。针对该问题,提出一种基于相似孤立系数的孤立点检测算法。定义相似距离以及相似孤立点系数,给出基于相似距离的剪枝策略,根据该策略缩小可疑孤立点候选集,并降低孤立点检测算法的计算复杂度。通过选用公共数据集Iris、Labor和Segment—test进行实验验证,结果表明,该算法在发现孤立点、缩小候选集等方面相比经典孤立点检测算法更有效。     

一种基于孤立点检测的入侵检测方法

孤立点检测在入侵检测中有着重要的意义，故将基于RNN的孤立点检测方法应用于网络入侵检测当中。先将数据集用于神经网络的训练，然后使用训练后的RNN对网络数据进行孤立度测量，根据度量结果判定是否为入侵行为。实验表明，该算法取得了很好的效果。     

基于知识粒度的异常数据挖掘算法

粒计算理论提供了一种新的处理不确定、不完全与不一致知识的有效方法。知识粒度是粒计算理论中度量不确定信息的重要工具之一。已有的异常数据挖掘算法主要针对确定性的异常数据挖掘,采用知识粒度度量不确定性数据,进行异常数据挖掘的研究尚未报道。为此,在引入知识粒度概念的基础上,定义了相对知识粒度及异常度来度量数据之间的异常程度,并提出基于知识粒度的异常数据挖掘算法,该算法可有效进行异常数据的挖掘。实例验证了该算法的有效性。     

面向不完备邻域系统的三支决策粒计算方法

针对许多应用领域中的数据大多是连续型数值,且由于成本限制和隐私保护等因素导致数据呈现不完备性。为此,提出面向不完备邻域系统的三支决策粒计算方法,引入邻域概念改进非对称相似关系,并通过改进的非对称相似关系计算不完备邻域系统的邻域粒度;在此基础上计算对象属于决策类的最大条件概率,再根据三支决策规则分别将对象划分到各决策类的正域、负域和边界域;通过实验比较和分析,进一步验证了该方法能获得较好的划分准确率和较低的误划分损失,为三支决策对不完备邻域数据的分析和处理提供了一种有效可行的方法。     

邻域近似条件熵的特定类属性约简及启发算法

针对属性约简的推广,采用邻域近似条件熵,建立邻域粗糙集的特定类属性约简及其启发算法。粒化分解决策分类的高层邻域近似条件熵,提取定义特定类的中层邻域近似条件熵并得到上下界与粒化非单调性;提出基于邻域近似条件熵的特定类属性约简,设计启发式约简算法;采用决策表实例与数据集实验进行有效验证。所得结果有利于特定类模式识别的不确定性度量与优化应用。     

基于全局最近邻的离群点检测算法

针对全局最近邻离群点检测算法的效率问题,为了能够在数据集中快速准确地检测离群点,运用属性约简技术,将离群点的搜索简约到较小的最具代表性的属性子空间中进行,从而有效降低属性空间搜索的复杂度。在此基础上,通过计算基于近邻的加权离群因子实现离群点的检测并提出了相应的算法。实验表明,该离群点算法具有较好的适应性和有效性。     

基于局部估计密度的局部离群点检测算法

局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函数计算中引入数据对象的k-邻域平均距离作为其邻域信息,然后利用求出的局部估计密度计算数据对象的局部离群因子,依据局部离群因子的大小来判断数据对象是否为离群点.实验表明,该算法在UCI标准数据集与模拟数据集上都可以取得较好的表现.     

粒化单调的条件邻域熵及其相关属性约简

在邻域粗糙集中,基于信息度量的属性约简具有重要应用意义.然而,条件邻域熵具有粒化非单调性,故其属性约简具有应用局限性.对此,采用粒计算技术及相关的3层粒结构,构建具有粒化单调性的条件邻域熵,进而研究其相关属性约简.首先,揭示条件邻域熵的粒化非单调性及其根源;其次,采用3层粒结构,自底向上构建一种新型条件邻域熵,获得其粒化单调性;进而,基于粒化单调的条件邻域熵,建立属性约简及启发式约简算法;最后,采用UCI(University of CaliforniaIrvine)数据实验,验证改进条件邻域熵的单调性与启发式约简算法的有效性.所得结果表明：新建条件邻域熵具有粒化单调性,改进了条件邻域熵,其诱导的属性约简具有应用前景.