空间离群点的检测算法

空间离群点是指与其邻居具有明显区别的属性值的空间对象。已有的空间离散点检测算法一个主要的缺陷就是这些方法导致一些真正的离群点被忽略而把一些非离群点当成了空间离群点。本文提出了一种迭代算法,该算法通过多次迭代检测离群点,取得较好效果。实验表明该算法具有较好的实用性。     

空间离群点的检测算法

空间离群点是指与其邻居具有明显区别的属性值的空间对象.已有的空间离散点检测算法一个主要的缺陷就是这些方法导致一些真正的离群点被忽略而把一些非离群点当成了空问离群点.提出了一种迭代算法,该算法通过多次迭代检测离群点,取得较好效果.实验表明该算法具有较好的实用性.     

基于全局最近邻的离群点检测算法

针对全局最近邻离群点检测算法的效率问题,为了能够在数据集中快速准确地检测离群点,运用属性约简技术,将离群点的搜索简约到较小的最具代表性的属性子空间中进行,从而有效降低属性空间搜索的复杂度。在此基础上,通过计算基于近邻的加权离群因子实现离群点的检测并提出了相应的算法。实验表明,该离群点算法具有较好的适应性和有效性。     

基于空间局部偏离因子的离群点检测算法

针对空间数据集的特性,提出一种基于空间局部偏离因子(SLDF)的离群点检测算法。利用SLDF度量空间点对象的离群程度,计算空间数据集中点对象的SLDF值并对其进行排序,将取值较大的前M个点对象作为空间离群点。实验结果表明,该算法能较好地检测空间局部离群点,其有效性与准确性均优于SLZ算法,适用于高维大数据集的空间离群点检测。     

基于Voronoi和空间自相关的离群点检测

为了提高空间数据挖掘的效率和准确度,在分析传统的离群点检测算法优、缺点的基础上,提出一种空间离群点检测算法。用Voronoi来确定空间对象间的邻近关系,在空间邻域内利用空间自相关性来计算局部Moran指数,并将其作为离群因子进而判断离群点。实验结果表明,该算法能够高效、准确地检测出空间离群点,具有对用户依赖性少和可伸缩性强等优点。     

基于Voronoi和空间自相关的离群点检测

为了提高空间数据挖掘的效率和准确度,在分析传统的离群点检测算法优、缺点的基础上,提出一种空间离群点检测算法。用Voronoi来确定空间对象间的邻近关系,在空间邻域内利用空间自相关性来计算局部Moran指数,并将其作为离群因子进而判断离群点。实验结果表明,该算法能够高效、准确地检测出空间离群点,具有对用户依赖性少和可伸缩性强等优点。     

基于假设检验匹配约束的点云配准算法研究

针对点云配准中效率低、误差大、抗噪性弱等问题,提出了一种改进的基于t检验的迭代最近点(T-ICP)算法。在初始配准阶段,采用统计分析对源点云和目标点云中的离群点进行标记并提取非离群点,然后采用主成分分析法(PCA)计算非离群源点云和非离群目标点云之间的变换矩阵,并将变换矩阵应用于源点云。在精配准阶段,以迭代最近点(ICP)算法作为基本框架,通过对候选点对的邻域距离分布进行t检验来剔除错误点对,并采用均匀分布策略来搜索点对,保证点云的完整形态配准。实验结果表明,相较于迭代最近点算法以及近两年一些改进的配准算法,该算法在效率和精度上分别提高了10%~50%和4%~40%,并具有较好的鲁棒性。     

基于局部保持投影的鲁棒稀疏子空间学习

传统的子空间学习算法包含投影学习和分类两个过程,但是这两个过程分离,且对离群点较敏感,可能导致算法无法获得整体最优解。为此,提出了一种基于局部保持投影的鲁棒稀疏子空间学习算法。该算法将特征学习和分类模型相结合,使学习得到的子空间特征更具有判别性;利用L2,1范数的行稀疏性质,剔除冗余特征,同时在算法模型中考虑数据样本的局部关系来提高对离群点的鲁棒性;最后采用交替迭代方法来求解该模型。在不同数据集上的实验结果表明该算法具有较好的识别效果。     

基于地统计学的空间离群点检测算法的研究

针对传统空间离群点检测算法构建邻域时参数选择困难,处理高维数据的时间复杂度较高等问题,提出了一种基于地统计学的空间离群点检测算法。该算法将空间自相关理论引入空间离群检测中,首先利用3σ规则识别全局离群点,然后利用Delaunay三角网构建空间邻域,将邻域节点均值代替全局离群点,最后使用局部Moran’ I作为空间异常的度量方法。仿真结果表明,该方法不需要选择参数,鲁棒性较强,检测率较高、误警率较低。     

基于全息熵的空间离群点挖掘算法研究

基于距离和基于密度的离群点检测算法受到维度和数据量伸缩性的挑战, 而空间数据的自相关性和异质性决定了以属性相互独立和分类属性的基于信息理论的离群点检测算法也难以适应空间离群点检测, 因此提出了基于全息熵的混合属性空间离群点检测算法。算法利用区域标志属性进行区域划分, 在区域内利用空间关系确定空间邻域, 并用R*-树进行检索。在此基础上提出了基于全息熵的空间离群度的度量方法和空间离群点挖掘算法, 有效解决了混合属性的离群度的度量和离群点的挖掘问题。由于实现区域划分有利于并行计算, 从而可适应大数据量的计算。理论和实验证明, 所提算法在计算效率和实验结果的可解释性方面均具有优势。     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

含局部空间约束的t分布混合模型的点集配准

基于高斯混合模型（Gaussian mixture model,GMM）的点集非刚性配准算法易受重尾点和异常点影响,提出含局部空间约束的t分布混合模型的点集非刚性配准算法. 通过期望最大化（Expectation maximization,EM）框架将高斯混合模型推广为t分布混合模型;把Dirichlet分布作为浮动点的先验权重,并构造含局部空间约束性质的Dirichlet 分布参数. 使用EM算法获得配准参数的闭合解;计算浮动点的自由度,改变其概率密度分布,避免异常点水平估计误差. 实验表明,本文提出的配准算法具有配准误差小、鲁棒性好、抗干扰能力强等优点.     

基于粗糙集的高维空间离群点发现算法研究

该文提出在高维空间下离群点发现技术的新方法,即利用粗糙集的属性约简技术减少高维空间的维数,并在各个关联规则子空间下对数据集进行基于密度的离群点挖掘,使高维空间下的离群点挖掘更具有实用性。数据分析表明,该算法能有效地发现高维空间数据集中的离群点。     

多代表点特征树与空间聚类算法

空间数据具有海量、复杂、连续、空间自相关、存在缺损与误差等的特点，要求空间聚类算法具有高效率，能处理各种复杂形状的簇，聚类结果与数据空间分布顺序无关，并且对离群点是健壮的等性能，已有的算法难以同时满足要求。本文提出了一个适合处理海量复杂空间数据的数据结构一多代表点特征树。基于多代表点特征树提出了适合挖掘海量复杂空间数据聚类算法CAMFT，该算法利用多代表点特征树对海量的数据进行压缩，结合随机采样的方法进一步增强算法处理海量数据的能力；同时，多代表点特征树能够保存复杂形状的聚类特征，适合处理复杂空间数据。实验表明了算法CAMFT能够快速处理带有离群点的复杂形状聚类的空间数据，结果与对象空间分布顺序无关，并且效率优于已有的同类聚类算法BLRCH与CURE。     

Distance-based outliers: algorithms and applications

This paper deals with finding outliers (exceptions) in large, multidimensional datasets. The identification of outliers can lead to the discovery of truly unexpected knowledge in areas such as electronic commerce, credit card fraud, and even the analysis of performance statistics of professional athletes. Existing methods that we have seen for finding outliers can only deal efficiently with two dimensions/attributes of a dataset. In this paper, we study the notion of DB (distance-based) outliers. Specifically, we show that (i) outlier detection can be done efficiently for large datasets, and for k-dimensional datasets with large values of k (e.g., ); and (ii), outlier detection is a meaningful and important knowledge discovery task. First, we present two simple algorithms, both having a complexity of , k being the dimensionality and N being the number of objects in the dataset. These algorithms readily support datasets with many more than two attributes. Second, we present an optimized cell-based algorithm that has a complexity that is linear with respect to N, but exponential with respect to k. We provide experimental results indicating that this algorithm significantly outperforms the two simple algorithms for . Third, for datasets that are mainly disk-resident, we present another version of the cell-based algorithm that guarantees at most three passes over a dataset. Again, experimental results show that this algorithm is by far the best for . Finally, we discuss our work on three real-life applications, including one on spatio-temporal data (e.g., a video surveillance application), in order to confirm the relevance and broad applicability of DB outliers. Received February 15, 1999 / Accepted August 1, 1999     

GridOF:面向大规模数据集的高效离群点检测算法

作为数据库知识发现研究的重要技术手段，现有离群点检测算法在运用于大型数据集时其时间与空间效率均无法令人满意．通过对数据集中离群点分布特征的分析，在数据空间网格划分的基础上，研究数据超方格层次上的密度近似计算与稠密数据主体滤除策略．给出通过简单的修正近似计算取代繁复的点对点密度函数值计算的方法．基于上述思想构造的离群点检测算法GlidOF在保持足够检测精度的同时显著降低了时空复杂度，运用于大规模数据集离群点检测具有良好的适用性和有效性．     

Genetic algorithms for outlier detection and variable selection in linear regression models

This article addresses some problems in outlier detection and variable selection in linear regression models. First, in outlier detection there are problems known as smearing and masking. Smearing means that one outlier makes another, non-outlier observation appear as an outlier, and masking that one outlier prevents another one from being detected. Detecting outliers one by one may therefore give misleading results. In this article a genetic algorithm is presented which considers different possible groupings of the data into outlier and non-outlier observations. In this way all outliers are detected at the same time. Second, it is known that outlier detection and variable selection can influence each other, and that different results may be obtained, depending on the order in which these two tasks are performed. It may therefore be useful to consider these tasks simultaneously, and a genetic algorithm for a simultaneous outlier detection and variable selection is suggested. Two real data sets are used to illustrate the algorithms, which are shown to work well. In addition, the scalability of the algorithms is considered with an experiment using generated data.I would like to thank Dr Tero Aittokallio and an anonymous referee for useful comments.     

基于Delaunay三角网的空间离群挖掘

空间离群是指非空间属性与其空间邻居显著不同的空间对象。空间数据的特殊性决定了空间离群挖掘需要充分考虑空间数据的特点,才能挖掘出有现实意义的离群。本文对现有主要的空间数据离群挖掘算法进行了研究分析,针对k-邻域法确定空间邻域的缺点,基于Delaunay三角网在表达空间邻近关系的有效性,通过构建Delaunay三角网确定空间邻域并生成空间权重矩阵,据此提出了基于Delaunay三角网的空间离群挖掘算法DT_SOF,并以实际生态地球化学数据进行实验检验。结果表明,算法具有较低的用户依赖性,能准确挖掘空间离群。     

一种基于重复训练的支持向量机方法

针对支持向量机中存在的对噪音和野值敏感的问题,提出了一种基于重复训练的支持向量机方法。该方法选取重复训练后会对分类面有影响的样本,根据其类别隶属度,重复训练相应的次数,以此来改变样本的权值,减小噪音和野值的影响。将该算法应用于文本分类中,实验结果表明,该方法在适度增加了训练时间的情况下,不仅比标准支持向量机方法具有更好的抗噪音和野值的能力,而且提高了分类性能。