对含有不规则野点和断点测试数据的一种特殊处理方法

根据以往水下武器试验的经验，其实测轨迹具有较多的野点(包括零星野点和成批野点)和断点，且野点分布不规则，不均匀，使得测量最差分布呈现非高斯的特点，测量系统除了存在随机误差外，还存在总系统误差使得误差的均值不等于零且随时可能发生变化。在出现成批野点的情况下，常用的数据处理方法不能完全满足水下实航试验的需要，本文阐述的是在测量数据(存在野点)符合正态分布规律的情况下的一种基于多项式回归和数理统计的数据处理方法。     

一种电力感知数据的离群点检测方案

鉴于离群点引发的数据质量问题给电力应用造成的不良影响,对电力感知数据的特征进行了分析,并基于电力感知数据的时间特征和异常检测技术的易用性需求,提出一种电力感知数据的离群点检测方案。该方案由异常检测服务框架和离群点检测方法构成。异常检测服务框架借鉴Web服务的思想,基于大数据技术,能够支持电力感知数据的存储和计算,并且以服务的形式提供电力感知数据的异常检测能力。离群点检测方法是基于聚类算法和考虑时间属性的数据分段方法来检测电力感知数据中的离群点异常。通过实验验证了该方法的可行性和有效性,结果表明该方法能够有效识别具有时间相关性和连续性的电力感知数据中存在的离群点,且在数据规模增大时,具有良好的并行性和可扩展性。     

基于马氏椭球学习机的监督野点探测

针对有少量野点出现的情况,提出一种基于马氏椭球学习机的监督野点探测（supervised outlier detection based on Mahalanobis ellipsoidal learning machine,SODMELM）方法。这种方法通过一个超椭球对正常类进行较好的描述的同时,将野点排除在该椭球外面,继承了马氏椭球学习机（Mahalanobis Ellipsoidal Learning Machine,MELM）将样本点的协方差矩阵即样本点的分布信息考虑进去的优点。真实数据上的实验表明了所提的方法在一般意义上能提高野点探测的效率。     

数据流中孤立点识别方法

针对基于聚类分析及基于孤立点检测的入侵检测方法的局限，根据数据流的特点，提出了一种数据流中孤立点动态识别方法。该方法使用动态微粒群算法对特征空间中当前主要聚类的特征点进行追踪，通过计算数据流中数据对象与特征点的距离来判断数据对象的性质。将该方法应用于入侵检测而进行的实验证明了方法的有效性。     

基于生物视觉机制的图像特征点检测方法

特征点检测性能对于后续图像分析和理解起着关键的作用,基于视觉感受野以及信息流反馈等视觉机制,提出了一种图像特征点检测新方法。利用感受野自调节特性构造简单细胞感光层,对卷积运算所获取的高斯差异结果进行特征点粗检测;利用脉冲信息流的反馈机制进行冗余点的剔除,最终获得视觉注意机制下的代表性特征点。在图像旋转角度为30°、60°、90°,尺度变换因子为0.8、0.9、1.1和1.2时,新方法在最终特征点数量均显著少于传统算法的情况下,图像特征点一致性稳定性结果较优,该方法将为生物视觉机制及其在图像处理中的应用提供崭新而有效的思路。     

人脸确认的动态支持向量数据描述方法

人脸的确认实质上是一个一类分类问题或野点检测问题,即只需要精确地描述某一类样本的分布,而将该类样本之外大范围内的样本点视为野点.为了能精确地描述某一类样本的分布,在对国内外现有统计学习理论和核方法进行研究的基础上,针对＂人脸确认＂这一特定的应用对象,分析了已有的一类分类算法,即支持向量数据描述方法在处理动态样本中存在的不足,进而指出,随着训练样本数目的增加,该算法会因为过大的优化规模而无法实际操作,为此提出了用于人脸确认的动态支持向量数据描述算法.由于新算法在优化过程中,仅需要考虑待检测样本和原有支持向量集,从而可以大大降低优化过程中涉及的运算规模和内存需求,进而可保证人脸确认过程中的实时性与动态性要求.     

抗野值鲁棒滤波在微惯性组合导航中的应用

在鲁棒H∞滤波应用过程中,如果量测序列含有野值,将会严重影响滤波精度。针对这一问题提出一种新的剔除野植的方法;从新息入手,首先利用小波变换系数特性,通过最细尺度上的小波系数来检测野值点,然后基于信息扩散原理,采用替代方法,对含有单个或连续野值的新息加以修正,从而达到检测和剔除野值的目的。通过对基于MEMS的车载微惯性SINS/GPS组合导航的仿真表明,新算法能够有效的检测出野值,并在野值单个或成片出现的情况下都能保证滤波精度。     

基于插值的高维稀疏数据离群点检测方法

离群点检测问题中的数据可被看作是正常点与异常点在空间中的高度混合，在减少正常点损失的前提下，离群点通常包含在离聚类中心最远的样本集中。受这种思想启发，提出一种针对高维稀疏数据的基于插值的离群点检测方法，该方法在K-means基础上应用遗传算法对原始数据进行插值处理，解决了K-means聚类中稀疏数据容易被合并的问题。实验结果表明，对比基于传统K-means聚类的离群点检测方法以及几种典型的基于改进K-means的检测方法，本文 方法损失的正常点更少，提高了检测的准确率和精确率。     

基于小波变换自适应门限信号预处理

在测控系统中遥测数据野点的存在给数据的进一步处理带来严重的困难,由于传统的野值剔除方法无法完全保留信号的高频信息,提出一种基于小波变换和矩分析理论的野值剔除新方法。该方法以原信号小波分解后的低频成分作为原信号的估计并对残差进行自适应野值剔除,将剔除野值后的信号重构,得到野值剔除后的理想信号。与传统方法相比,该方法既保留了信号的高频成分又有效剔除了野值。对固定门限和自适应门限两种野值剔除方法进行Matlab仿真比较,结果表明,自适应野值剔除方法对数据野值剔除具有很好的效果。     

一种新型噪声检测中值滤波算法

本文提出了一种基于噪声检测的迭代中值滤波算法。该算法首先检测出噪声点，然后利用信号点对噪声点滤波。其中，噪声检测方法改进了Minmax方法。经过实验仿真并与其他滤波算法进行比较表明，该算法可以有效地去除图像中的脉冲噪声并且保留原图像的细节。     

一种基于k-均值聚类的异常检测技术

由于实际问题中用户的行为模式存在多样性和不可预知性,传统异常检测方法采用提前设定正常模式或异常模式进行学习变得非常困难。针对这个问题,本文提出一种基于k-均值聚类的自适应异常检测方法,称为OD_KC方法。该方法设置不同的聚类个数对无标签的样本集进行k-均值聚类,通过构造测度函数,以衡量聚类结果的抱团性和分离性,从而获得最佳的聚类结果,同时自动得到那些被划分为很小规模的类的样本作为异常模式样本。基于k-均值的异常检测方法具有很强的自主性和自适应性,特别地,当样本分布模式复杂时,也能得到较为优秀的检测结果,具有较好的异常检测能力。实验结果表明,基于k-均值聚类的异常检测技术能够得到较好的检测结果。     

Outlier detection for scanned point clouds using majority voting

When scanning an object using a 3D laser scanner, the collected scanned point cloud is usually contaminated by numerous measurement outliers. These outliers can be sparse outliers, isolated or non-isolated outlier clusters. The non-isolated outlier clusters pose a great challenge to the development of an automatic outlier detection method since such outliers are attached to the scanned data points from the object surface and difficult to be distinguished from these valid surface measurement points. This paper presents an effective outlier detection method based on the principle of majority voting. The method is able to detect non-isolated outlier clusters as well as the other types of outliers in a scanned point cloud. The key component is a majority voting scheme that can cut the connection between non-isolated outlier clusters and the scanned surface so that non-isolated outliers become isolated. An expandable boundary criterion is also proposed to remove isolated outliers and preserve valid point clusters more reliably than a simple cluster size threshold. The effectiveness of the proposed method has been validated by comparing with several existing methods using a variety of scanned point clouds.     

无指导的入侵检测方法

提出了一种适用于混合属性的距离定义和度量对象异常程度的异常因子,由此提出了一种无指导的入侵检测方法.该方法关于数据库的大小、属性个数具有近似线性时间复杂度,这使得算法具有好的扩展性.该方法对于参数和数据输入顺序具有稳健性,且对新的入侵有一定的检测能力.     

离群点检测的邻近性方法综述

离群点检测在数据挖掘中有非常广泛的应用,然而并不是所有的离群点检测问题都能用一种最优的方法去解决。针对不同的应用,需要用不同的方法,才能够最有效地解决实际问题。检测方法大致可以分为基于统计、基于聚类、基于邻近性（基于距离和基于密度）的方法。为了及时掌握当前基于邻近性技术的离群点检测方法的研究现状,通过整理和归纳,将代表性强的基于邻近性的离群点检测方法进行了介绍和评价,将其主要分为基于距离的方法和基于密度的方法,对所有提及的方法的应用场景、算法思想、能解决的问题以及各自的优缺点进行了详细的分析和归纳,指出目前存在的问题和对未来研究的发展方向。对开展邻近性的离群点检测研究具有重要意义。     

基于数学形态学的模糊异常点检测

异常点检测作为数据挖掘的一项重要任务,可能会导致意想不到的知识发现.但传统的异常点检测技术都忽略了数据的自然结构,即异常点与簇的联系.然而,把异常点得分和聚类方法结合起来有利于对异常点与簇的联系的研究.提出基于数学形态学的模糊异常点检测与分析,把数学形态学技术和基于连接的异常点检测方法集成到一个模糊模型中,从异常隶属度和模糊隶属度这两个方面来分析对象与簇集的模糊关系.通过充分的实验证明,该算法能够对复杂面状和变密度的数据集,正确、高效地找出异常点,同时发现与异常点相关联的簇信息,探索异常点与簇核的关联深度,对异常点本身的意义具有启发作用.     

基于孤立点检测的错误数据清理方法*

针对数据源中出现的错误数据,分析了孤立点检测方法在数据清理中的重要性,提出了一种基于孤立点检测的错误数据清理方法。在对常用孤立点检测方法进行比较、分析的基础上,采用一种有效的孤立点检测方法来检测数据源中的孤立点。最后,以一个实例验证了该方法的效果。研究表明：基于孤立点检测的错误数据清理方法能有效地检测数据源中的错误数据。     

Outlier detection using binary decision diagrams

We propose a novel method for outlier detection using binary decision diagrams. Leave-one-out density is proposed as a new measure for detecting outliers, which is defined as a ratio of the number of data elements inside a region to the volume of the region after a focused datum is removed. We show that leave-one-out density can be evaluated very efficiently on a set of regions around each datum in a given dataset by using binary decision diagrams. The time complexity of the proposed method is nearly linear with respect to the size of the dataset, while the outlier detection accuracy is still comparable to that of other methods. Experimental results show the effectiveness of the proposed method.     

基于改进布谷鸟搜索的k-means算法的离群点检测

为了解决k-means算法的离群点检测容易受到初始聚类中心的影响陷入局部最优的问题,本文提出一种基于改进布谷鸟搜索的k-means算法的离群点检测方法。首先,对原始布谷鸟搜索算法中的发现概率和莱维飞行步长做自适应策略改进并进行实验仿真;其次讨论改进后的布谷鸟搜索算法的收敛性问题;最后将改进后的布谷鸟搜索算法与k-means的离群点检测算法融合成一种新的离群点检测算法——基于改进布谷鸟搜索的k-means算法的离群点检测。通过对UCI数据集进行仿真实验,结果表明,本文算法不仅精确度方面有着明显优势,而且在3个数据集上收敛速度均有改善,可有效地抑制k-means算法的离群点检测容易陷入局部最优的问题,缩短运行时间。     

一种基于概率的孤立点检测方法

现有孤立点检测方法大多数都需要预先设定孤立点个数,若设定不准确将降低孤立点检测的准确性。针对该问题,提出一种基于概率的孤立点检测方法。结合基于密度的DBSCAN算法与中位数求方差的方法,对待检测数据集进行聚类,提取出不包含在任何聚类中的可疑孤立点并进行分析,从而确定最终孤立点。该方法所检测的数据与时间因素线性无关,不必预先设定孤立点个数及聚类数,并且对噪声数据具有较强的抗干扰能力。IRIS测试数据集上的实验结果表明,该方法能够有效地识别孤立点。     

Application of density-based outlier detection to database activity monitoring

To prevent internal data leakage, database activity monitoring uses software agents to analyze protocol traffic over networks and to observe local database activities. However, the large size of data obtained from database activity monitoring has presented a significant barrier to effective monitoring and analysis of database activities. In this paper, we present database activity monitoring by means of a density-based outlier detection method and a commercial database activity monitoring solution. In order to provide efficient computing of outlier detection, we exploited a kd-tree index and an Approximated k-nearest neighbors (ANN) search method. By these means, the outlier computation time could be significantly reduced. The proposed methodology was successfully applied to a very large log dataset collected from the Korea Atomic Energy Research Institute (KAERI). The results showed that the proposed method can effectively detect outliers of database activities in a shorter computation time.