基于距离的不确定数据异常点检测研究

针对实际数据存在不确定性的问题,提出了新的异常点检测方法。首先,定义了基于距离的不确定数据异常点检测概念;其次,设计了相应的不确定数据的异常点检测算法;再次,为降低算法时间复杂度,设计了剪枝策略;最后,实验分析说明了算法对不确定异常点检测的可行性与效率。     

基于空间相邻关系的GML点对象离群检测算法

提出了一种基于空间相邻关系的点对象离群检测算法SAOD（Space Adjacent Relations Based GML Point Outlier Detection Algorithm）．利用空间相邻关系作为空间点对象的相似度度量准则,得到相似度矩阵,从而挖掘GML中的离群点对象．实验结果表明,SAOD算法能有效地检测GML中的离群点对象并且具有较高的效率．     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN（Outlier Detection Basedon Square Neighborhood）中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD（Neighborhoodand Densitybased Outlier Detection）。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的“维灾”。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。     

基于数据标签的智能电网监控与异常检测

针对智能电网监控传输协议、计算处理效率和异常数据检测等存在的不足,提出了一种基于数据标签的SEG监控架构和异常数据检测算法。先对SEG数据标签监控与异常检测的框架进行设计;然后对异常检测流程、稀疏化与精简算法和检测算法进行设计,提出一种基于数据标签的数据精简和异常检测算法;最后进行SEG数据标签监控实例分析和对比仿真实验。通过实验,本文所设计的数据标签SEG监控与异常数据检测,其异常数据检测的准确率大于80%和召回率高于82%,而算法运行时间较参比算法少2.0-3.0秒。     

用于高炉铁水质量预报的改进支持向量回归

针对建模数据中包含噪声和离群点会降低相应软测量模型准确性的问题,提出一种结合2层变量空间分析的预处理方法.用多变量修剪法在原始变量空间预处理;并提出支持向量聚类（SVC）的预处理方法,将建模数据映射到高维特征空间,构造一超球体来排除离群点.SVC无需像传统预处理方法假设数据服从正态或近似正态分布,更符合实际的高炉过程.预处理后的数据再用支持向量回归建立软测量模型.在一工业高炉铁水硅含量的建模和预报实验结果表明,所提出方法能够更有效排除离群点,且提高了支持向量回归模型的鲁棒性和预报性能.     

小波变换的离群时序数据挖掘分析

针对时序数据进行离群数据挖掘方法的研究。通过对时序数据进行离散小波变换,将其从时域空间变换到频域空间,使时序数据映射为多维空间的点。该方法具有多尺度、时移不变性等特点,经离群时间序列进行离散小波变换后,不仅具有良好的保距性又达到降低维数目的。然后提出一种基于距离的离群时序数据挖掘算法。仿真试验表明了该方法的有效性。     

基于日志的异常软件使用模式检测

提出了使用日志的孤立点分析方法,对日志数据进行预处理,确立合适的挖掘粒度,刻画出正常模式。陇进的方法可对规模较大的数据集进行异常检测,在降低误报率的同时,大大提高检测率,并达到理想的时间效率;使系统定期分析用户日志,从中自动找到可疑的日志,及时预防或者处理非法操作的现象,提高检测系统的智能化、准确性和检测效率。     

核模糊谱聚类LOF降噪方法研究

为解决核模糊相似性度量谱聚类算法的样本点降噪问题,优化聚类效果和稳定性,本文从分析异常点分布特性出发,引入局部异常因子（LOF）算法,提出聚类中心候选对象的概念,过滤数据集的噪声数据,从而优化初始聚类中心的计算,突出正常样本点在聚类中心调整中的影响力,使聚类算法更易于得出准确的聚类结果. 同时提出一种局部过滤因子以修正相似性度量的方法,该方法通过放大正常数据之间的权值、缩小正常数据与噪声数据间的权值,使优化后的核模糊谱聚类算法大大降低对异常点的敏感度. 算法有效性实验和算法稳定性实验表明：该方法对相似性度量修正的有效性使核模糊谱聚类算法更为稳定和鲁棒.     

多源非平衡交通检测数据的异常识别方法

为保证交通检测数据的准确性并服务于实时的交通状态判别和预测,交通大数据采用多种检测源数据协同处理并利用机器学习的方法进行异常识别.异常检测数据的识别主要基于机器学习中AdaBoost方法实现.在算法的训练过程中,为消除单一检测源数据的离群现象,训练数据选取同一路段上多种检测源提供的数据集.在算法的决策过程中,通过代价敏感方法的优势来改进AdaBoost的决策.实验结果表明:基于非均衡特性改进的AdaBoost模型迫使分类器更加关注了待识别的异常样本,增强了AdaBoost决策过程中训练决策树规则的代表性,提高了异常类样本的分类准确率.高速公路实例检测数据集验证了改进算法与相关经典算法的检测准确度、误检率、误警率等指标,其中改进模型与原模型相比,准确率提高了5.547%,误检率减低了6.792%.多种算法的ROC曲线对比表明改进的AdaBoost方法筛选交通检测样本的可靠度更高,可有效调整由非平衡数据导致的分类误差.     

Kalman滤波几种异常检验法

为了检测动态导航观测异常和动力学模型异常,采用预测残差构造观测误差和动力学模型误差整体检验 法,对观测异常可分别采用以模型为准的观测异常检验、以当前历元可靠观测为基准的异常检验或以Kalman 滤波估值为基础的异常检验的方法;对于动力学模型异常检验,可以分别采用状态不符值检验法、以状态参数 Kalman滤波估值为基础的动力学模型异常检验或以可靠观测为基础的动力学模型误差整体检验的方法。分析 了以上几种检验方法的特点,并用实测数据进行了检验。结果表明:在观测异常或动力学模型异常处,异常检验 对导航数据精度有一定程度地提高。     

基于多粒度周期模式的时序离群点检测算法

目前研究时间序列离群点检测方法大都没有考虑到数据本身的周期性,有的只能处理名词性属性. 针对实值性属性的时序数据,提出了多粒度周期模式的发现算法,该算法基于不同的时间间隔粒度来探测不同的周期模式, 并利用得到的周期模式来发现那些偏离周期模式的离群点. 该方法可有效避免将正常数据误报为异常值. 通过实验验证了该算法既可正确找出数据在不同粒度下的周期模式,又可有效探测时序数据中的异常值,并与不用周期模式发现的离群点检测算法比较,减少了对特殊事件的离群点误报.     

基于属性约简和相对熵的离群点检测算法

本研究结合信息熵与粗糙集理论中的属性约简技术,提出了一种新颖的离群点检测算法。这种方法通过在更小的属性子空间去获得相同或相近的离群数据集,使对离群数据的分析更加集中于较小的目标域。该算法对原属性空间进行划分,通过分析计算将具有最大相对熵与负相对势的对象集合判定为离群点集合。为了验证算法的有效性,还在通用数据集上进行了测试,理论分析和实验结果表明该离群点检测算法是有效可行的。     

多变量时间序列滑动窗口异常点的检测

针对多变量时间序列(MTS)的异常点的探测问题,提出了采用由粗到细的二次探测方案.基于滑动窗口数据的置信区间,构造了变化趋势值特征和相对变化趋势值特征分别用于二次探测,同时研究了特征的快速提取算法.通过对OPEN3000数据监测系统采集的事故发生前后某市城南变电站各设备表的数据集进行异常点探测,结果表明提出的算法能够快速准确地探测出异常点的位置.     

一种基于包含关系的空间面对象条件离群检测算法

提出了一种基于包含关系的空间面对象条件离群检测算法DCOP-IR(detecting conditional outlier polygons based on inclusion relations),该算法针对空间面对象的包含关系和非空间属性,定义了一种相似度度量方法,利用基于密度的离群查找算法,先检测出整体的空间离群对象,然后在一定的条件属性下检测空间条件离群对象。实验结果表明,算法DCOP-IR能准确地检测出满足一定条件属性的空间离群对象,并具有较高的效率。     

基于支持向量数据描述的高效异常数据检测算法

为了解决大规模数据中的异常检测问题,提出了基于支持向量数据描述(SVDD)的高效离群数据检测算法。该算法的核心思想为:首先利用SVDD获得包含单类数据的最小球形边界,然后通过该边界对未知样本数据进行分类,并利用最小闭包球算法对SVDD分类器进行优化求解。在UCI机器学习数据集和入侵检测数据集上将该算法与其他离群数据检测算法进行了实验比较,结果表明,该算法不仅获得了更高的检测准确率,而且具有较低的运行时间。     

离散型卡尔曼滤波在汽车零部件检测中的应用

利用卡尔曼滤波算法对汽车零部件检测数据进行了处理和分析.研究结果表明,所建立的卡尔曼滤波算法是收敛的、合理的,能够去除噪声干扰,提高采集数据的精度.     

一种新的聚类算法:等密度线算法

提出了一种新的聚类算法:等密度线聚类算法。该算法从样本分布等密度线图的思想出发,从图中找出样本分布比较集中的区域,从而发现隐含在样本集中的类。等密度线聚类算法不需要输入任何参数,是一种无监督式聚类。它能够自动发现任意形状的类,并且能有效地排除噪声干扰。实验结果表明,等密度线聚类算法具有较快的聚类速度和较好的聚类效果。     

Adaptive SINS/GPS Outlier Detection and Accommodation Using Innovation Orthogonal

The outlier detection and accommodation of integration navigation of strapdown inertial navigation systems and global position system (SINS/GPS) were studied. Based on analyzing the innovation orthogonal property in Kalman filter, an outlier adaptive detection approach was first presented, which included the determination of evaluation function and threshold and the logic decision of outlier occurrence. To effectively attenuate the influence on estimation accuracy, a modified Kalman filter algorithm was proposed by accommodation of the dynamic data with outlier. Results of data processing from vehicle-test SINS/GPS integration navigation show the effectiveness of the proposed method.     

基于ICA的异常数据挖掘算法研究

在传统的独立成分分析方法中,没有考虑异常数据值对分离性能的影响。该文提出了一种基于影响函数的检测方法,通过该方法可以发现隐藏在观测数据中的异常成分。利用影响函数对数据进行投影分析,对混入脉冲噪声的观测信号进行盲源分离,从而实现对脉冲噪声的消除。实验仿真结果表明,该方法可以有效且可靠地检测出所观察信号中的异常数据。