基于幂图的离群子空间搜索算法*

通过分析子空间搜索算法的研究现状以及存在的问题,提出基于幂图的离群子空间搜索算法。该方法主要讨论离群点产生的原因,能够找出单个对象的离群子空间,并根据离群子空间对离群点进行分类。在对幂图扩展的基础上进行剪枝,减少了存储量和计算量,算法性能得到很大的提高。采用实例说明了该算法,并通过实验证明了该算法的可行性和高效性。     

基于局部信息熵的加权子空间离群点检测算法

离群点检测作为数据挖掘的一个重要研究方向,可以从大量数据中发现少量与多数数据有明显区别的数据对象,"维度灾殃"现象的存在使得很多已有的离群点检测算法对高维数据不再有效,针对这一问题,提出基于局部信息熵的加权子空间离群点检测算法SPOD,通过对数据对象在各维进行邻域信息熵分析,生成数据对象相应的离群子空间和属性权向量,对离群子空间中的属性赋以较高的权值,进一步提出子空间加权距离等概念,采用基于密度离群点检测的思想,分析计算数据对象的子空间离群影响因子,判断是否为离群点,算法能够有效地适应于高维数据离群点检测,理论分析和实验结果表明算法是有效可行的.     

PODKNN:面向大数据集的并行离群点检测算法

针对现有离群点检测算法在运用于大规模数据集时时间效率较低的问题,提出一种基于K近邻的并行离群点检测算法PODKNN (Parallel Outlier Detection Based on K-nearest Neighborhood)。该算法利用划分策略对数据集进行预处理,在规模较小的子集中寻找K近邻并计算离群度,最后合并结果并遴选出离群点,设计算法过程使其符合MapReduce的编程模型,实现并行化,从而提高了离群点检测算法处理大规模数据的计算效率。实验结果表明,PODKNN具有较高的加速比及较好的扩展性。     

基于动态网格的数据流离群点快速检测算法

离群点检测问题作为数据挖掘的一个重要任务,在众多领域中得到了应用.近年来,基于数据流数据的挖掘算法研究受到越来越多的重视.为了解决数据流数据中的离群点检测问题,提出了一种基于数据空间动态网格划分的快速数据流离群点检测算法.算法利用动态网格对空间中的稠密和稀疏区域进行划分,过滤处于稠密区域的大量主体数据,有效地减少了算法所需考察的数据对象的规模.而对于稀疏区域中的候选离群点,采用近似方法计算其离群度,具有高离群度的数据作为离群点输出.在保证一定精确度的条件下,算法的运行效率可以得到大幅度提高.对模拟数据集和真实数据集的实验检测均验证了该算法具有良好的适用性和有效性.     

面向异质图的在线图划分算法

图划分算法是分布式图计算系统里的重要组成部分, 它将一个图划分为若干子图以便在分布式系统中运行, 并将子图上的点和边数据及子图上的计算任务分配到各分区. 异质图是现实世界中广泛存在的一种图, 它是指具有多种节点类型或边类型的图, 在针对异质图的计算过程中, 现有的图划分算法对于异质图的处理没有考虑到以下问题: 在图计算过程中, 不同类型的节点和边携带的数据量可能不同; 不同的节点和边类型, 可能会采用不同的处理算法, 其计算时间也会不同. 针对现有图划分方法的不足, 本文提出一种面向异质图的在线图划分算法OGP-HG算法, 并对现有的GraphX图计算引擎进行改进, 将OGP-HG算法在改进后的图计算引擎中实现. 本文提出的OGP-HG算法通过计算节点划分到不同分区上的负载均衡得分和边划分到不同分区上的数据均衡得分, 得到使异质图负载和内存占用均衡的划分结果. 实验表明, 与传统图划分算法相比, 该算法提高异质图计算效率1.05–1.4倍.     

一种基于点割的电路划分算法

文中提出了一种基于IG图(Intersection Graph)点割的电路划分算法,引入IG图模型,根据电路中信号网络间的交互关系构建IG图,直接对电路信号网络IG图进行最小点割划分,从而实现对电路单元(模块)的划分.该算法既有效地解决了电路超图与图之间转换的一致性问题,又实现了点割目标值与直接电路划分目标值的一致性,IG图点割集的大小即为真实电路划分的目标值.此外,通过给每个电路网络赋权重的方式构建带权重网络交互图,实现对电路网络划分的面积平衡进行近似控制,满足电路划分对面积平衡的特殊要求.采用MCNC提供的标准电路测试数据进行测试,实验结果表明,基于IG图点割的电路划分算法较基于网络超图HDN划分的K-DualFM算法平均有3%~7.8%的提高;同时,基于IG图点割的随机优化算法ROP比基于超图划分的FM优化算法具有更强的全局优化能力,划分结果提高18%,比基于二部图匹配的点割优化算法提高36%,对较大规模数据划分优化效果更好.     

基于聚类划分的两阶段离群点检测算法

针对基于距离的离群点检测算法受全局阈值的限制, 只能检测全局离群点, 提出了基于聚类划分的两阶段离群点检测算法挖掘局部离群点。首先基于凝聚层次聚类迭代出K-means所需的k值, 然后再利用K-means的方法将数据集划分成若干个微聚类; 其次为了提高挖掘效率, 提出基于信息熵的聚类过滤机制, 判定微聚类中是否包含离群点; 最后从包含离群点的微聚类中利用基于距离的方法挖掘出相应的局部离群点。实验结果表明, 该算法效率高、检测精度高、时间复杂度低。     

基于邻接图的离群数据聚类算法

离群数据是数据中的小模式,因其固有的少数据与稀疏性等特征,使得基于距离或基于统计等常规聚类方式不适用于对离群数据的分类。该文根据离群对象关键域子空间的重合度,定义了离群共享属性集与离群相似度等概念,提出-离群簇分析技术。通过构建离群邻接图并将其稀疏化,将-离群簇搜索与相应的离群邻接图的最大完全子图搜索一一对应,给出一种基于邻接图的离群数据聚类算法。算例及实验结果表明,该方法具有较高的效率及良好的直观性。     

基于自然邻居邻域图的无参数离群检测算法

数据挖掘领域,基于最近邻居思想的离群检测算法在面对复杂数据时,很难在没有足够先验知识条件下进行适当的参数选择。为了解决这个问题,本文在自然邻居方法的基础上,提出一种利用加权自然邻居邻域图进行离群检测的算法。该算法在整个过程不需要人为设置参数,并且能在不同分布特征的数据中准确找到数据集中的全局离群点和局部离群点。人工数据集和真实数据的离群检测结果均证明,本算法能够取得和有参数的算法中最优参数相近的效果,算法检测结果远好于对参数敏感算法的大部分情况,且更优于对参数不敏感的算法,具有更强的普适性和实用性。     

离群点检测技术综述

为了深入了解离群点检测技术发展状况,对近年离群点检测技术进行综述,首先介绍与总结了离群点的定义、引起离群的原因和离群点挖掘算法的分类;其次,对基于邻近性的离群点检测算法、分布式架构下的离群点检测算法以及基于深度学习的离群点检测算法进行综述与总结,尤其对该领域目前最有代表性的方法进行了探讨,指出了其优缺点;最后展望了离群点检测技术未来的研究方向。     

一种基于概率的孤立点检测方法

现有孤立点检测方法大多数都需要预先设定孤立点个数,若设定不准确将降低孤立点检测的准确性。针对该问题,提出一种基于概率的孤立点检测方法。结合基于密度的DBSCAN算法与中位数求方差的方法,对待检测数据集进行聚类,提取出不包含在任何聚类中的可疑孤立点并进行分析,从而确定最终孤立点。该方法所检测的数据与时间因素线性无关,不必预先设定孤立点个数及聚类数,并且对噪声数据具有较强的抗干扰能力。IRIS测试数据集上的实验结果表明,该方法能够有效地识别孤立点。     

一种基于多重聚类的离群点检测算法

在LDOF算法的基础上,提出一种基于多重聚类的离群点检测算法PMLDOF。该算法针对局部离群度量计算量大的缺点,采用聚类剪枝技术作为减少计算量的方法;同时,为了避免将位于簇边缘的离群点错剪,算法利用多重聚类的差异性对簇的边缘点进行筛选。在对数据集进行剪枝后,计算剩余数据的局部离群度LDOF,并找出符合条件的离群数据点。实验结果表明,算法在时间复杂度和检测精度上具有更好的优越性。     

改进视觉背景提取ViBe算法的目标检测

针对视觉背景提取ViBe算法消除鬼影时间长、对动态场景适应性弱、对光线变化敏感等问题,提出一种适应性强的改进算法。在背景模型初始化时,通过对多帧图像随机选取像素点并累加判断后,形成与实际吻合度达86.78%的背景模型;提出衡量背景动态程度因子,根据其值获取图像的自适应聚类、更新阈值,提高了算法在动态背景下的检测精度;考虑到光线变化对检测结果的影响,提出衡量图像亮度因子并应用于聚类检测,增强了算法对光照的鲁棒性。与其他算法进行对比实验后表明,改进算法在不同场景中能有效检测目标物体,具有较好的适应性。     

基于Voronoi和空间自相关的离群点检测

为了提高空间数据挖掘的效率和准确度,在分析传统的离群点检测算法优、缺点的基础上,提出一种空间离群点检测算法。用Voronoi来确定空间对象间的邻近关系,在空间邻域内利用空间自相关性来计算局部Moran指数,并将其作为离群因子进而判断离群点。实验结果表明,该算法能够高效、准确地检测出空间离群点,具有对用户依赖性少和可伸缩性强等优点。     

基于DSP的单车道车流量实时监测算法

针对传统的车流量检测系统采用感应器设备硬件安装繁杂及通用车流量检测算法无法判别车辆行驶方向的问题,提出一种基于数字信号处理器（DSP）的单车道车流量实时监测算法,并应用于停车场。首先,在虚拟检测带上使用背景差分法完成车辆检测,并对均值法背景建模进行改进;其次,提出一种邻帧二值归类算法对车辆行驶方向进行判别;最后,在虚拟检测带上进行车流量计数并将车位情况实时显示于LED显示屏上。通过模拟实验验证了所提算法的可行性,并在实际测试实验中,得到邻帧二值归类算法方向判别的准确率为96.5%,车位监控算法准确率为92.2%。实验结果表明,该单车道车流量实时监测算法准确率较高,节省了检测系统设备,可以应用于单车道停车场进行车流量实时监测。     

基于高斯背景模型的车辆检测改进算法

针对车辆检测中实时性、准确性以及自适应性很难兼顾的问题,提出了一种快速有效的车辆检测算法。该算法采用阈值判定背景区域和更新区域,根据背景变化的程度,利用动态权值更新学习率,使用基于单高斯背景模型方法,结合逻辑"或"运算检测出车辆。实验结果表明,该算法能够快速准确地检测出车辆,并且在背景更新过程中实现了自适应,并具有一定的鲁棒性。     

基于深度学习的多波束海底地质数据异常值检测方法

随着陆地资源不断开发,可用资源减少,人类将资源的开发转移到海洋领域,此时能够收集大量海底数据的多波束测深系统起着重要作用。但未经检测和过滤的、包含异常数据的多波束测深系统会给海洋开发带来危害,因此需要对异常数据进行检测。常用的检测异常值的算法有截断最小二乘估计异常值检测算法、基于改进GA异常值检测算法等,但这些算法的检测精度均较低。随着深度学习不断发展,许多异常值检测的算法均基于深度学习进行改进。提出一种新的异常检测方法——深度支持向量检测算法,与之前方法相比在检测出更多异常值的同时,能减少误判和漏判的情况且提高了检测精度。     

基于背景分类的运动目标检测算法

针对光线暗、对比度和分辨率低的监控视频,提出了一种基于背景分类的运动目标检测算法。 首先用视频第一帧图像HSV空间的色度H和亮度V作为背景特征进行初始化,建立两种包含色度和亮度特征的背景模型类,即初始化得到的原始背景类和受光照或者其他因素影响得到的在原始背景周围波动的背景波动类,利用这两个背景模型进行前景检测和背景更新。为提高前景检测的准确率,背景模型的更正加入背景更正机制和权重机制,使得背景中样本的数量根据背景的实际情况处在一种动态的变化中,提高前景分割的效率。用不同场景下的监控视频进行算法对比实验,结果证明,该算法获得的前景完整清晰,视频处理的速度较快。提出的算法简单实用,对噪声干扰表现出良好的鲁棒性。     

复杂背景下改进视觉背景提取的前景检测算法

针对视觉背景提取模型存在的鬼影抑制效果差、动态背景适应能力不足等问题,本文提出了一种改进的视觉背景提取模型算法。在模型构建阶段,该算法充分融合时空域信息初始化背景模型,避免了样本的重复选取,提高了鬼影抑制能力;在像素分类阶段,根据背景动态程度,引入自适应距离阈值代替全局固定阈值,增强了模型对动态背景的适应性;在背景更新阶段,对连续多帧判定为前景的像素点进行阈值判断,并及时更新到背景模型,消除了运动背景与静止前景造成的虚影现象。多个公开视频数据的测试结果表明,本文算法相比典型算法在复杂背景下检测的准确性和鲁棒性都有了很大提高。     

基于背景差分和三帧差分的运动目标检测

为了提高运动目标检测算法的准确性和对背景变化的适应性,本文采用了三帧差分与基于单高斯模型背景差分法相结合的算法,并通过最大类间方差法提取自适应阈值。引入一个新的背景更新机制,当运动物体融入背景或者背景中物体移除时,将背景更新为当前视频帧。实验结果表明,本文算法在对运动目标进行检测时,不易受背景光线变化及运动物体融入背景等因素的影响,适用于无人监控环境。