基于密度划分的离群点检测算法

目前,大部分离群点检测算法需要人工输入参数,不能同时检测出全局和局部离群点,不能有效处理密度不均匀数据。针对这些问题,提出一种基于密度划分的离群点检测算法DD-DBSCAN。主要创新包括:1)运用最小生成树的方法,新定义簇密度概念,将数据录入后划分成密度不等的簇,使算法能够处理密度分布不均匀的数据;2)采用"分而治之"的思想,对经过划分的数据集分别进行离群点检测,使得算法能够同时处理全局和局部离群点;3)通过在各个簇中自适应地计算所需参数值,算法不再需要人工输入参数(聚类半径(Eps)等)。通过在2D模拟数据集和Iris真实数据集上的实验表明,与DBSCAN算法比较,本文算法具有更高的覆盖率和正确率。     

基于近邻传播的离群点检测算法

离群点是与其他正常点属性不同的一类对象,其检测技术在各行业上均有维护数据纯度、保障业内安全等重要应用,现有算法大多是基于距离、密度等传统方法判断检测离群点.本算法给每个对象分配一个"孤立度",即该点相对其邻点的孤立程度,通过排序进行判定,比传统算法效率更高.在AP(affinity propagation)聚类算法的基础上进行改进与优化,提出能检测异常数据点的算法APO(outlier detection algorithm based on affinity propagation).通过加入孤立度模块并计算处理样本点的孤立信息,并引入放大因子,使其与正常点之间的差异更明显,通过增大算法对离群点的敏感性,提高算法的准确性.分别在模拟数据集和真实数据集上进行对比实验,结果表明:该算法与AP算法相比,对离群点的敏感性更加强烈,且本算法检测离群点的同时也能聚类,是其他检测算法所不具备的.     

基于密度的局部离群点检测算法

基于统计学和基于距离的离群点检测都依赖与给定数据点集的全局分布,然而数据通常并非都是均匀分布的。当分析分布密度相差很大的数据时,基于密度的局部离群点检测方法有着很好的识别局部离群点的能力。但存在时间复杂度较大,文章提出了一种改进的算法,能降低时间复杂度,实现有效的局部离群点的检测。     

NLOF:一种新的基于密度的局部离群点检测算法

基于密度的局部离群点检测算法(LOF)的时间复杂度较高且不适用于大规模数据集和高维数据集的离群点检测。通过对LOF算法的分析,提出了一种新的局部离群点检测算法NLOF,该算法的主要思想如下:在数据对象邻域查询过程中,尽可能地利用已知信息优化邻近对象的邻域查询操作,有关邻域的计算查找都采用这种思想。首先通过聚类算法DBSCAN对数据集进行预处理,得到初步的异常数据集。然后利用LOF算法中计算局部异常因子的方法计算初步异常数据集中对象的局部异常程度。在计算数据对象的局部异常因子的过程中,引入去一划分信息熵增量,用去一划分信息熵差确定属性的权重,対属性的权值做具体的量化,在计算各对象之间的距离时采用加权距离。 在真实数据集上 对NLOF算法进行了充分的验证。结果显示,该算法能够提高离群点检测的精度,降低时间复杂度,实现有效的局部离群点的检测。     

基于共享反K近邻的局部离群点检测算法

离群点检测和分析离群模式隐含的特征是离群点挖掘的重要研究内容.现有离群点检测算法存在两个明显的不足:根据离群度检测离群点,难以确定离群点的数量;忽略了与离群点邻接的聚类信息,不能提供解析离群模式的有效证据.为此,提出一种基于共享反K近邻的离群点检测算法,首先定义了一种对密度和维数变化不敏感的共享反K近邻相似度,然后应用聚类方法将数据集划分为聚类簇和包含离群点的离群簇,从而获取数据集中的离群点及解析离群点的聚类结构.仿真结果表明,反K近邻算法比现有方法更能精确地检测数据集中的局部离群点,具有很好的控制性能.     

基于遗传聚类算法的离群点检测

离群点检测是数据挖掘一个重要内容,它为分析各种海量的、复杂的、含有噪声的数据提供了新的方法。对离群数据挖掘几类主要的方法进行了分析和评价,并在此基础上了提出了一种基于遗传聚类的离群点检测算法。该算法结合了遗传算法全局搜索的优点和K-均值方法局部收敛速度快的特点,取得较好效果。实验验证该算法很好地检测到数据集中的离群点,同时还完成了数据集的聚类。具有较好的实用性。     

基于K-means的数据流离群点检测算法

针对数据流中离群点挖掘问题,在K-means聚类算法基础上,提出了基于距离的准则进行数据间离群点判断的离群点检测DOKM算法。根据数据流概念漂移检测结果来自适应地调整滑动窗口大小,从而实现对数据流的离群点检测,与其他离群点算法的一系列实验验证和对比结果表明,DOKM算法在人工数据集和真实数据集中均可以实现对离群点的有效检测。     

基于图像点云的道路缺陷检测

本文针对无人机图像点云道路缺陷检测问题, 提出了一种基于点云切片平面拟合与聚类的道路缺陷检测方法. 首先, 采集无人机图像进行三维重建生成图像点云, 对点云进行坡度滤波与统计离群点滤波, 消除噪声和异常点的干扰. 然后, 对点云进行切片并利用随机采样一致性平面拟合算法估计道路的平面模型. 随后, 运用点云DBSCAN聚类算法分类出边缘噪声与道路损伤点云. 最后, 采用点云切片法估计损伤程度. 在实验中, 我们使用真实无人机采集的点云数据, 并与基于点云垂直度特征检测方法进行了对比. 实验结果表明, 本文方法表现出较高的准确性和鲁棒性, 体积估计的误差为1307 cm³. 相较于传统方法, 本文方法能够更精确地检测出道路损伤, 并能适应复杂的道路形状变化.     

散乱点云离群点的分类识别算法

散乱点云离群点识别和滤除是重建高质量曲面的前提,也是散乱点云预处理的重要步骤.提出一种散乱点云区域增长策略和一个基于曲面变化度的局部离群指标SVLOF,并将其应用到离群点识别中.通过分析离群点产生的原因,根据离群点到点云主体的距离将离群点分为远离群点和近离群点2类;对远离群点采用基于三维区域增长的方法进行识别,而对于近离群点采用SVLOF系数进行识别.基于仿真数据和实测数据的实验均表明,采用文中算法能够快速、有效地检测出孤立离群点和小型聚类离群点.     

融合Shadowed Sets聚类的离群点检测算法

从数据整体和宏观特点给出了离群点的新的定义,并基于数据宏观模式定义了一种新的离群因子,该因子考虑了数据点偏离数据模式的程度和数据点本身归类的不确定性;提出了一种新的Shadowed Sets优化目标,使得在模糊集阴影化过程中更加关注核的准确性;同时基于Shadowed Sets聚类,提出了一种结合聚类的离群点检测算法,该算法可以同时进行聚类和离群点检测;通过模拟数据和Iris数据测试,显示算法具有较好的检测效果。     

基于点云增强的网格化优化算法

针对三维点云在采用传统泊松算法进行网格化重建时,重建时间较长并且最终重建出的模型存在孔洞和局部细节缺失等问题,提出一种基于点云增强的网格化优化算法.该算法首先通过统计滤波对初始点云进行降噪处理,为了在保证细节特征的基础上提高重建效率,在通过体素滤波进行适当点云降采样的同时利用双三次样条插值进行点云孔洞修复,然后将移动最...     

基于相似孤立系数的孤立点检测算法

基于聚类的孤立点检测算法得到的结果比较粗糙,不够准确。针对该问题,提出一种基于相似孤立系数的孤立点检测算法。定义相似距离以及相似孤立点系数,给出基于相似距离的剪枝策略,根据该策略缩小可疑孤立点候选集,并降低孤立点检测算法的计算复杂度。通过选用公共数据集Iris、Labor和Segment—test进行实验验证,结果表明,该算法在发现孤立点、缩小候选集等方面相比经典孤立点检测算法更有效。     

点云场景下基于结构感知的车辆检测

在自动驾驶领域,计算机对周围环境的感知和理解是必不可少的.其中,相比于二维目标检测,三维点云目标检测可以提供二维目标检测所不具有的物体的三维方位信息,这对于安全自动驾驶是至关重要的.针对三维目标检测中原始输入点云到检测结果之间跨度大的问题,首先,提出了基于结构感知的候选区域生成模块,其中定义了每个点的结构特征,充分利用...     

点云重建的并行算法

在三维重建问题中,为了提高重建模型的精确度和完整性,需要增大三维重建的数据量,由此会增加重建的计算量和运行时间。针对该问题,对点云重建过程进行并行设计,降低耗时、提高三维重建的效率,提出在多核CPU、GPU架构和CPU/GPU异构环境下点云重建的并行算法,并在不同实验平台上对Kermit和hallFeng数据集进行了点云重建的并行实验。实验结果表明,相比于串行的点云重建算法,点云重建并行算法在保证重建精度的条件下,取得了较好的加速比,并且并行算法具有实验平台和数据规模的可扩展性。     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

针对密集点云的快速曲面重建算法

为了能够快速地从高密度散乱点云生成三角形网格曲面,提出一种针对散乱点云的曲面重建算法.首先通过逐层外扩建立原始点云的近似网格曲面,然后对近似网格曲面进行二次剖分生成最终的精确曲面;为了能够处理噪声点云,在剖分过程中所有网格曲面顶点都通过层次B样条进行了优化.相比于其他曲面重建方法,该算法剖分速度快,且能够保证点云到所生成的三角网格曲面的距离小于预先设定容限.实验结果表明,文中算法能够有效地实现高密度散乱点云的三角剖分,且其剖分速度较已有算法有大幅提高.     

一种有序点云快速去飞点算法

在结构光高精度测量与生产线自动化结合的过程中往往要求实时性。为了有效提取测量物体的点云信息以及提高运算效率,利用面阵相机与投影仪像素点有序的特性,提出一种针对有序点云的快速去飞点算法。首先,根据点云数据估计投影矩阵,通过估计的投影矩阵把点云投影到一个像平面,然后基于滑动窗口把像平面上的每一个点最近邻搜索k个临近点,最后根据概率阈值并行地统计分析某点的k邻近点,符合条件的作为飞点去除。该算法易于工程实现,简单有效。实验结果表明,该算法具有良好的点云滤波效果和计算效率。在一定条件下可以达到工业化测量的精度和速度要求。