基于属性重要度的决策树算法

传统的ID3决策树算法存在属性选择困难、分类效率不高、抗噪性能不强、难以适应大规模数据集等问题。针对该情况,提出一种基于属性重要度及变精度粗糙集的决策树算法,在去除噪声数据的同时保证了决策树的规模不会太庞大。利用多个UCI标准数据集对该算法进行了验证,实验结果表明该算法在所得决策树的规模和分类精度上均优于ID3算法。     

一种高效的分类规则挖掘算法

提出了一种高效的分类规则挖掘算法,它结合神经网络的容错性能和决策树的规则生成能力,采用神经网络从样本集中删除不相关的和弱相关的特征属性,同时删除训练样本集中的噪声数据。然后采用决策树从处理过的训练样本集中抽取规则,由于去除了噪声数据,因此使得所挖掘的规则精确度大大提高,同时减少了规则的数目。实验证明所提出的算法,具有很高的分类精度。     

点云模型的噪声分类去噪算法

针对三维点云模型数据在去噪平滑过程中存在的不同尺度噪声和算法计算耗时问题,提出了点云模型的噪声分类去噪算法。该算法根据噪声点分布特性,将其分为大尺度和小尺度噪声,先利用统计滤波结合半径滤波去除大尺度噪声;然后使用快速双边滤波对小尺度噪声进行平滑,实现点云模型的去噪和平滑。与传统的双边滤波相比,利用快速双边滤波对点云模型数据进行平滑,有效地提高了计算效率。实验结果表明,该算法对点云噪声进行快速平滑去除的同时又能有效地保持被扫描物体的几何特征。     

危化品仓储中激光测距的自适应分层聚类去噪算法研究

为实现危化品仓储安全预警,采用激光测距、编码器等进行库内五距的监测。针对测距数据的噪声问题,设计了一种分层去噪、反馈补偿的自适应调节阈值的聚类去噪算法。针对噪声特点及距离的不同,以被测实物为中心将其由远及近划分为3类,第一层、第二层使用峰值去噪,第三层使用夹角分段拟合,同时进行层间的反馈纠错实现闭环去噪。实验表明,与拟合去噪算法相比,所提方法的方差降低了0.83;与差值去噪算法相比,所提方法解决了小部分噪点集中出现而不能去除所带来的灾难性影响的问题,方差值降低了1.93。该算法可准确去除噪点并还原监测物体位置。     

应用于三维点云数据去噪的改进C均值算法

针对三维激光扫描仪采集到的点云数据中离群点不易区分和去噪难度大的问题,提出了一种改进的C均值算法。通过分析三维点云数据特征,在传统C均值算法中引入模糊聚类权重因子,降低类内距离和拉大类间距离,有效增强了离群点特征以降低识别难度。进而将识别出的噪声分类别处理,利用改进的C均值算法去除大尺度噪声,构造双边滤波算法去除小尺度噪声数据。与密度聚类算法、正交整体最小二乘平面拟合和基于特征选择的双边滤波点云去噪等算法相比,去噪准确度分别提升了7.3%、6.5%和6.0%,实验结果表明该算法可以有效去除大尺度噪声并能较好地保留有效数据。     

异型纤维图像去噪分析

为了去除异型纤维图像中的噪声,首先分析了异型纤维图像中的噪声模型,然后针对噪声模型提出了一种能同时去除异型纤维图像中高斯和脉冲混合噪声的去噪算法.该算法在全变差(Total Variation,TV)算法的基础上进行了算法改进,综合了中值滤波的优点,在达到去噪目的的同时,较好地处理了去除噪声、保留边缘细节信息这对在图像去噪中存在的矛盾.同时,对参数的选取也做了分析,较好地平衡了去噪效果和处理效率问题.数值对比实验中的视觉效果和客观标准均表明了该去噪算法的有效性。     

阈值优化的遥感影像小波去噪

针对传统的小波阈值在去除遥感影像噪声时存在噪声残留和噪声误判的问题,提出了针对遥感影像的小波阈值函数优化算法。该算法利用小波边缘检测算法确定遥感影像边缘特征的小波系数,然后根据噪声的方差设置优化的阈值函数去噪,即在以往的统一阈值基础上加以修改,使阈值能随着分解尺度的变化而改变,对传统的软阈值和硬阈值的优点予以保留,改进它们的缺点,生成一种新的阈值函数,使它在处理小波系数时更加灵活。经过优化的小波阈值去噪后得到平滑遥感影像,之后把小波边缘检测遥感影像镶嵌入平滑遥感影像中。实验表明,与传统的小波阈值去噪方法相比,该算法解决了传统阈值函数在去噪过程中出现的问题,进行有效去噪的同时保留遥感影像的细节,使影像更加清晰,提高了信噪比。     

基于多级去噪模型的路面裂缝检测方法

为了去除路面裂缝检测中的各种噪声,在分析对比了目前常用去噪模型优缺点的基础上,根据路面图像中的噪声及裂缝信息的特点,结合已有去噪算法的优点,提出了一种新的基于路面裂缝检测的多级去噪模型。整个去噪模型包括灰度去噪模型、空间滤波去噪模型、裂缝特征去噪模型与几何特征去噪模型。实验结果表明,该模型在路面图像的去噪、裂缝信息提取等方面有较大改进。     

基于小波变换的自适应模糊阈值去噪算法

文章提出了一种适合于消除混合噪声的去噪算法——自适应模糊阈值去噪算法。该算法根据信号和噪声的小波系数在不同分解尺度上的传递性,结合中值滤波和模糊理论,自适应地进行软阈值滤波,然后进行小波重构,得到去噪图像。实验表明,与软阈值去噪和改进软阈值去噪算法相比,该算法具有良好而稳健的去噪效果,能够更有效地去除噪声和保持图像边缘细节。     

基于噪声检测的总变分去噪算法

对受高斯和脉冲混合噪声污染的数字图像去噪方法进行了研究,提出了一种基于噪声检测的自适应总变分(TV)去噪算法。提出的改进算法采用两步迭代框架实现:脉冲噪点检测和全变分图像恢复。第一步中,考虑到脉冲噪声污染的像素点不包含原图像有效信息,采用一种局部统计值,即邻域像素间的随机绝对差排序值(ROAD)估计出噪点的位置;第二步中,采用L2-TV方法进行去噪处理,并对上述过程进行迭代处理,得到去噪图像。在噪点估计过程中引入脉冲噪点水平参数,这样处理的优势在于可更准确地检测出脉冲噪点;而L2-TV去噪方法可很好地去除高斯噪声,两者结合有效地解决了TV算法存在误判图像脉冲噪声为边缘而产生假边缘的问题。与现有典型去噪方法的比较实验表明,该迭代去噪算法,即TV-ROAD算法,既能够去除混合噪声,又可以保留图像细节特征。     

基于标签传递的异常检测算法研究

异常检测旨在检测出观测数据中的非正常值,被广泛应用于反信用卡欺诈、网络入侵检测、医疗分析以及气象预报等领域。在异常检测中,正常数据通常具有异常数据所不具备的某种内蕴结构。因此,如何有效地利用正常数据与异常数据在数据结构上的差异性将有助于提高异常检测性能。为此,本文提出了一种新颖的基于标签传递的异常检测算法。该算法通过图模型刻画正常数据所具有的内蕴结构,并通过多重标签传递来构建未标记正例样本与待测试样本的标签置信度的差异。最后,基于正例样本的标签置信度的统计特性分析,实现对测试样本的异常性判决。在人工合成及真实数据集上的实验验证了本文算法的有效性。     

数据挖掘中孤立点的分析研究在实践中应用

介绍了孤立点的定义和三种挖掘算法,即基于统计的方法、基于距离的方法和基于偏离的方法，在这个基础上,尝试了利用孤立点检测方法对教务管理系统中积累的数据进行分析,并验证了基于距离和的孤立点检测算法的有效性，通过实验,结果分析表明：基于距离和的算法降低了检测过程对用户设置阈值的要求,在时间复杂度上,稍微优于循环嵌套算法。     

基于距离的孤立点检测研究

孤立点检测是一个重要的知识发现任务,在分析基于距离的孤立点及其检测算法的基础上,文章提出了一个判定孤立点的新定义,并设计了基于抽样的近似检测算法,用实际数据进行了实验。实验结果表明,新的定义不仅与DB(p,d)孤立点定义有着相同的结果,而且简化了孤立点检测对用户的要求,同时给出了数据对象在数据集中的孤立程度。     

基于信息熵加权的局部离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,可以从大量数据中发现少量与多数数据有明显区别的数据对象。在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术。为了提高离群点检测准确度,文中在局部离群测度（SLOM）算法的基础上,作了一些改进,提出了一种基于密度的局部离群点检测算法ESLOM。引入信息熵确定数据对象的离群属性,并对对象距离采用加权距离,以提高离群点检测准确度。理论分析和实验表明该算法是可行有效的。     

一种基于关键域子空间的离群数据聚类算法

离群数据发现与分析是数据挖掘的重要组成部分,现有离群数据挖掘算法主要针对如何检测离群对象,缺乏对挖掘出的离群数据集进行解释与分析的有效方法.通过对离群数据来源及特性进行分析并结合粗糙集理论,定义了离群划分相似度的概念,提出了一种基于关键属性域子空间的离群数据聚类算法COKAS,该算法不仅揭示了离群数据子空间特性,进一步获取了扩展知识,而且有助于对整体数据集的理解.对两个多维数据集的实验结果表明,该算法具有良好的适应性及有效性.     

基于层次聚类识别数据集前n个全局孤立点

孤立数据的存在使数据挖掘结果不准确,甚至错误。现有的孤立点检测算法在通用性、有效性、用户友好性及处理高维大数据集的性能还不完善,为此,提出一种有效的全局孤立点检测方法,该方法进行凝聚层次聚类,根据聚类树和距离矩阵来可视化判断数据孤立程度,确定孤立点数目。从聚类树自顶向下,无监督地去除离群数据点。在多个数据集上的仿真实验结果表明,该方法能有效识别孤立程度最大的前n个全局孤立点,适用于不同形状的数据集,算法效率高,用户友好,且适用于大型高维数据集的孤立点检测。     

Trajectory outlier detection approach based on common slices sub-sequence

Trajectory outlier detection is one of the most popular trajectory data mining topics. It helps researchers obtain a lot of valuable information that can be used as important guidance in monitoring and forecasting. Existing methods have difficulty in detecting the outlying trajectories with continuous multi-segment exception. To address the problem, in this paper, we propose a novel trajectory outlier detection algorithm based on common slices sub-sequence (TODCSS). For each trajectory, the direction-code sequence is firstly calculated based on the direction of each trajectory segment. Secondly, the corresponding sequence consisting of trajectory slices is obtained by inflection point segmentation. And then, the common slices sub-sequences between two trajectories are found to measure their distance. Finally, the slice outliers and trajectory outliers are detected based on the new CSS distance calculation. Both the intuitive visualization presentation and the experimental results on real Atlantic hurricane dataset, real-life mobility trajectory dataset of taxis in San Francisco and synthetic labeled dataset show that the proposed TODCSS algorithm effectively detects slice and trajectory outliers, and improves accuracy and stability in trajectory outlier detection.     

空间离群点的检测算法

空间离群点是指与其邻居具有明显区别的属性值的空间对象。已有的空间离散点检测算法一个主要的缺陷就是这些方法导致一些真正的离群点被忽略而把一些非离群点当成了空间离群点。提出了一种迭代算法,该算法通过多次迭代检测离群点,取得较好效果。实验表明该算法具有较好的实用性。     

基于相似度计算的本体映射优化方法

在基于相似度计算的本体映射中,相似度计算量大的主要原因是待映射概念和待计算属性过多。该文采用过滤策略,利用候选映射策略和信息增益策略减少待映射概念和待计算属性数量。该过滤策略充分利用本体特点和数据挖掘思想,有效滤除没有计算意义的概念和属性,减少了相似度计算量。实验结果证明,滤除的概念和属性对映射效果的影响很小。     

基于灰色关联分析的孤立点挖掘算法

孤立点挖掘是数据挖掘的重要研究方向之一,其目标是发现数据集中不具备数据一般特性的数据对象。传统孤立点挖掘算法通常基于项集属性,不适用于多目标决策和综合评价。该文提出一种基于灰色关联分析的孤立点检测算法OMGRA,通过总评价判断数挖掘孤立点集,避免人工确定阈值。实例分析表明,该算法能有效检测数据集中的孤立点,挖掘出的孤立点符合实际情况。