基于轨迹点局部异常度的异常点检测算法

随着大量的定位数据被收集在应用服务器,如何从大量定位轨迹数据挖掘异常信息已逐渐成为一个令人关注的研究课题.针对当前流行的、以轨迹片段表示局部特征的异常点检测算法存在的问题,文中提出了以轨迹点表示局部特征的异常点检测算法TraLOD.该算法不仅提出了将每个轨迹点赋予一个0～1的值来表示其局部异常程度,而且还引入了相对距离...     

基于自适应阈值的网络流量异常检测算法

网络流量异常检测大多采用固定阈值进行异常判断,无法精确刻画网络异常行为,从而影响检测精度。针对上述问题提出一种自适应阈值异常检测算法,通过刷新机制叠加前一时刻的行为,得出动态的阈值作为判断当前时刻检测点是否异常的准则,通过标准差设定置信区间,以更准确地描述网络状况。仿真实验及比较结果表明该算法能有效提高异常检测精度。     

一种基于属性的异常点检测算法

异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。     

基于演化计算的异常轨迹并行检测算法

异常轨迹检测是轨迹数据挖掘研究领域的一个重要研究内容,基于演化计算的异常轨迹检测算法(Top-k evolving trajectory outlier detection, TOP-EYE)是一种有效的异常轨迹检测算法。不同于其他算法采用的轨迹距离计算方法,TOP-EYE算法 从轨迹的方向和密度角度出发,采用演化计算的方式检测异常。为了提高TOP-EYE算法对海量轨迹数据集异常检测的效率,本文在其基础上提出了基于MapReduce的异常轨迹检测并行算法(Parallel detecting abnormal trajectory based on TOP-EYE, PDAT-TOP ),利用MapReduce并行计算的优势提高了异常轨迹检测的效率。将算法PDA T-TOP在Hadoop平台上加以实现,实验结果表明,算法PDAT-TOP能够有效地检测异常轨迹,并且具有较高的可扩展性和加速比。     

基于角点检测和自适应阈值的新闻字幕检测

目前用于提取新闻视频帧中字幕的方法准确率和检测速度普遍较低,尤其对于分辨率和对比度较小的标题文字,检测效果很差。针对上述问题,提出一种基于角点检测和自适应阈值的字幕检测方法。该方法利用角点检测确定标题帧中的文字区域并进行灰度变换,利用自适应阈值的方法对其进行二值化,得到OCR可识别的文字图片。实验表明,该方法可以快速有效地提取出分辨率和对比度较小的新闻视频标题字幕。     

基于FPGA的自适应阈值Harris角点检测硬件实现

基于FPGA实现了一种自适应阈值Harris角点检测,用于解决低成本ARM处理器无法实时检测到目标角点的问题。该算法首先对整帧像素点进行预筛选,将筛选通过的点进行Harris角点检测,通过设置容忍距离剔除伪角点,得到最终角点并通过LCD屏实时显示。采用自适应阈值方法来解决单一阈值不适应于多样化环境的问题,使每帧(分辨率为480×272)都能检测到大约120个角点,在低成本FPGA芯片Spartan6 XC6SLX45上验证实现。实验结果表明,该实现方法处理速度为115 f/s,能高效准确地检测到目标角点,满足精度、稳定性和实时性要求。     

基于细节增强的自适应Harris角点检测算法

针对传统Harris角点检测法计算速度较慢、聚簇现象较严重和在纹理信息少的区域提取角点数较少等不足,提出一种自适应Harris角点检测法,该算法利用巴特沃斯滤波器增强小波细节系数,通过计算角点响应函数的二阶值设定自适应阈值,从而提高Harris角点检测的精度和效率.实验表明,与传统的Harris角点检测法比较,该方法检测速度较快、角点的分布较均匀,且伪角点较少.     

图像边缘轮廓自适应阈值的角点检测算法

目的 基于边缘轮廓的角点检测算法的检测性能虽然相对比较稳定,但是它对边缘轮廓的局部变化敏感,并且只是给予一个经验门限去提取角点,为此提出一种对局部变化和噪声稳健的基于图像边缘轮廓自适应阈值的角点检测算法。方法 该算法利用各向异性高斯方向导数滤波器对不同边缘和角点模型进行表征,提取表征边缘和角点的灰度及几何变化的不变属性,并通过正则化计算得到区别边缘和角点的自适应阈值。该算法首先利用Canny边缘检测器检测输入图像的边缘映射并从边缘映射中提取出边缘轮廓;然后利用各向异性高斯方向导数滤波器对所提取出的边缘曲线进行滤波平滑,计算出每一像素点的响应并与自适应阈值作比较,把响应大于阈值的点作为候选角点;最后,对候选角点进行非极大值抑制得到最终角点集。结果 提出的算法分别与Harris算法,He & Yung算法,以及ANDDs算法在仿射变换和高斯噪声的实验环境下进行比较,其性能指标为平均重复率与定位误差;并且对每个角点检测算法在无噪声和有噪声的情况下进行了角点匹配比较。4种算法的两个指标的平均排名为Harris 3.375,He &Yung 2.625,ANDDs 2.625,本文算法 1.375。本文算法在仿射变换以及高斯噪声的情况下有着良好的平均重复率和定位误差,优于其他3种算法。匹配实验中的错误点以及丢失点也少于其他3种算法。结论 图像的特征检测在计算机视觉领域是一个重要的课题,在许多视觉系统中,检测特征往往作为复杂计算的第1步。因此,这一步的可靠性会极大地影响着视觉系统整体的结果。而角点作为图像的重要特征,对其研究具有重大意义。本文算法不同于传统的基于边缘的角点检测器仅利用边缘轮廓的信息,还利用到图像边缘像素的灰度信息。而且,本文算法还采用一个自适应全局阈值,避免了角点的误判。正则化的灰度变化有效减少了噪声或者光照对检测性能的影响。通过角点匹配实验、仿射变换实验以及高斯噪声实验,可以看出,本文的角点检测器拥有良好的检测性能,并且对噪声具有稳健性。     

基于R-tree的高效异常轨迹检测算法

异常检测是一种流行的数据挖掘任务,但是轨迹数据的异常检测的研究比较少,而且存在的算法也较有局限性,因此J.-G Lee等人提出了TRAOD算法。该算法能够有效地检测出异常的轨迹,但是也存在着缺陷。它的复杂度和准确度比较难平衡,在参数的选取上也比较难,算法的运行时间较长。基于TRAOD的问题,提出一种基于R-tree的高效的异常轨迹检测算法R-TRAOD。该算法通过R-tree对轨迹点进行索引搜索其领域内的轨迹点,然后根据TRAOD算法对R-tree索引出来的轨迹点进行异常轨迹的检测,这样可以提高算法的运行速度。真实数据实验测试表明,该算法比最新的TRAOD异常轨迹挖掘算法效率要高。     

基于KL距离的自适应阈值网络流量异常检测

针对现有网络流量异常检测方法检测精度低且对网络环境动态变化适应性差的问题,根据网络流量在相邻时间周期内的强相关性特性,提出一种自适应阈值的网络流量异常检测方法。利用滑动窗口控制KL距离值数量,建立指数加权移动平均模型获取下一时刻的KL距离预测值,并采用滑动窗口划分的KL距离子序列与预测值确定自适应阈值范围,通过判断观测值是否在自适应阈值范围内实现网络流量异常检测。实验结果表明,该方法能有效检测网络流量异常,具有较高的检测精度。     

基于R-Tree的高效异常轨迹检测算法

提出了异常轨迹检测算法,通过检测轨迹的局部异常程度来判断两条轨迹是否全局匹配,进而检测异常轨迹.算法要点如下:(1) 为了有效地表示轨迹的局部特征,以k个连续轨迹点作为基本比较单元,提出一种计算两个基本比较单元间不匹配程度的距离函数,并在此基础上定义了局部匹配、全局匹配和异常轨迹的概念;(2) 针对异常轨迹检测算法普遍存在计算代价高的不足,提出了一种基于R-Tree的异常轨迹检测算法,其优势在于利用R-Tree和轨迹间的距离特征矩阵找出所有可能匹配的基本比较单元对,然后再通过计算距离确定其是否局部匹配,从而消除大量不必要的距离计算.实验结果表明,该算法不仅具有很好的效率,而且检测出来的异常轨迹也具有实际意义.     

基于可达邻域的异常检测算法

提出了可达邻域的概念,定义了基于可达邻域的异常RN-Outlier。给出了RNOF异常检测算法,克服了异常检测算法常被参数依赖和参数扰动所困扰的缺点。仿真数据集和真实数据集的实验表明,该算法的性能超过了经典的LOF和LSC算法,降低了参数依赖和参数扰动的影响。     

基于中心移动的轨迹离群点检测

AIS数据是指通过AIS系统获取的船舶运动轨迹信息, 对其进行挖掘可以获得船舶的运动模式、航行路线、停靠地点等信息. 但其在采集过程中产生的离群点会对聚类等任务造成负面影响, 因此对AIS数据挖掘之前需要进行离群点检测. 然而, 当AIS轨迹数据中存在大量离群点时, 会导致大多数离群点检测算法的准确率显著下降. 为了解决这个问题, 本文提出了一种基于中心移动的轨迹离群点检测算法(center shift outlier detection, CSOD). 通过迫使数据点向其K近邻集合的中心移动, 使每个数据点更加接近典型数据, 从而有效地消除了离群点对聚类的影响. 为了验证本文算法的有效性, 使用浙江海域AIS渔船轨迹数据集, 将本文提出的CSOD算法与一些经典的离群点检测算法进行了对比实验. 实验结果表明, CSOD算法整体上性能更加优越.     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

基于局部估计密度的局部离群点检测算法

局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函数计算中引入数据对象的k-邻域平均距离作为其邻域信息,然后利用求出的局部估计密度计算数据对象的局部离群因子,依据局部离群因子的大小来判断数据对象是否为离群点.实验表明,该算法在UCI标准数据集与模拟数据集上都可以取得较好的表现.     

基于Voronoi图的异常检测算法

异常检测是数据挖掘的一个重要组成部分,其中基于密度的方法LOF是目前常用的主要方法。然而LOF方法进行检测时需要设定参数k和MinPts,检测结果对参数非常敏感,容易造成检测错误。该文提出了一种基于Voronoi图的异常检测算法VOD,采用Voronoi图来确定对象间的邻近关系,解决了基于密度方法存在的问题,算法的时间复杂性从O(N2)降低到O(NlogN)。     

基于相似孤立系数的孤立点检测算法

基于聚类的孤立点检测算法得到的结果比较粗糙,不够准确。针对该问题,提出一种基于相似孤立系数的孤立点检测算法。定义相似距离以及相似孤立点系数,给出基于相似距离的剪枝策略,根据该策略缩小可疑孤立点候选集,并降低孤立点检测算法的计算复杂度。通过选用公共数据集Iris、Labor和Segment—test进行实验验证,结果表明,该算法在发现孤立点、缩小候选集等方面相比经典孤立点检测算法更有效。     

基于密度的局部离群点检测算法

基于统计学和基于距离的离群点检测都依赖与给定数据点集的全局分布,然而数据通常并非都是均匀分布的。当分析分布密度相差很大的数据时,基于密度的局部离群点检测方法有着很好的识别局部离群点的能力。但存在时间复杂度较大,文章提出了一种改进的算法,能降低时间复杂度,实现有效的局部离群点的检测。     

基于相关子空间的多源离群检测算法

传统的离群检测方法多数源于单个数据集或多数据源融合后的单一数据集,其检测结果忽略了多源数据之间的关联知识和单数据源中的关键信息.为了检测多源数据之间的离群关联知识,提出一种基于相关子空间的多源离群检测算法RSMOD.结合k近邻集和反向近邻集的双向影响,给出面向多源数据的对象影响空间,提高了离群对象度量的准确性;在影响空...     

基于层次化深度学习的医疗数据库离群数据检测算法

对医疗数据库中存在的离散数据进行检测时,由于缺少数据过滤等过程而导致检测执行时间较长、检测效率低、离散点检测率低等问题,为此提出基于层次化深度学习的医疗数据库离散数据检测算法.首先,采用动态网格划分法划分空间中的稀疏区域和稠密区域,降低数据检测的规模,缩短检测执行时间;然后,通过层次化深度学习过程融合专家知识和数据的属性取值分布信息,实现医疗数据库中离散数据的检测.实验结果表明,该算法可以在较短的时间内准确完成医疗数据库中离散数据的检测,且相较于传统算法来说更具有应用优势.