一种基于超像素的点追踪方法

摘要：目的：由于当前大多数的追踪算法都是使用目标外观模型和特征进行目标的匹配,在长时间的目标追踪过程中,目标的尺度和形状均会发生变化,再加上计算机视觉误差,都会导致追踪的失误。提出一种高效的目标模型用于提高追踪的效率和成功率。方法：采用分割后提取的目标特征来进行建模表示外观结构,利用图像分割的方法,将被追踪的目标区域分割成多个超像素块,结合SIFT特征,形成词汇本,并计算每个词在词汇本中的权值,作为目标的外观模型。利用外观模型确定目标对象的关键点位置后,通过使用金字塔 Lucas-Kanade 追踪器预测关键点在下一帧图像中的位置,并移动追踪窗口位置。结果：结合点位移的加权计算有效的克服目标尺度和形状变化产生的问题。结论：实验结果表明在目标发生形变或光照变化的情况下,算法也能准确的、实时的追踪到目标。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

基于SIFT特征和图割算法的图像分割方法研究

图割算法是图像分割方法中的一种高效的最优化计算方法,针对图像中目标物体的旋转尺度光照变化导致的分割不准确问题,提出了一种基于SIFT(Scale-Invariant Feature Transform)特征的图割(Graph Cuts)算法;该方法将SIFT特征的尺度旋转不变性和图割算法的准确快速性结合在一起,通过提取图像中物体SIFT特征点做为图割算法的种子点,求解最小能量函数快速从而获得该图像的最优分割;实验结果表明,该方法鲁棒性较好,能准确地分割出目标物体在图像中的轮廓。     

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

一种新的图像分割算法

在形态学梯度边缘检测算子的基础上,综合多尺度和多结构元算法的特性,提出了一种新的图像分割方法。利用桥梁的明显特征预测桥梁目标的位置,获得感兴趣区域,通过多阈值法简化原图;采用多尺度形态滤波和区域标记得到目标的初始轮廓,构造5个不同方向的结构元素,对这些结构元素运用多尺度形态学方法来检测目标边缘。实验结果表明本算法能够比较准确地完成图像分割。     

基于局部边缘特征的快速目标检测

为了实现复杂环境下形状、尺度变化较大的目标检测,提出一种在复杂背景图片中快速目标检测的算法.该算法采用新的局部边缘匹配特征,通过积分图像技术实现快速计算;通过机器学习算法自动提取样本的局部边缘特征来构建目标模板,且不需要任何手工分割和人工筛选的过程.在UIUC通用图像测试库上的实验结果表明,文中算法可在平移、尺度变化、...     

基于SIFT特征和ISM的X射线图像危险品检测方法

针对行李安检时X射线图像中的危险品检测问题,提出一种基于尺度不变特征变换(SIFT)和隐式形状模型(ISM)的检测方法。首先,采集不同姿态的危险品X射线图像,并标注目标位置,构建训练数据集。然后,通过SIFT算法提取目标关键点,并以此构建目标的ISM模型。在检测过程中,将提取的目标SIFT描述符与ISM模型中的视觉描述符进行匹配,通过投票机制来判断目标是否为危险品。通过手枪和酒瓶的检测实验表明,该方法能够从X射线图像中准确检测出危险品,且对目标姿态变化具有鲁棒性。     

卫星视频中的单目标分割和跟踪

对于卫星视频图像中存在的目标与背景对比性低、缺乏目标特征信息等问题,提出一种结合目标运动信息、时空背景和外观模型的目标分割和跟踪方法.根据首帧定位得到目标区域,首先对目标使用方向梯度直方图方法提取特征利用核相关滤波器得到目标跟踪区域1;接着利用颜色空间特征建立目标与其周围区域上下文信息的空间模型得到目标跟踪区域2;然后利用视觉背景提取算法以像素为单位在目标区域上检测运动目标得到单目标的分割区域3;最后分别对3个区域进行相关计算得到最优区域作为最终目标跟踪位置和模板更新样本.实验结果表明,本文算法与KCF算法相比,跟踪的成功率和准确率有很大的提高,同时实现了单目标分割.     

基于多特征协同的交通标志检测

针对交通场景图像中交通标志因颜色失真、形状失真和尺度变化导致漏检严重的问题,提出一种颜色特征、形状特征和尺度特征的多特征协同方法。从交通场景图像计算颜色增强图,利用多阈值分割方法和闭合轮廓曲率直方图链码表达,并对提取的形状轮廓的曲率直方图进行尺度归一化处理,融合颜色特征和归一化后的形状特征构成区域的特征向量,采用支持向量机分类获得检测结果。实验结果表明,该算法在较低时间复杂度下,能有效提高交通标志检测精度。     

渐进式前景更新和区域关联的图像协同分割

目的 图像协同分割技术是通过多幅参考图像以实现前景目标与背景区域的分离，并已被广泛应用于图像分类和目标识别等领域中。不过，现有多数的图像协同分割算法只适用于背景变化较大且前景几乎不变的环境。为此，提出一种新的无监督协同分割算法。方法 本文方法是无监督式的，在分级图像分割的基础上通过渐进式优化框架分别实现前景和背景模型的更新估计，同时结合图像内部和不同图像之间的分级区域相似度关联进一步增强上述模型估计的鲁棒性。该无监督的方法不需要进行预先样本学习，能够同时处理两幅或多幅图像且适用于同时存在多个前景目标的情况，并且能够较好地适应前景物体类的变化。结果 通过基于iCoseg和MSRC图像集的实验证明，该算法无需图像间具有显著的前景和背景差异这一约束，与现有的经典方法相比更适用于前景变化剧烈以及同时存在多个前景目标等更为一般化的图像场景中。结论 该方法通过对分级图像分割得到的超像素外观分布分别进行递归式估计来实现前景和背景的有效区分，并同时融合了图像内部以及不同图像区域之间的区域关联性来增加图像前景和背景分布估计的一致性。实验表明当前景变化显著时本文方法相比于现有方法具有更为鲁棒的表现。     

前景判别的局部模型匹配目标跟踪

目的 在复杂背景下,传统模型匹配的跟踪方法只考虑了目标自身特征,没有充分考虑与其所处图像的关系,尤其是目标发生遮挡时,易发生跟踪漂移,甚至丢失目标。针对上述问题,提出一种前景判别的局部模型匹配(FDLM)跟踪算法。方法 首先选取图像帧序列前m帧进行跟踪训练,将每帧图像分割成若干超像素块。然后,将所有的超像素块组建向量簇,利用判别外观模型建立包含超像素块的目标模型。最后,将建立的目标模型作为匹配模板,采用期望最大化(EM)估计图像的前景信息,通过前景判别进行局部模型匹配,确定跟踪目标。结果 本文算法在前景判别和模型匹配等方面能准确有效地适应视频场景中目标状态的复杂变化,较好地解决各种不确定因素干扰下的跟踪漂移问题,和一些优秀的跟踪算法相比,可以达到相同甚至更高的跟踪精度,在Girl、Lemming、Liquor、Shop、Woman、Bolt、CarDark、David以及Basketball视频序列下的平均中心误差分别为9.76、28.65、19.41、5.22、8.26、7.69、8.13、11.36、7.66,跟踪重叠率分别为0.69、0.61、0.77、0.74、0.80、0.79、0.79、0.75、0.69。结论 实验结果表明,本文算法能够自适应地实时更新噪声模型参数并较准确估计图像的前景信息,排除背景信息干扰,在部分遮挡、目标形变、光照变化、复杂背景等条件下具有跟踪准确、适应性强的特点。     

自适应紧致特征的超像素目标跟踪

目的 针对现有的超像素目标跟踪算法（RST）对同一类中分别属于目标和相似干扰物体的超像素块赋予相同特征置信度,导致难以区分目标和相似干扰物的问题,为此提出自适应紧致特征的超像素目标跟踪算法（ACFST）。方法 该方法在每帧的目标搜索区域内构建适合目标大小的自适应紧致搜索区域,并将该区域内外的特征置信度分别保持不变和降低。处于背景中的相似干扰物体会被该方法划分到紧致搜索区域外,其特征置信度被降低。当依据贝叶斯推理框架求出对应最大后验概率的目标时,紧致搜索区域外的特征置信度低,干扰物体归属目标的程度也低,不会被误判为目标。结果 在具有与目标相似干扰物体的两个视频集进行测试,本文ACFST跟踪算法与RST跟踪算法相比,平均中心误差分别缩减到5.4像素和7.5像素,成功率均提高了11%,精确率分别提高了10.6%和21.6%,使得跟踪结果更精确。结论 本文提出构建自适应紧致搜索区域,并通过设置自适应的参数控制紧致搜索区域变化,减少因干扰物体与目标之间相似而带来的误判。在具有相似物体干扰物的视频集上验证了本文算法的有效性,实验结果表明,本文算法在相似干扰物体靠近或与目标部分重叠时,能够保证算法精确地跟踪到目标,提高算法的跟踪精度,具有较强的鲁棒性,使得算法更能适应背景杂乱、目标遮挡、形变等复杂环境。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

多模型协作的分块目标跟踪

为解决复杂场景下,基于整体表观模型的目标跟踪算法容易丢失目标的问题,提出一种多模型协作的分块目标跟踪算法.融合基于局部敏感直方图的产生式模型和基于超像素分割的判别式模型构建目标表观模型,提取局部敏感直方图的亮度不变特征来抵制光照变化的影响;引入目标模型的自适应分块划分策略以解决局部敏感直方图算法缺少有效遮挡处理机制的问题,提高目标的抗遮挡性;通过相对熵和均值聚类度量子块的局部差异置信度和目标背景置信度,建立双权值约束机制和子块异步更新策略,在粒子滤波框架下,选择置信度高的子块定位目标.实验结果表明,本文方法在复杂场景下具有良好的跟踪精度和稳定性.     

具有纹理感知能力的超像素分割方法

目的 超像素分割是计算机视觉领域常用的一项预处理技术,目标是将相邻像素聚集成为具有一定语义的子区域,能够大幅度降低后续处理的计算复杂度,但是对包含强梯度纹理的图像分割效果不佳,为此提出一种具有纹理感知能力的超像素分割方法。方法 提出一种能够区分强梯度噪声和纹理像素的颜色距离,其中利用带方向的1/4圆形窗口均值滤波后的颜色信息,提升包含强梯度噪声和纹理图像的超像素分割性能。利用区间梯度幅值与Sobel梯度幅值相乘得到混合梯度幅值,具有纹理抑制、结构保持以及边缘线条细的优点,能够提升超像素的贴合边缘性能,增强超像素形状规则程度。最后,利用混合梯度的幅值计算具有结构回避能力的综合聚类距离,进一步防止超像素跨越物体的边界,增强超像素的贴边性能。结果 在BSDS500（Berkeley segmentation dataset 500）图像数据集和强纹理马赛克图像等不同类型图像上的测试结果显示,与目前主流的超像素分割方法相比,本文算法在UE （undersegmentation error）、ASA （achievable segmentation accuracy）和CM （compactness measure）等性能指标上分别提高了1.5%、0.2%和4.3%。从视觉效果上看,能够在排除纹理干扰的情况下生成结构边缘贴合程度更好的形状规则超像素。结论 本文算法在包含强梯度纹理图像上的超像素分割性能优于对比方法,在目标识别、目标追踪和显著性检测等易受强梯度干扰的技术领域具有较大应用潜力。     

图像分割中的超像素方法研究综述

目的 超像素(superpixel)是近年来快速发展的一种图像预处理技术,它将图像快速分割为一定数量的具有语义意义的子区域,相比于传统处理方法中的基本单元——像素,超像素更有利于局部特征的提取与结构信息的表达,并且能够大幅度降低后续处理的计算复杂度,在计算机视觉领域尤其是图像分割中得到了广泛的应用,为使国内外研究者对超像素理论及其在图像分割中的应用有一个比较全面的认识,对其进行系统综述.方法 以图像分割为应用背景,在广泛调研文献特别是超像素最新发展成果的基础上,结合对比实验,对每种方法的基本思想、方法特点进行总结,并对超像素分割目前存在的局限性进行说明,对未来可能发展方向进行展望.结果 不同的超像素分割算法在分割思想、性能特点上各不相同.当前的超像素方法普遍在超像素数量、紧密度与分割质量、算法实用性之间存在相互制约,同时对于某些特殊目标的分割也难以取得较好的结果.结论 超像素作为一种有效的图像预处理手段具有较高的研究价值,但针对目前超像素存在的一些局限性还需要进行深入的研究.     

结合深度学习和超像元的高分遥感影像变化检测

目的 随着遥感影像空间分辨率的提升,相同地物的空间纹理表现形式差异变大,地物特征更加复杂多样,传统的变化检测方法已很难满足需求。为提高高分辨率遥感影像的变化检测精度,尤其对相同地物中纹理差异较大的区域做出有效判别,提出结合深度学习和超像元分割的高分辨率遥感影像变化检测方法。方法 将有限带标签数据分割成切片作训练样本,按照样本形式设计一个多切片尺度特征融合网络并对其训练,获得测试图像的初步变化检测结果;利用超像元分割算法将测试图像分割成许多无重叠的同质性区域,并将分割结果与前述检测结果叠合,得到带分割标记的变化检测结果;用举手表决算法统计带分割标记的变化检测结果中超像元的变化状况,得到最终变化检测结果。结果 在变化检测实验结果中,本文提出的多切片尺度特征融合卷积网络模型在广东数据集和香港数据集上,优于单一切片尺度下卷积神经网络模型,并且结合超像元的多切片尺度特征融合卷积网络模型得到的Kappa系数分别达到80%和82%,比相应的非超像元算法分别提高了6%和8%,在两个测试集上表现均优于长短时记忆网络、深度置信网络等对比算法。结论 本文提出的卷积神经网络变化检测方法可以充分学习切片的空间信息和其他有效特征,避免过拟合现象;多层尺度切片特征融合的方法优于单一切片尺度训练神经网络的方法;结合深度学习和超像元分割算法,检测单元实现了由切片到超像元的转变,能对同物异谱的区域做出有效判决,有利于提升变化检测精度。