融合边缘信息的显著性目标检测

为了解决显著性检测中图像的低对比度区域和边缘区域存在误检测的问题.提出包含边缘检测子网络和显著性检测子网络的双分支网络模型.在自顶向下的信息流传递过程中,边缘检测子网络和显著性检测子网络分别独立学习边缘信息和显著性信息.设计信息交互模块和特征聚合模块,使得两个子网络将各自学到的特征信息逐层融合.边缘检测子网络,由真值图通过距离变换生成的边缘真值图进行监督,边缘检测子网络仅用于训练阶段.在5个经典数据集上进行的实验结果表明：相比于其他12种主流的检测方法,在F度量,平均绝对误差,结构化度量,精确率-召回率等指标中,本文方法均有明显的提升.基于边缘检测子网络提供的边缘信息能有效引导模型区分出低对比度图片中的边缘部分,得到边缘轮廓完整的显著图.该方法生成的显著图边缘轮廓连续性更好,空间结构细节信息更清晰,对低对比度区域更敏感.     

融合双层信息的显著性检测

目的 针对已有工作在颜色及结构显著性描述方面的缺陷,提出一种新的图像显著性检测方法。方法 本文方法在不同的图像区域表达上从颜色与空间结构角度计算图像的显著性,充分考虑图像的特征与像素聚类方式之间的适应性。首先,根据颜色复杂度、边缘与连通性等信息,将图像从像素空间映射到双层区域表示空间。然后,根据两个层次空间的特性,与每个图像区域的边界特性,计算图像的结构和颜色显著度。最后,由于不同图像表示中的显著性信息存在互补性,将所有这些信息进行融合得到最终的显著性图。结果 在公认的MSRA-1000数据集上验证本文方法并与目前国际上流行的方法进行对比。实验结果表明,本文方法在精确率、召回率以及绝对误差(分别为75.03%、89.39%、85.61%)等方面要优于当前前沿的方法。结论 提出了一种融合双层信息的显著性检测算法。根据图像本身信息控制区域数目构建图像双层表示,提高了方法的普适性;利用图像不同层次的特性从不同角度计算显著性,增强了方法鲁棒性。     

特征融合和多重约束的协同显著性检测

针对环境复杂的图像组中前景和背景信息混乱、共显性目标无法准确显示的问题,提出一种特征融合和多重约束的图像协同显著性检测算法.首先通过融合对象性概率优化的深度信息和颜色信息计算图像间显著性引导传播的显著值;然后使用深度概率指导的多重约束的背景先验方法计算图像内显著值以进一步优化;将两阶段得到的显著值进行区域性建议融合,采用最小二乘法学习得到最终的协同显著性结果.在公共数据集上的实验结果表明,该算法有效地利用图像间相似性信息且抑制了背景信息,使得显著目标更加接近真值标定结果;克服了复杂环境因素的影响,在各个实验指标上的评估结果都有明显提高.     

基于特征融合与边界修正显著性目标检测

显著性目标检测旨在寻找图像中的视觉显著区域。现有的显著性目标检测方法已经展现出强大的优势,但依然在尺度感知和边界预测方面具有局限性。首先,各类场景中的显著目标存在诸多尺度,使算法难以适应不同尺度变化。其次,显著目标往往具有复杂的轮廓,这使边界像素点的检测变得更为困难。针对以上问题,文中提出了基于特征融合与边界修正的显著性目标检测网络,该网络基于特征金字塔,提取了不同层次显著特征。首先针对目标的尺度多样性设计了由多尺度特征解码模块组成的特征融合解码器,通过逐层融合相邻层特征,提高了网络对目标尺度的感知能力。同时设计了边界修正模块学习显著目标的轮廓特征,以生成边界清晰的高质量显著图。在5个常用显著性目标检测数据集上进行实验,结果表明所提算法在平均绝对误差、F指标和S指标3项定量指标上均能取得较优的结果。     

融合边界信息和颜色特征的显著性区域检测

传统的显著性检测方法多利用图像的颜色特征并进行超像素分割作为预处理来进行检测,对于涂抹效应不足、误检测等问题一直没能有效解决。针对涂抹效应不足提出了一种结合图像边界信息及颜色特征的显著性区域检测方法。首先,为了更好地取得图像边缘信息并去除噪声,用多次WMF（加权中值滤波）和简单线性迭代聚类（SLIC）处理源图像,再通过颜色、亮度等信息找出滤波后图像中的自然边界。将得到的边界信息和通过SLIC分割得到的超像素的颜色特征进行融合作为先验概率,以SLIC分割得到超像素位于Graph-based分割得到初步显著图中的概率为条件概率,利用贝叶斯法则得到最终的显著图。在公开数据集MSRA-1000上对算法进行验证,结果表明该算法与7种主流算法相比有更好的查全率和查准率,最高查准率达到98.03%。     

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。     

多先验融合的显著性检测

为解决基于背景先验的显著性检测算法在检测复杂背景图像时存在误检问题,提出多先验融合的显著性检测算法.首先,将图像分割成四种不同的超像素尺度,根据流形排序算法计算出不同尺度的边界显著图,并进行线性融合得到最终边界先验;其次,利用边界信息得到背景种子,进而利用距离和元胞自动机融合得到背景先验;然后通过颜色归一化处理,计算出...     

基于场景几何信息的显著性目标检测方法综述

显著性目标检测在图像和视频压缩、伪装物体检测、医学图像分割等领域具有重要作用.随着深度传感器和光场技术的广泛应用,深度图像和光场数据等场景几何信息开始应用于显著性目标检测,可提升模型在复杂场景下的性能,由此学者们提出一系列基于场景几何信息的显著性目标检测方法.文中旨在分析总结经典的基于场景几何信息的显著性目标检测方法.首先,介绍方法的基本框架及评估标准.然后,围绕多模态特征融合、多模态信息优化、网络模型轻量化三方面,分类概述和分析经典的RGB-D显著性目标检测方法和光场显著性目标检测方法.同时,详细介绍基于场景几何信息的显著性目标检测方法的工作进展.最后,讨论方法目前存在的问题,展望未来的研究方向.     

融合颜色属性和空间信息的显著性物体检测

摘 要：目的：提出了一种基于颜色属性和空间信息的显著性物体检测算法,并将其用于交通标志的检测。方法：首先,训练颜色属性得到颜色-像素值分布,据此将图像划分为不同的颜色聚簇,每个聚簇的显著性取决于其空间紧致性。其次,将每个聚簇分割为多个区域,用颜色属性描述子表示每个区域,计算区域的全局对比度。最后,同时考虑区域对比度和相应聚簇的空间紧致性,得到最终的显著图。在此基础上,将交通标志的先验知识转换为自上而下的显著性图,形成任务驱动的显著性模型,对交通标志进行检测。结果：在公开数据集上的测试结果表明,该算法取得最高92%的查准率,优于其它流行的显著性算法。在交通标志数据集上的检测取得了90.7%的正确率。结论：本文提出了一种新的显著性检测算法,同时考虑了区域的颜色和空间信息,在公开数据集上取得了较高的查准率和查全率。在对交通标志的检测中也取得了较好的结果。     

视觉显著性检测与金字塔变换相结合的图像融合

提出了一种利用人类视觉机制进行图像融合的算法。首先对源图像进行金字塔分解;接着对低频和高频分量采用不同的融合策略,低频分量依据最大显著性准则选择融合像素,高频分量利用相关性加权准则选择融合像素。初步融合后的低频和高频分量经金字塔重建获得最终融合结果。金字塔变换可提供多分辨率的图像表示,但不区分图像区域的重要性;而视觉显著性检测可定位图像最显著区域,但对噪声敏感;两算法的结合能取长补短,获得好的融合结果。实验表明,提出的方法优于已发表的其他基于金字塔变换的图像融合算法,适用于多聚焦图像、多波段图像和多光谱图像融合。     

基于视觉信息补偿的多流音视显著性检测

音视显著性检测方法采用的双流网络结构,在音视信号不一致时,双流网络的音频信息对视频信息产生负面影响,削弱物体的视觉特征;另外,传统融合方式忽视了特征属性的重要程度。针对双流网络的问题进行研究,提出了一种基于视觉信息补偿的多流音视显著性算法（MSAVIC）。首先,在双流网络的基础上增加单独的视频编码分支,保留视频信号中完整的物体外观和运动信息。其次,利用特征融合策略将视频编码特征与音视频显著性特征相结合,增强视觉信息的表达,实现音视不一致情况下对视觉信息的补偿。理论分析和实验结果表明,MSAVIC在四个数据集上超过其他方法2%左右,在显著性检测方面具有较好的效果。     

多角度融合的RGB-D显著检测

显著检测是计算机视觉的重要组成部分,但大部分的显著检测工作着重于2D图像的分析,并不能很好地应用于RGB-D图片的显著检测。受互补的显著关系在2D图像检测中取得的优越效果的启发,并考虑RGB-D图像包含的深度特征,提出多角度融合的RGB-D显著检测方法。此方法主要包括三个部分,首先,构建颜色深度特征融合的图模型,为显著计算提供准确的相似度关系;其次,利用区域的紧密度进行全局和局部融合的显著计算,得到相对准确的初步显著图;最后,利用边界连接权重和流形排序进行背景和前景融合的显著优化,得到均匀平滑的最终显著图。在RGBD1000数据集上的实验对比显示,所提出的方法超越了当前流行的方法,表明多个角度互补关系的融合能够有效提高显著检测的准确率。     

自适应融合局部和全局稀疏表示的图像显著性检测

针对基于局部或全局稀疏表示的图像显著性检测方法频繁出现提取对象不完整、边界不光滑及噪声消除不干净等问题,提出自适应融合局部和全局稀疏表示的图像显著性检测方法。首先,对原始图像进行分块处理,利用图像块代替像素操作,降低算法复杂度;其次,对分块后的图像进行局部稀疏表示,即：针对每一个图像块,选取其周围的若干图像块生成过完备字典,基于该字典对图像块进行稀疏重构,得到原始图像的初始局部显著图,该显著图能够有效提取显著性目标的边缘信息;接着,对分块后的图像进行全局稀疏表示,与局部稀疏表示过程类似,不同的是针对每一个图像块所生成的字典来源于图像四周边界处的图像块,这样可以得到能有效检测出显著性目标内部区域的初始全局显著图;最后,将初始局部和全局显著图进行自适应融合,生成最终显著图。实验结果表明,提出算法在查准率（precision）、查全率（recall）及F-measure等指标上优于几种经典的图像显著性检测方法。     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

基于多级全局信息传递模型的视觉显著性检测

对神经网络中的卷积特征采用分层处理的思想能明显提升显著目标检测的性能。然而,在集成分层特征时,如何获得丰富的全局信息以及有效融合较高层特征空间的全局信息和底层细节信息仍是一个没有解决的问题。为此,提出了一种基于多级全局信息传递模型的显著性检测算法。为了提取丰富的多尺度全局信息,在较高层级引入了多尺度全局特征聚合模块（MGFAM）,并且将多层级提取出的全局信息进行特征融合操作;此外,为了同时获得高层特征空间的全局信息和丰富的底层细节信息,将提取到的有判别力的高级全局语义信息以特征传递的方式和较低层次特征进行融合。这些操作可以最大限度提取到高级全局语义信息,同时避免了这些信息在逐步传递到较低层时产生的损失。在ECSSD、PASCAL-S、SOD、HKU-IS等4个数据集上进行实验,实验结果表明,所提算法相较于较先进的NLDF模型,其F-measure（F）值分别提高了0.028、0.05、0.035和0.013,平均绝对误差（MAE）分别降低了0.023、0.03、0.023和0.007。同时,所提算法在准确率、召回率、F-measure值及MAE等指标上也优于几种经典的图像显著性检测方法。     

基于无线传感器网络的分布递阶信息融合算法

提出了基于无线传感器网络的分布递阶信息融合方法,下层源节点采用卡尔曼滤波及基于减少能耗和网络冲突的数据处理方法,上层汇聚节点采用方差最小的加权信息融合方法,该方法能有效降低传感器网络能耗和网络信息冲突,仿真结果表明了该方法的有效性和可靠性。     

Object motion detection using information theoretic spatio-temporal saliency

This paper proposes to employ the visual saliency for moving object detection via direct analysis from videos. Object saliency is represented by an information saliency map (ISM), which is calculated from spatio-temporal volumes. Both spatial and temporal saliencies are calculated and a dynamic fusion method developed for combination. We use dimensionality reduction and kernel density estimation to develop an efficient information theoretic based procedure for constructing the ISM. The ISM is then used for detecting foreground objects. Three publicly available visual surveillance databases, namely CAVIAR, PETS and OTCBVS-BENCH are selected for evaluation. Experimental results show that the proposed method is robust for both fast and slow moving object detection under illumination changes. The average detection rates are 95.42% and 95.81% while the false detection rates are 2.06% and 2.40% in CAVIAR (INRIA entrance hall and shopping center) dataset and OTCBVS-BENCH database, respectively. The average processing speed is 6.6 fps with frame resolution 320×240 in a typical Pentium IV computer.     

基于视觉显著性图与似物性的对象检测

为了能够准确地检测出图像中的显著性对象,提出了一种新的基于视觉显著性图与似物性的对象检测算法。该算法首先在图像上提取大量具有较高似物性度量的矩形窗口,并估算出对象可能出现的位置,将窗口级的似物性度量转换到像素级的似物性度量;然后把原始显著性图与像素级的似物性图进行融合,生成加权显著性图,分别二值化原始显著性图和加权显著性图,利用凸包检测得到最大查找窗口区域与种子窗口区域;最后结合边缘概率密度搜索出最优的对象窗口。在公开数据集MSRA-B上的实验结果表明,该算法在准确率、召回率以及F-测度方面优于最大化显著区域检测算法、区域密度最大化算法以及似物性对象检测算法等已有的多种算法。     

多特征分层融合的相关滤波鲁棒跟踪

目的 为提高目标跟踪的鲁棒性,针对相关滤波跟踪中的多特征融合问题,提出了一种多特征分层融合的相关滤波鲁棒跟踪算法。方法 采用多通道相关滤波跟踪算法进行目标跟踪时,从目标和周围背景区域分别提取HOG（histogram of oriented gradient）、CN（color names）和颜色直方图3种特征。提出的分层融合算法首先采用自适应加权融合策略进行HOG和CN特征的特征响应图融合,通过计算特征响应图的平滑约束性和峰值旁瓣比两个指标得到融合权重。将该层融合结果与基于颜色直方图特征获得的特征响应图进行第2层融合时,采用固定系数融合策略进行特征响应图的融合。最后基于融合后的响应图估计目标的位置,并采用尺度估计算法估计得到目标更准确的包围盒。结果 采用OTB-2013（object tracking benchmark 2013）和VOT-2014（visual object tracking 2014）公开测试集验证所提跟踪算法的性能,在对多特征分层融合参数进行分析的基础上,与5种主流基于相关滤波的目标跟踪算法进行了对比分析。实验结果表明,本文算法的目标跟踪精度有所提高,其跟踪精度典型值比Staple算法提高了5.9%（0.840 vs 0.781）,同时由于有效地融合了3种特征,在多种场景下目标跟踪的鲁棒性优于其他算法。结论 提出的多特征分层融合跟踪算法在保证跟踪准确率的前提下,跟踪鲁棒性优于其他算法。当相关滤波跟踪算法采用了多个不同类型特征时,本文提出的分层融合策略具有一定的借鉴性。