利用层次先验估计的显著性目标检测

有效的显著性目标检测在计算机视觉领域一直是具有挑战性的问题.本文首先对图像进行树滤波处理,采用Quick shift方法将其分解为超像素,再通过仿射传播聚类把超像素聚集为代表性的类.与以往方法不同,本文提出根据各类中拥有的超像素的类内和类间的空间离散程度及其位于图像边界的数目,自适应地估计先验背景,并提取条状背景区域;由目标性度量(Objectness measure)粗略地描述前景范围后,通过与各类之间的空间交互信息,估计先验前景;再经过连通区域优化前景与背景信息.最后,综合考虑各超像素与先验背景和前景在CIELab颜色空间的距离,并进行显著性中心加权,得到显著图.在MSRA-1000和复杂的SOD数据库上的实验结果表明,本文算法能准确、完整地检测出显著性目标,优于21种State-of-the-art算法,包括基于部分类似原理的方法.     

基于模糊估计融合显著性检测的自动抠图算法

提出了一种新的自动抠图算法框架。首先,估计输入图像各个区域的模糊程度;其次,对图像进行显著性的计算;然后融合模糊度和显著性信息,大致分割出前景和背景,从而自动生成标注前景、背景、未知区域的三色图;最后,采用基于采样的抠图算法就可以准确地完成前景目标物体的自动抠图。该算法无须人工辅助或附加信息。在标准数据集和实拍图像上的实验结果证明了该算法的准确性和实用性,可广泛应用于图像和视频的编辑合成。     

基于全局颜色对比的显著性目标检测

为了能正确检测显著性图中的多个显著性目标, 提出了一种基于全局颜色对比的显著性目标检测算法。该算法首先提取图像的全局颜色对比度特征, 然后把显著性图和全局颜色对比度作为特征输入条件随机场框架中, 得到二值显著性掩模, 最后经区域描绘子计算得到包含显著性目标的最小外接矩形。在两种公开的数据集上的实验结果表明, 该算法在精度、召回率以及F-测度方面的表现优于现有其他几种算法, 在计算效率上也具有一定的优势。因此, 所提出的算法在检测效果上优于现有的显著性目标检测算法, 而且还能够检测到多个显著性目标。     

基于深度学习的显著性目标检测综述

显著性目标检测通过模仿人的视觉感知系统,寻找最吸引视觉注意的目标,已被广泛应用于图像理解、语义分割、目标跟踪等计算机视觉任务中。随着深度学习技术的快速发展,显著性目标检测研究取得了巨大突破。本文总结了近5年相关工作,全面回顾了3类不同模态的显著性目标检测任务,包括基于RGB图像、基于RGB-D/T(Depth/Thermal)图像以及基于光场图像的显著性目标检测。首先分析了3类研究分支的任务特点,并概述了研究难点;然后就各分支的研究技术路线和优缺点进行阐述和分析,并简单介绍了3类研究分支常用的数据集和主流的评价指标。最后,对基于深度学习的显著性目标检测领域未来研究方向进行了探讨。     

基于图割的目标提取实时修正算法

对目标提取结果进行后期修正是进一步提高提取精度的重要举措。针对在前期目标提取算法框架内实现修正困难、局限较多、难于推广等不足,提出了一种基于图割理论的独立修正算法。首先通过人机交互选定修正区域,然后映射成s-t网络,最后运用最大流/最小割算法对s-t网络进行切割得到修正后的目标轮廓。实验表明,该方法不仅操作简便,实时响应,不破坏已有的正确提取结果;而且参数少,抗噪能力强,适用于一般的基于轮廓的目标提取。     

基于场景几何信息的显著性目标检测方法综述

显著性目标检测在图像和视频压缩、伪装物体检测、医学图像分割等领域具有重要作用.随着深度传感器和光场技术的广泛应用,深度图像和光场数据等场景几何信息开始应用于显著性目标检测,可提升模型在复杂场景下的性能,由此学者们提出一系列基于场景几何信息的显著性目标检测方法.文中旨在分析总结经典的基于场景几何信息的显著性目标检测方法.首先,介绍方法的基本框架及评估标准.然后,围绕多模态特征融合、多模态信息优化、网络模型轻量化三方面,分类概述和分析经典的RGB-D显著性目标检测方法和光场显著性目标检测方法.同时,详细介绍基于场景几何信息的显著性目标检测方法的工作进展.最后,讨论方法目前存在的问题,展望未来的研究方向.     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

基于稀疏恢复与优化的显著性目标检测算法

针对目前基于稀疏表示的显著性检测算法中存在的边界显著性检测不足、字典表达能力不够等问题,提出一种基于稀疏恢复与优化的检测算法。首先对图像进行滤波平滑和超像素分割,并从边界与内部超像素中挑选可靠的背景种子构建稀疏字典;然后基于该字典对整幅图像进行稀疏恢复,根据稀疏恢复误差生成初始显著图;再运用改进的基于聚类的二次优化模型对初始显著图进行优化;最后经过多尺度融合得到最终显著图。在三大公开测试数据集上的实验结果表明,所提算法能够保持高效快速、无训练等优点,同时性能优于目前主流的非训练类算法,在处理边界显著性方面表现优异,具有较强的鲁棒性。     

基于深度学习的显著性目标检测综述

随着深度学习的不断发展,基于深度学习的显著性目标检测已经成为计算机视觉领域的一个研究热点.首先对现有的基于深度学习的显著性目标检测算法分别从边界/语义增强、全局/局部结合和辅助网络三个角度进行了分类介绍并给出了显著性图,同时对三种类型方法进行了定性分析比较;然后简单介绍了基于深度学习的显著性目标检测常用的数据集和评估准...     

基于整形特征的目标显著性检测算法研究

针对传统目标显著性检测算法存在显著区域弱化、最显著的中心点被抑制、背景差对比度低等问题,提出一种新的整形目标显著性检测算法。算法首先利用灰度不一致算子作为局部处理手段,刻画图像局部纹理的非均匀性,使得最显著的中心点亮度提高;其次,利用改进的FT算法,建立一种新的全局量化方法,使得显著区域增强;再次,为了滤除孤立显著区的影响,算法提出一种空间权重表达法,对所提显著图进行线性处理,提高整体显著区与背景间的对比差。最后的仿真实验中,与FT、Itti等6种典型的目标显著性检测算法相比,该算法不仅具有更好的识别准确性和稳定性,而且所提算法的精确率和召回率等客观指标也具有较强的优势,从而表明该算法是切实可行的。     

A robust registration algorithm based on salient object detection

Multimedia Tools and Applications - Point cloud registration plays an important role in 3D computer vision. A challenge in this field is the presence of small salient objects with huge flat...     

基于姿态估计的实时跌倒检测算法

为了快速、准确地检测老年人跌倒事件的发生,给出一种基于姿态估计的实时跌倒检测算法.首先利用基于深度学习的人体姿态估计算法得到人体关节点的坐标;然后,通过计算人体质心点的下降速度、跌倒后颈部关节点的纵坐标值是否大于阈值、以及肩部和腰部关节点的相对位置关系来判断跌倒是否发生.所给出的跌倒检测算法利用单目相机进行检测,便于以嵌入式方式应用于机器人.实验结果表明,所提出算法与当前先进方法相比取得了较好的效果.     

互补特征交互融合的RGB_D实时显著目标检测

目的 通过融合颜色、深度和空间信息,利用RGB_D这两种模态数据的显著目标检测方案通常能比单一模态数据取得更加准确的预测结果。深度学习进一步推动RGB_D显著目标检测领域的发展。然而,现有RGB_D显著目标检测深度网络模型容易忽略模态的特异性,通常仅通过简单的元素相加、相乘或特征串联来融合多模态特征,如何实现RGB图像和深度图像之间的信息交互则缺乏合理性解释。为了探求两种模态数据中的互补信息重要性及更有效的交互方式,在分析了传统卷积网络中修正线性单元（rectified linear unit,ReLU）选通特性的基础上,设计了一种新的RGB和深度特征互补信息交互机制,并首次应用于RGB_D显著目标检测中。方法 首先,根据该机制提出了互补信息交互模块将模态各自的“冗余”特征用于辅助对方。然后,将其阶段式插入两个轻量级主干网络分别用于提取RGB和深度特征并实施两者的交互。该模块核心功能基于修改的ReLU,具有结构简单的特点。在网络的顶层还设计了跨模态特征融合模块用于提取融合后特征的全局语义信息。该特征被馈送至主干网络每个尺度,并通过邻域尺度特征增强模块与多个尺度特征进行聚合。最后,采用了深度恢复监督、边缘监督和深度监督3种监督策略以有效监督提出模型的优化过程。结果 在4个广泛使用的公开数据集NJU2K（Nanjing University2K）、NLPR（national laboratory of pattern recognition）、STERE（stereo dataset）和SIP（salient person）上的定量和定性的实验结果表明,以Max F-measure、MAE（mean absolute error）以及Max E-measure共3种主流测度评估,本文提出的显著目标检测模型相比较其他方法取得了更优秀的性能和显著的推理速度优势（373.8帧/s）。结论 本文论证了在RGB_D显著目标检测中两种模态数据具有信息互补特点,提出的模型具有较好的性能和高效率推理能力,有较好的实际应用价值。     

一种基于感兴趣区域提取的新型SVD图像压缩算法

提出了一种基于感兴趣区域提取的新型奇异值分解（SVD）图像编码算法（SODSVD）。根据图像的区域复杂度、视觉注意等指标运用感兴趣区域提取技术将图像自适应分块,而对每一小块,根据其复杂度进行不同秩的奇异值分解算法,从而达到图像压缩的目的。同时还提出了一种简单的基于感兴趣区域的图像划分策略。实验结果表明,在PSNR和bpp等评价指标上,新方法有明显优势。     

Repetitive assembly action recognition based on object detection and pose estimation

The present study employs deep learning methods to recognize repetitive assembly actions and estimate their operating times. It is intended to monitor the assembly process of workers and prevent assembly quality problems caused by the lack of key operational steps and the irregular operation of workers. Based on the characteristics of the repeatability and tool dependence of the assembly action, the recognition of the assembly action is considered as the tool object detection in the present study. Moreover, the YOLOv3 algorithm is initially applied to locate and judge the assembly tools and recognize the worker's assembly action. The present study shows that the accuracy of the action recognition is 92.8 %. Then, the pose estimation algorithm CPM based on deep learning is used to realize the recognition of human joint. Finally, the joint coordinates are extracted to judge the operating times of repetitive assembly actions. The accuracy rate of judging the operating times for repetitive assembly actions is 82.1 %.     

Viewpoint-aware object detection and continuous pose estimation

We describe an approach to category-level detection and viewpoint estimation for rigid 3D objects from single 2D images. In contrast to many existing methods, we directly integrate 3D reasoning with an appearance-based voting architecture. Our method relies on a nonparametric representation of a joint distribution of shape and appearance of the object class. Our voting method employs a novel parameterization of joint detection and viewpoint hypothesis space, allowing efficient accumulation of evidence. We combine this with a re-scoring and refinement mechanism, using an ensemble of view-specific support vector machines. We evaluate the performance of our approach in detection and pose estimation of cars on a number of benchmark datasets. Finally we introduce the “Weizmann Cars ViewPoint” (WCVP) dataset, a benchmark for evaluating continuous pose estimation.     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

Depth-assisted rectification for real-time object detection and pose estimation

RGB-D sensors have become in recent years a product of easy access to general users. They provide both a color image and a depth image of the scene and, besides being used for object modeling, they can also offer important cues for object detection and tracking in real time. In this context, the work presented in this paper investigates the use of consumer RGB-D sensors for object detection and pose estimation from natural features. Two methods based on depth-assisted rectification are proposed, which transform features extracted from the color image to a canonical view using depth data in order to obtain a representation invariant to rotation, scale and perspective distortions. While one method is suitable for textured objects, either planar or non-planar, the other method focuses on texture-less planar objects. Qualitative and quantitative evaluations of the proposed methods are performed, showing that they can obtain better results than some existing methods for object detection and pose estimation, especially when dealing with oblique poses.     

注意力引导网络的显著性目标检测

目的 全卷积模型的显著性目标检测大多通过不同层次特征的聚合实现检测,如何更好地提取和聚合特征是一个研究难点。常用的多层次特征融合策略有加法和级联法,但是这些方法忽略了不同卷积层的感受野大小以及产生的特征图对最后显著图的贡献差异等问题。为此,本文结合通道注意力机制和空间注意力机制有选择地逐步聚合深层和浅层的特征信息,更好地处理不同层次特征的传递和聚合,提出了新的显著性检测模型AGNet(attention-guided network),综合利用几种注意力机制对不同特征信息加权解决上述问题。方法 该网络主要由特征提取模块(feature extraction module, FEM)、通道—空间注意力融合模块(channel-spatial attention aggregation module, C-SAAM)和注意力残差细化模块(attention residual refinement module,ARRM)组成,并且通过最小化像素位置感知(pixel position aware, PPA)损失训练网络。其中,C-SAAM旨在有选择地聚合浅层的边缘信息以及深层抽象的语义特征,利用通道注意力和空间注意力避免融合冗余的背景信息对显著性映射造成影响;ARRM进一步细化融合后的输出,并增强下一个阶段的输入。结果 在5个公开数据集上的实验表明,AGNet在多个评价指标上达到最优性能。尤其在DUT-OMRON(Dalian University of Technology-OMRON)数据集上,F-measure指标相比于排名第2的显著性检测模型提高了1.9%,MAE(mean absolute error)指标降低了1.9%。同时,网络具有不错的速度表现,达到实时效果。结论 本文提出的显著性检测模型能够准确地分割出显著目标区域,并提供清晰的局部细节。     

基于滤波合成的关键显著性目标检测方法

针对显著性目标检测过程中的背景干扰问题,提出了一种基于滤波合成的关键显著性目标检测算法。该算法将局部指导滤波与改进的差分高斯(DoG）滤波方法相结合,使显著性目标更加凸显;然后,利用得到的显著性图确定关键点集合,通过调整因子得到更符合视觉机制的显著性检测结果。实验表明,所提算法优于现有显著性检测方法。与局部对比度(LC)方法、谱残差(SR)方法、基于直方图对比度(HC)方法、区域对比度(RC)方法、基于调频(FT)的方法等相比,背景与干扰目标得到有效抑制,同时具有更高的精度和更好的召回率。