视觉注意力检测综述

人类能够迅速地选取视野中的关键部分,选择性地将视觉处理资源分配给这些视觉显著的区域.在计算机视觉领域,理解和模拟人类视觉系统的这种注意力机制,得到了学界的大力关注,并显示出了广阔的应用前景.近年来,随着计算能力的增强以及大规模显著性检测数据集的建立,深度学习技术逐渐成为视觉注意力机制计算和建模的主要手段.综述了视觉注意力检测的最新研究进展,包括人眼关注点检测和显著物体检测,并讨论了当前流行的视觉显著性检测数据集和常用的评估指标.对基于深度学习的工作进行了综述,也对之前代表性的非深度学习模型进行了讨论,同时,对这些模型在不同的数据集上的性能进行了详细评估.最后探讨了该领域的研究趋势和未来的发展方向.     

视觉注意模型在显著图生成中的适用性评估

针对Itti-Koch、Stentiford、光谱剩余假说和Hu-Rajan-Chia 4种视觉注意模型适用范围的问题,通过4种模型生成的显著图,结合眼动实验分别计算显著图间的相似度,由此对4种模型的适用性进行评估。实验结果表明,4种视觉注意模型对包含不同特征和语义的图像各有侧重,通过眼动数据得到显著图的相似度不低于0.7。     

基于视觉选择性注意机制的目标检测的研究

视觉选择性注意模型的应用是当今认知信息处理领域的研究热点。根据人类视觉感知理论,在介绍具有代表性的视觉注意模型（Itti模型）的基础上,在特征提取的初级阶段引入新的低层视觉特征,形成一种新的引导注意的显著图,从而实现较为准确的目标检测。结果证明该方法在一定程度上避免了漏检测现象的发生,使得注意区域更能接近生物视觉系统的实际。     

一种基于物体的视觉注意计算模型

为解决基于空间的视觉注意计算模型存在的注意目标不完整、容易转移到无意义区域等问题,提出一种结合空间显著性的基于物体的视觉注意计算模型。检测图像的边缘信息,根据空间视觉显著性度量结果,提取显著值高的封闭边缘,得到感知物体的轮廓。根据各感知物体的大小、位置和显著程度计算其注意度。注意焦点按照注意度递减的顺序在各感知物体之间进行转移。在多幅自然图像上进行实验验证,实验结果表明该模型具有和人类视觉特性相符合的注意效果。     

视觉显著性参数调整

基于显著性的视觉注意力模型近年来得到广泛应用。基于显著性的视觉注意将复杂的景物理解问题转化成一种局部模式识别的时间层序问题,具有计算高效、实时的特性。本文基于Itti视觉注意力模型,评估特定参数对显著图性能的影响。运用统计学的方法,获得显著图的最优参数,用于改善显著图的性能。理论分析和实验结果表明,该方法能更快速、准确地发现目标,减少目标的截获时间,提高目标的跟踪性能。     

视觉选择性注意计算模型

提出一种用于智能机器人的视觉注意计算模型．受生物学启发,该模型模仿人类自下而上和自上而下 两种视觉选择性注意过程．通过提取输入图像的多尺度下的多个底层特征,在频域分析各特征图的幅度谱,在空域 构造相应的特征显著图．根据显著图,计算出注意焦点的位置和注意区域的大小,结合给定的任务在各注意焦点之 间进行视觉转移．在多幅自然图像上进行实验,并给出相应的实验结果、定性和定量分析．实验结果与人类视觉注 意结果一致,表明该计算模型在注意效果、运算速度等方面有效．     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

一种用于复杂目标感知的视觉注意模型

针对自然场景图像中复杂结构目标的快速定位问题,提出一种新的视觉注意模型。对目标进行学习提取显著性图斑,将图斑的特征信息、异质图斑之间的相对位置关系引入视觉注意过程,采用基于图匹配的图斑搜索策略合并与目标特征相似的异质图斑,从而获得注意焦点。与自底向上的视觉注意模型进行实验对比,结果表明该模型能引入复杂结构目标的特征信息和结构信息,降低无效关注次数,提高视觉注意的效率。     

基于背景原型对比度的显著性物体检测

针对传统显著性模型在自然图像的显著性物体检测中存在的缺陷,提出了一种利用背景原型(background prototypes)进行对比的视觉关注模型,以实现显著性物体的检测与提取;传统显著性模型主要通过计算区域中心与四周区域差异性实现显著性检测,而自然场景中显著性区域和背景区域往往都存在较大差异,导致在复杂图像中难以获得理想检测效果;基于背景原型对比度的显著性物体检测方法在图像分割生成的超像素图基础上,选择距离图像中心较远的图像区域作为背景原型区域,通过计算图像中任意区域与这些背景原型区域的颜色对比度准确检测和提取图像中的显著性物体;实验结果表明,基于背景原型对比度的显著性模型可以更好地滤除杂乱背景,产生更稳定、准确的显著图,在准确率、召回率和F-measure等关键性能和直观视觉效果上均优于目前最先进的显著性模型,计算复杂度低,利于应用推广。     

改进视皮层视觉机制的视觉注意力模型

人类的视觉注意机制是人类大脑感知事物的最直接的功能。提出了一种基于视皮层视觉机制的生物激励注意模型。利用HMAX(hierarchical maximization)模型的四层机制中的C1细胞单元图,构造独立成分分析(independent component analysis,ICA)滤波器组,进一步利用对尺度、平移等均具有不变性的C2细胞特征,以及香农熵理论,共同构造用于视觉显著性区域检测的测度。在心理学实验的自然场景图像以及心理学刺激模式上的结果表明,该方法与传统方法相比,更符合人眼的感知特性,从而进一步验证了该方法的有效性和准确性。     

基于说话人辨识的自上而下听觉显著性注意模型

为体现听觉注意神经信息处理计算机制对听觉场景内容的自动分析与理解功能,本文基于人耳对频率变换的感知特性,结合深度信念网络的说话人辨识与听觉显著模型,提出了一种自上而下的听觉显著性注意提取模型.仿真结果表明:该模型具有可行性,同时在利用深度信念网络的说话人辨识技术中能够有效地凸显目标说话人的显著度.     

一种动态场景中的视觉注意区域检测方法

利用心理学中有关视觉注意的研究成果,提出一种新的动态场景中的视觉注意区域检测算法.该算法利用视觉对场景的感知的特点,以特征点轨迹作为运动特征,计算特征点运动的显著性,并用运动显著的特征点作为"种子",结合空间分割方法产生运动显著图.为了兼顾静态场景,则利用颜色和亮度作为特征,以center-surround反差模型获得图像的静态显著图. 最后提出一种基于运动优先思想的方法将运动和空间显著图进行动态融合,生成视觉注意区域.与以往方法相比,该方法生成的视觉注意区域较为完整,并且具有更好的抗噪性.实验结果证明了该方法的有效性和稳定性.     

基于频域多尺度分析的显著性检测

针对现有显著性检测方法得到的显著区域不完整以及缺乏生物学依据的不足,提出一种基于频域多尺度分析的图像显著性检测方法.首先利用小波变换将输入图像的离散余弦变换(DCT)系数的幅度谱进行多尺度分解,计算得到多尺度下的空间域视觉显著图,然后依据显著性评价函数选出较优显著图,最后以自适应权重合成输入场景的视觉显著图.对不同类型数据集进行实验,包括心理物理学模板数据集、人眼注视轨迹数据集及显著目标分割数据集(包括ASD和ECSSD数据集),该方法对于多类型数据集在P-R曲线、ROC曲线及AUC指标等客观评价标准上均取得较高精确度,且在计算速度统计中计算较快,表明该方法优于其他经典的显著性检测方法.     

基于视觉注意力模型的高速铁路轨道病害检测

提出了基于视觉注意力模型的高速铁路轨道病害检测方法.采用基于稀疏采样和核密度估计的视觉注意力模型,得到高速铁路车载视频的显著图,进而提取视频中包含病害的区域;为了解决病害图像分类中的小样本问题,结合已标记样本和未标记样本,提出了基于生成模型的半监督分类方法,并用于高速铁路轨道病害识别分类.对3种典型的轨道病害进行了检查与识别实验,实验结果表明,该方法具有很高的检测率和识别率.     

模拟初级视皮层注意机制的运动对象检測模型

视频监控的广泛应用使运动对象检测成为研究热点,但运动的不确定性增加了检测难度。鉴于人类视觉系统能高效地感知运动对象,研究者从神经生理学和心理学的角度提出了运动检测的生物学模型。根据上述研究成果,提出模拟初级视皮层的运动对象检测模型。使用三维Gabor时空滤波器模拟人类初级视皮层中简单细胞的经典感受野,通过非线性组合获取复杂细胞对运动对象刺激响应的运动能量,应用细胞的中心环绕作用及相关性运动检测增强运动信息并抑制环境干扰,采用信息融合获取运动对象的显著性图,并利用WTA神经网络模型实现对运动H标的感知。实验结果表明,该模型能有效检测到视频中的运动目标,运算速度较其他仿视神经加工的视觉注意模型更快。     

引入视觉注意机制的目标跟踪方法综述

视觉跟踪在无人飞行器、移动机器人、智能监控等领域有着广泛的应用,但由于目标外观和环境的变化,以及背景干扰等因素的存在,使得复杂场景下的鲁棒实时的目标跟踪成为一项极具挑战性的任务. 视觉注意是人类视觉信息处理过程中的一项重要的心理调节机制,在视觉注意的引导下,人类能够从众多的视觉信息中快速地选择那些最重要、最有用、与当前行为最相关的感兴趣的视觉信息,特别地,人类能够快速指向感兴趣的目标,从而可以轻松地实现对目标的稳定跟踪.因此,将视觉注意机制引入到复杂场景下的目标跟踪中,有利于实现更为稳定和接近于人类认知机制的视觉跟踪算法.本文旨在对引入了视觉注意机制的目标跟踪方法进行综述. 首先,介绍了视觉注意的基本概念及其代表性的计算模型;其次,对视觉注意与跟踪的内在关系进行了阐述;然后,对引入视觉注意机制的目标跟踪方法进行归纳、总结和分类,对代表性的方法进行介绍和分析;最后,对该类方法的特点和优势进行了讨论,并对未来的研究趋势进行了展望.     

基于对数Gabor的超复数视觉显著性检测算法

为在没有先验知识的情况下准确获取图像显著性目标,提出一种基于对数Gabor滤波器和超复数傅里叶变换的视觉显著性检测算法。利用对数Gabor滤波器模仿人类视觉感受野,对输入图像进行预处理,提取颜色、纹理方向等特征。根据所得特征构造各尺度下的超复数图像,并求其傅里叶变换相位谱,将多尺度超复数相位谱反变换后进行归一化,从而获得视觉显著图。实验结果表明,该算法与传统的算法相比具有更高的准确率,应用于复杂场景下的交通标志检测能取得较好的检测效果。     

基于近似高斯金字塔的视觉注意模型快速算法

利用输入图像的近似高斯金字塔,将经典的基于显著性的视觉注意模型改造为时空开销更小的版本,从而使其更加适合在嵌入式实时系统中实现.首先采用矩形窗口近似圆形窗口,矩形平均算子近似高斯卷积核;然后采用“先做行累加,再做列累加”的方法来实现矩形平均算子,并直接采样计算出各个特征通道的显著性分布图,该算法关于输入图像像素点个数具有线性时间复杂度;最后,还给出了在显著性分布图中抑制已提取区域显著性的快速算法.在Berkeley分割图像库上的实验结果表明,该方法极大地减小了系统实现的时空开销,且输出结果的误差在可接受范围内.提出的用矩形窗口近似圆形窗口,用矩形平均算子近似高斯卷积核的方法,还适用于其他需要在嵌入式实时系统中实现的图像处理问题.     

基于视觉注意机制的彩色图像显著性区域提取

图像显著性区域提取是计算机视觉处理的重要步骤。结合人类视觉心理、生理模型, 提出一种基于视觉注意机制的彩色图像显著性区域提取模型。通过改进的分水岭算法对彩色图像进行预分割, 从而将原图像分成若干子区域, 在此基础上运用提出的区域化空间注意力模型对各个子区域进行显著图计算, 得到最终的显著性区域提取结果。实验结果表明, 提出的显著性区域提取算法可以很好地从彩色图像中得到与视觉注意机制相一致的结果, 且满足实时性要求, 与传统方法相比, 算法提取的区域更完整、更准确。     

基于视觉显著度的多聚焦图像融合方法

多聚焦图像存在聚焦区和离焦区,聚焦区通常吸引人的注意力,具有突出的视觉显著性。传统融合算法缺乏对聚焦区域的定位能力,对多聚焦图像融合的适应性普遍较差。为此,提出一种模拟人类视觉注意机制的多聚焦图像融合方法。利用谱残差算法计算源图像的显著度图,通过判断不同源图像相同位置上的像素显著性,选择显著度大的图像像素组成该源图像的聚焦区,显著度相等的像素构成边界带,使用腐蚀膨胀操作消除聚焦区内的孤立像素点,以每幅源图像的聚焦区域和梯度值较大的边界带像素作为融合图像的像素。实验结果表明,该方法能自主选择清晰像素,获得37d B以上的高峰值信噪比,且基本无参数设置,在不同类型图像融合中均表现出较强的鲁棒性。