一种图像的感兴趣区域提取方法

感兴趣区域(Region of interests,ROI)是图像中可能引起人眼视觉关注的区域。根据视觉注意机制的经典模型Itti模型来提取图像的低层特征,利用局部迭代的特征合并策略并在此基础上综合自动阈值分割和种子点的区域生长方法得到感兴趣区域的提取方法。实验结果表明该方法符合生物的视觉注意机制,具有良好的鲁棒性。     

基于灰度概率统计的视觉注意改进算法

分析了基于自底向上的视觉注意计算模型的感兴趣区域检测方法;它分别提取颜色、灰度、纹理三个特征图像,然后进行线性融合得到综合显著图。而显著目标通常自身灰度相近,但与背景灰度不同,根据这个特性结合灰度概率统计方法对视觉注意计算模型进行改进。实验结果验证了,该模型能够更好的模拟视觉注意的过程,而且计算复杂度较低。     

融合深度信息的室内RGB图像视觉显著物体快速检测方法

针对传统视觉注意机制在室内三原色(RGB)图像视觉显著物体检测中存在的运算复杂、检测精度低等缺点,提出了一种融合深度信息的室内RGB图像视觉显著物体快速检测方法。对室内RGB图像进行降采样和金字塔量化处理,从而降低图片的空间分辨率和计算复杂度。利用亮度、红绿以及黄蓝三通道的多特征视觉注意机制显著性检测模型以获得室内RGB图像的显著图。在显著图分析中提出显著区域生长策略,从而获得视觉显著区域的精确轮廓。融合深度信息获取视觉显著区域内显著物体数目以及显著物体相互之间的位置关系。通过室内场景实验,验证了方法的可行性和有效性。     

视觉注意驱动的基于混沌分析的运动检测方法

提出了视觉注意驱动的基于混沌分析的运动检测方法(MDSA).MDSA首先基于视觉注意机制提取图像的显著区域,而后对显著区域进行混沌分析以检测运动目标.算法技术路线为:首先根据场景图像提取多种视觉敏感的底层图像特征;然后根据特征综合理论将这些特征融合起来得到一幅反映场景图像中各个位置视觉显著性的显著图;而后对显著性水平最高的图像位置所在的显著区域运用混沌分析的方法进行运动检测;根据邻近优先和返回抑制原则提取下一最显著区域并进行运动检测,直至遍历所有的显著区域.本文对传统的显著区域提取方法进行了改进以减少计算量:以邻域标准差代替center-surround算子评估图像各位置的局部显著度,采用显著点聚类的方法代替尺度显著性准则提取显著区域;混沌分析首先判断各显著区域的联合直方图(JH)是否呈现混沌特征,而后依据分维数以一固定阈值对存在混沌的JH中各散点进行分类,最后将分类结果对应到显著区域从而实现运动分割.MDSA具有较好的运动分割效果和抗噪性能,对比实验和算法开销分析证明MDSA优于基于马塞克的运动检测方法(MDM).     

航天遥感图像感兴趣区域的自动提取方法

感兴趣区域提取是航天遥感图像分析的重要前提。随着图像空间分辨率的提高,场景内显著目标以及背景变得愈加复杂。利用传统的特征提取技术将会耗费大量计算空间和时间。提出了基于改进视觉注意方法的感兴趣区域自动提取,在HSV空间将目标与背景在颜色和亮度上的差异作为显著特征,利用高斯金字塔和中心-周边求差算子计算图像的显著特征图,并对特征图进行归一化和线性融合,设计注意焦点的转移步骤,完成感兴趣区域的自动提取。通过仿真和实验可以看出,本方法能有效地实现航天遥感图像感兴趣区域的自动提取。     

一种基于视觉注意机制的感知物体提取算法

针对图像中感知物体提取问题,借鉴认知学对视觉信息表达的研究成果,提出一种感知物体的数学定义,并由视觉注意计算模型得到的视觉注意显著图选择区域增长算法的种子区域。建立图像中感知物体的马尔可夫随机场模型,通过度量图像中感知物体的显著性、边缘和同质性分布情况,最小化能量函数提取出图像中的感知物体。对含有飞机的图像中感知物体的提取实验,验证了提出算法的有效性、以及在认知上的合理性。     

基于尺度空间表示的视觉注意区域选择

针对现有视觉注意计算模型中视觉特征图多尺度表示存在的问题,研究了基于非线性尺度空间的视觉特征图表示方法,通过建立视觉特征图的非线性尺度空间表示,在实现中央一外周计算策略的同时,可以有效保留边缘等局部细节信息.同时,在视觉注意特征图尺度空间表示基础上,提出了一种视觉注意区域的最佳尺度选择算法.实际图像显著区域选择的实验结果表明,该算法是有效的,在认知上是合理的.     

基于视觉注意机制的UWB SAR叶簇隐蔽目标变化检测

在超宽带合成孔径雷达叶簇隐蔽目标检测中,传统的UWB SAR图像变化检测方法易受图像灰度值起伏和成像条件变化的影响,致使现有的变化检测算法的性能下降.本文根据人类视觉系统的生理结构和认知特点,提出了一种基于视觉注意机制的叶簇隐蔽目标变化检测算法.该方法使用视觉注意模型,将图像的多尺度特征信息融合为单幅视觉显著图像,并利用图像局部邻域信息和目标的空间相关特性对视觉显著图中视觉注意焦点进行分层筛选和变化检测.实验结果表明:本文中基于视觉注意机制的变化检测方法可以有效检测多时相UWB SAR图像中的叶簇隐蔽目标,较之传统的基于统计原理的变化检测方法,其检测速度更快,且对场景复杂的UWB SAR图像亦具有鲁棒性.     

基于自适应形态学滤波的红外小目标检测算法

针对低对比度下小目标常被大量背景杂波和噪声干扰,检测结果不理想的问题,提出了一种基于视觉注意机制与自适应双结构元素形态学滤波的红外小目标检测方法。根据人类视觉对比机制对图像进行感兴趣区域(ROI)提取以确定候选目标,通过提取轮廓获得候选目标的尺寸,并由获取的尺寸自适应构造双结构元素。运用双结构元素形态学滤波抑制噪声和杂波信号,用中值滤波对形态学滤波后的杂点噪声进一步抑制。实验表明本文提出的算法能有效抑制噪声干扰,显著提高目标信杂比,准确检测弱小红外目标,算法具有很好的鲁棒性和实时性。     

基于视觉显著模型的遥感图像舰船快速检测

为了降低传统高分辨率海面遥感图像舰船目标检测方法的计算复杂度,提高检测速度,在舰船目标检测中引入了基于直方图对比度的视觉显著模型和空间降维算法,提出一种新的高分辨率海面遥感图像舰船目标快速检测算法。首先对高分辨率遥感图像进行空间降维,然后计算降维图的视觉显著图,突出感兴趣目标区域,最后利用最大类间方差法分割视觉显著图以获取舰船目标候选区域。结果表明,目标检测所消耗的时间减小为原来的10%~12%,弱化了复杂海面纹理背景对目标检测的影响。该研究提高了高分辨率遥感图像舰船目标的检测效率。     

基于区域增长的遥感影像视觉显著目标快速检测

针对传统视觉注意模型在遥感影像视觉显著区域检测中存在的计算复杂度高、检测精度低等缺点,提出了一种新的视觉显著区域快速检测算法。首先利用整数小波变换降低遥感影像的空间分辨率,从而降低视觉注意焦点检测的计算复杂度;然后在视觉特征融合中引入二维离散矩变换,生成边缘与纹理信息更为丰富的遥感影像显著图;最后在显著图分析中提出区域增长策略来获得视觉显著区域的精确轮廓。实验结果表明,新算法不仅有效降低了遥感影像视觉显著区域检测的计算复杂度,而且能够精确描述视觉显著区域的轮廓信息,同时避免了对整幅遥感影像的分割与特征提取,为今后的遥感影像目标检测提供了一定地参考价值。     

一种基于立体视觉显著性的多视点视频比特分配方法

针对多视点立体视频压缩编码,提出了一种基于立 体视觉显著性的比 特分配方法。研究综合利用多视点立体视频数据中场景的运动、深度以及深度边缘信息提取 人眼感兴趣区 域(ROI)的方法;然后根据ROI的划分结果优化区域比特分配。实验结果表 明,本文提出的算法能有效提 高ROI区域的编码性能,同时整体视频的率失真性能有一定程度的提高。     

A heuristic framework for perceptual saliency prediction

Saliency prediction can be regarded as the human spontaneous activity. The most effective saliency model should highly approximate the response of viewers to the perceived information. In the paper, we exploit the perception response for saliency detection and propose a heuristic framework to predict salient region. First, to find the perceptually meaningful salient regions, an orientation selectivity based local feature and a visual Acuity based global feature are proposed to jointly predict candidate salient regions. Subsequently, to further boost the accuracy of saliency map, we introduce a visual error sensitivity based operator to activate the meaningful salient regions from a local and global perspective. In addition, an adaptive fusion method based on free energy principle is designed to combine the sub-saliency maps from each image channel to obtain the final saliency map. Experimental results on five natural and emotional datasets demonstrate the superiority of the proposed method compared to twelve state-of-the-art algorithms.     

一种基于视觉注意模型的可移动目标检测方法

提出了一种基于视觉显著性的目标检测算法,用于对位于地面上的车辆、飞 机等地面可移动目标进行检测和定位。针对地面可移动目标在场景中较小的特点,设计了一种用于对 目标检测进行引导的基于视觉注意机制的目标显著模型。首先,提取图像目标的颜色特征、强 度特征和方向Gabor特征,并将其结合起来用于计算显著图。然后以超像素为单位对 显著值进行计算,并结合人眼视觉敏感度对不同距离的超像素之间的差异进行加权处理。实 验结果表明,本文算法可以有效地检测并定位出复杂背景中的地面可移动目标。     

Spatiotemporal saliency for video classification

Computer vision applications often need to process only a representative part of the visual input rather than the whole image/sequence. Considerable research has been carried out into salient region detection methods based either on models emulating human visual attention (VA) mechanisms or on computational approximations. Most of the proposed methods are bottom-up and their major goal is to filter out redundant visual information. In this paper, we propose and elaborate on a saliency detection model that treats a video sequence as a spatiotemporal volume and generates a local saliency measure for each visual unit (voxel). This computation involves an optimization process incorporating inter- and intra-feature competition at the voxel level. Perceptual decomposition of the input, spatiotemporal center-surround interactions and the integration of heterogeneous feature conspicuity values are described and an experimental framework for video classification is set up. This framework consists of a series of experiments that shows the effect of saliency in classification performance and let us draw conclusions on how well the detected salient regions represent the visual input. A comparison is attempted that shows the potential of the proposed method.     

基于显著区域提取的红外图像舰船目标检测

针对复杂海面背景下红外图像舰船目标由于灰度不均匀、海杂波干扰大等因素造成的自动检测虚警率高、准确率低的问题,提出了一种显著区域提取和目标精确分割相结合的红外舰船目标检测方法。首先,利用基于图论的视觉显著性(Graph-based Visual Saliency ,GBVS)模型计算待检测图像的显著图,使得目标区域信息增强;其次,结合舰船目标先验信息（长短轴、面积等）,利用多级阈值划分算法提取关注的显著区域,并确定原图中候选目标区域;最后,利用空间约束模糊C均值(Fuzzy C-Means,FCM)算法对候选区域进行分割,结合目标先验知识对分割区域筛选并输出目标位置。所提方法在公开数据集IRShips上与相关方法进行比较,结果表明,相比直接进行全图目标搜索的方法,所提方法不仅准确率高、执行速度快,且检测目标的位置更加精确。     

Local relation network with multilevel attention for visual question answering

With the tremendous success of the visual question answering (VQA) tasks, visual attention mechanisms have become an indispensable part of VQA models. However, these attention-based methods do not consider any relationship among regions, which is crucial for the thorough understanding of the image by the model. We propose local relation networks for generating context-aware image features for each image region, which contain information on the relationship among the other image regions. Furthermore, we propose a multilevel attention mechanism to combine semantic information from the LRNs and the original image regions, rendering the decision of the model more reasonable. With these two measures, we improve the region representation and achieve better attentive effect and VQA performance. We conduct numerous experiments on the COCO-QA dataset and the largest VQA v2.0 benchmark dataset. Our model achieves competitive results, proving the effectiveness of our proposed LRNs and multilevel attention mechanism through visual demonstrations.     

注意力模型指导下的视频质量评价方法

在视频质量评价方法中,常常需要对人眼视觉系统做出合理的假设,其中注意力模型就是一个很重要的因素。提出了一种在注意力模型指导下的视频质量评价方法,在图像帧的质量评价中加入了显著性区域信息,使之更能符合人眼视觉特性,并兼顾了视频中的运动信息,在一定程度上提高了客观质量评价方法的性能。     

Fixation prediction for advertising images: Dataset and benchmark

Existing saliency prediction methods focus on exploring a universal saliency model for natural images, relatively few on advertising images which typically consists of both textual regions and pictorial regions. To fill this gap, we first build an advertising image database, named ADD1000, recording 57 subjects’ eye movement data of 1000 ad images. Compared to natural images, advertising images contain more artificial scenarios and show stronger persuasiveness and deliberateness, while the impact of this scene heterogeneity on visual attention is rarely studied. Moreover, text elements and picture elements express closely related semantic information to highlight product or brand in ad images, while their respective contribution to visual attention is also less known. Motivated by these, we further propose a saliency prediction model for advertising images based on text enhanced learning (TEL-SP), which comprehensively considers the interplay between textual region and pictorial region. Extensive experiments on the ADD1000 database show that the proposed model outperforms existing state-of-the-art methods.