结合视觉感知与LBP傅里叶直方图的图像检索

为了有效地提取图像特征以提高图像检索性能,借鉴生物视觉信息处理过程中的提取图像特征,提出一种结合视觉感知与局部二值模式(LBP)傅里叶直方图的图像检索算法.首先根据视觉感知特点,用主分量图作为亮度初级视觉特征,将形状边缘信息融入视觉注意模型,获得改进的Itti视觉注意模型,并基于该改进视觉注意模型得到50个视觉特征图;...     

基于图像一致性计算的目标识别算法

视觉计算模型集合了人类视觉系统(HVS)的复杂特征,并模拟了视觉输入的分层感知表达。自底向上机制是现代模型中最常见的特征,是指无意识的注意,所提出的一致计算方法模拟自底向上视觉注意,并通过一致区域的计算来达到目标识别的目的。所提模型主要基于对HVS行为的目前的理解,使用对比敏感度函数、感知分解、视觉掩蔽形成一个神经性视觉空间,并在此基础上使用center-surround交互、感知编组和显著图的建立来得到最终的显著图。所提模型的性能通过使用自然图像来进行评估,并将其结果与参照的经典的自底向上模型进行对比,结果表明该模型实效性高。     

基于图半监督学习的医学图像检索

针对医学图像检索中底层特征不能完整地描述图像的高层语义的问题,提出一种基于图的半监督学习框架的医学图像检索算法.首先根据图像之间的距离关系构建图模型,并在标记传播过程中加入密度相似性约束,得到查询图像的类别归属度,即图像的视觉语义表示;然后提取图像分块SIFT特征,用词袋进行描述,以获取图像的局部特征;最后设计了结合视觉语义和局部特征的相似性度量准则.在ImageCLEFmed上的实验结果表明,该算法能够有效地表达图像的视觉语义,检索效率优于单一底层特征检索.     

一种动态场景中的视觉注意区域检测方法

利用心理学中有关视觉注意的研究成果,提出一种新的动态场景中的视觉注意区域检测算法.该算法利用视觉对场景的感知的特点,以特征点轨迹作为运动特征,计算特征点运动的显著性,并用运动显著的特征点作为"种子",结合空间分割方法产生运动显著图.为了兼顾静态场景,则利用颜色和亮度作为特征,以center-surround反差模型获得图像的静态显著图. 最后提出一种基于运动优先思想的方法将运动和空间显著图进行动态融合,生成视觉注意区域.与以往方法相比,该方法生成的视觉注意区域较为完整,并且具有更好的抗噪性.实验结果证明了该方法的有效性和稳定性.     

基于视觉信息的PCNN参数自适应设定及模型改进

脉冲耦合神经网络(PCNN)参数决定该模型在数字图像处理领域的应用.现阶段网络参数自适应设定是依据图像统计信息或网络自身结构.基于此,提出基于生物视觉信息的PCNN参数自适应设置方法及模型改进.该方法通过对生物视觉感知理论与PCNN网络性质的分析,揭示了视觉感知理论与PCNN网络参数M、W和β的同源性,给出依据视觉感知模型自适应设定PCNN网络参数W、M和β的方法,并设计出具有生物视觉特征的PCNN改进模型.实验验证了该模型的几何不变性,在基于内容的图像检索领域取得了良好效果.     

自然场景中的视觉显著对象检测

显著对象检测是视觉注意机制的一个重要应用基础研究,对于图像检索、场景分析、图像标注与对象识别都有着重要的研究意义。基于Tresiman特征整合理论和Koch计算框架,提出一种自然场景中视觉显著对象的检测方法。该方法首先建立适用于彩色自然场景的视觉显著度模型,计算多种不同特征的显著度,然后在融合不同特征的综合显著度图中提取显著对象。实验结果表明,与经典的Itti模型相比,这种方法不仅检测快速而且更准确地将视觉显著对象从背景中分离出来,更符合人眼的真实视觉注意过程。     

基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。     

对象级特征引导的显著性视觉注意方法

针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网（CNN）对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。     

基于感知哈希和视觉词袋模型的图像检索方法

针对移动增强现实中图像检索技术耗时长导致的实时性不高的问题,提出了一种 基于感知哈希和视觉词袋模型结合的图像检索方法。图像检索过程中,在保证一定正确率的基 础上加快了检索速度。首先,对数据集图像使用改进的感知哈希技术处理,选取与查询相似的 图像集合,达到筛选图像数据集的作用;然后,对相似图像集使用视觉词袋模型进行图像检索, 选取和查询图像中目标一致的目标图像。实验结果表明,该方法相比较视觉词袋模型算法检索 的平均正确率提高了 3.2%,检索时间缩短了 102.9 ms,能够满足移动增强现实中图像检索的实 时性要求,为移动增强现实系统提供了有利的条件。     

综合视觉注意模型的显著性局部特征提取算法研究

图像检索过程中往往会提取大量的局部特征,这将加大图像检索的计算量和复杂度,影响其应用。针对这一问题,提出了一种应用综合视觉注意模型的显著性分析提取局部特征的方法:在图像尺度空间中提取关键点,利用模糊增长技术查找原始图像的显著性区域,计算其综合视觉显著性权值并分类,提取SIFT描述因子,保留最突出的局部特征以提高检索性能。相比于传统的局部特征提取算法,本方法在图像检索精度和检索速度方面都具有明显优势。     

Hierarchical Visual Attention Model for Saliency Detection Inspired by Avian Visual Pathways

Visual attention is a mechanism that enables the visual system to detect potentially important objects in complex environment. Most computational visual attention models are designed with inspirations from mammalian visual systems. However, electrophysiological and behavioral evidences indicate that avian species are animals with high visual capability that can process complex information accurately in real time. Therefore, the visual system of the avian species, especially the nuclei related to the visual attention mechanism, are investigated in this paper. Afterwards, a hierarchical visual attention model is proposed for saliency detection. The optic tectum neuron responses are computed and the self-information is used to compute primary saliency maps in the first hierarchy. The "winner-take-all" network in the tecto-isthmal projection is simulated and final saliency maps are estimated with the regularized random walks ranking in the second hierarchy. Comparison results verify that the proposed model, which can define the focus of attention accurately, outperforms several state-of-the-art models. This study provides insights into the relationship between the visual attention mechanism and the avian visual pathways. The computational visual attention model may reveal the underlying neural mechanism of the nuclei for biological visual attention.      

What were we all looking at? Identifying objects of collective visual attention

We aim to identify the salient objects in an image by applying a model of visual attention. We automate the process by predicting those objects in an image that are most likely to be the focus of someone's visual attention. Concretely, we first generate fixation maps from the eye tracking data, which express the ground truth of people's visual attention for each training image. Then, we extract the high-level features based on the bag-of-visual-words image representation as input attributes along with the fixation maps to train a support vector regression model. With this model, we can predict a new query image's saliency. Our experiments show that the model is capable of providing a good estimate for human visual attention in test images sets with one salient object and multiple salient objects. In this way, we seek to reduce the redundant information within the scene, and thus provide a more accurate depiction of the scene.     

视觉选择性注意计算模型

提出一种用于智能机器人的视觉注意计算模型．受生物学启发,该模型模仿人类自下而上和自上而下 两种视觉选择性注意过程．通过提取输入图像的多尺度下的多个底层特征,在频域分析各特征图的幅度谱,在空域 构造相应的特征显著图．根据显著图,计算出注意焦点的位置和注意区域的大小,结合给定的任务在各注意焦点之 间进行视觉转移．在多幅自然图像上进行实验,并给出相应的实验结果、定性和定量分析．实验结果与人类视觉注 意结果一致,表明该计算模型在注意效果、运算速度等方面有效．     

一种用于复杂目标感知的视觉注意模型

针对自然场景图像中复杂结构目标的快速定位问题,提出一种新的视觉注意模型。对目标进行学习提取显著性图斑,将图斑的特征信息、异质图斑之间的相对位置关系引入视觉注意过程,采用基于图匹配的图斑搜索策略合并与目标特征相似的异质图斑,从而获得注意焦点。与自底向上的视觉注意模型进行实验对比,结果表明该模型能引入复杂结构目标的特征信息和结构信息,降低无效关注次数,提高视觉注意的效率。     

稀疏深度特征对传统显著性检测的优化

目的 显著性目标检测算法主要分为基于低级特征的传统方法和基于深度学习的新方法,传统方法难以捕获对象的高级语义信息,基于深度学习的新方法能捕获高级语义信息却忽略了边缘特征。为了充分发挥两种方法的优势,基于将二者结合的思路,本文利用稀疏能使得显著性对象指向性凝聚的优势,提出了一种基于稀疏自编码和显著性结果优化的方法。方法 对VGG（visual geometry group）网络第4个池化层的特征图进行稀疏自编码处理,得到5张稀疏显著性特征图,再与传统方法得到的显著图一起输入卷积神经网络进行显著性结果优化。结果 使用DRFI（discriminative regional feature integration）、HDCT（high dimensional color transform）、RRWR（regularized random walks ranking）和CGVS（contour-guided visual search）等传统方法在DUT-OMRON、ECSSD、HKU-IS和MSRA等公开数据集上进行实验,表明本文算法有效改善了显著性对象的F值和MAE（mean absolute error）值。在F值提高方面,优化后的DRFI方法提升最高,在HKU-IS数据集上提高了24.53%。在MAE值降低方面,CGVS方法降低最少,在ECSSD数据集上降低了12.78%,降低最多的接近50%。而且本模型结构简单,参数少,计算效率高,训练时间约5 h,图像的平均测试时间约为3 s,有很强的实际应用性。结论 本文提出了一种显著性结果优化算法,实验结果表明算法有效改善了显著性对象F值和MAE值,在对显著性对象检测要求越来越准确的对象识别等任务中有较好的适应性和应用性前景。     

一种鲁棒的夜间图像显著性对象检测模型

基于人类视觉注意机制的显著性对象检测模型作为能主动感知图像中重要信息的有效方法,对探索视觉早期认知过程的大范围知觉信息组织具有重要意义.然而由于夜间图像具有低信噪比和低对比度特性,现有的视觉显著性对象检测模型在夜间场景中容易受到噪声干扰、弱纹理模糊等多方面因素的影响.有鉴于此,本文提出了一种基于区域协方差和全局搜索的夜间图像显著性对象检测方法.首先将输入图像分割为超像素块,并分别计算它们的协方差.然后使用超像素块协方差的差异性作为适应度函数,并结合全局搜索算法来优化各个超像素块的显著值.最后通过图扩散方法来精炼显著图结果.实验测试采用了5个公开图像数据集和1个夜间图像数据集,通过与11种目前主流的视觉显著性对象检测模型进行对比,综合评价了本文所提出模型的性能.     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

深度连接的超轻量化子空间注意模块

针对紧凑型卷积神经网络在部署现有注意力机制存在计算量或参数开销大的问题,提出一种改进的超轻量化子空间注意模块。首先,深度连接的子空间注意模块(Deep Connected Subspace Attention Mechanism, DCSAM)划分特征图为若干特征子空间,为每个特征子空间推导不同的注意特征图;其次,改进特征子空间进行空间校准的方式;最后,建立前后特征子空间的连接,实现前后特征子空间的信息流动。该子空间注意机制能够学习到多尺度、多频率的特征表示,更适合细粒度分类任务,且与现有视觉模型中的注意力机制是正交和互补的。实验结果表明,在ImageNet-1K和Stanford Cars数据集上,MobileNetV2在参数量和浮点运算数分别减少12%和24%的情况下,最高精度分别提高了0.48和约2个百分点。     

有指向性的视觉注意计算机模型

注意把有限的处理资源优先分配给那些需要精细加工的信息,能提高视觉信息加工中的检测能力和响应速度.基于生物视觉系统的生理结构特点,建立了模拟生物视觉注意系统的有指向性的视觉注意计算机模型.模型首先模拟生物视网膜的成像机制,将视场图像转化为视网膜图像;然后将最大梯度边缘检测和c-均值聚类等方法相结合,对视网膜图像中的目标进行编码,分别提取每个目标的颜色、中心以及边缘点集合等基本信息;最后用知识库中指向性目标的特征来指导注意焦点的转移.实验结果表明,利用此模型能较好地实现注意焦点的转移.