应用于图像检索的视觉注意力模型的研究

利用视觉注意力模型进行图像检索是一个新的研究方向。介绍了几种视觉注意力模型原理,在分析和总结了基于注意力模型图像检索的应用和特点的基础上,进一步给出了面向图像检索的视觉注意力模型的发展前景。     

基于集成多尺度注意力的图像篡改定位

近年来,基于卷积神经网络图像拼接篡改检测算法取得了相当的进展.然而,由于篡改对象的大小和类型不同,现有的大多数模型仍然不能取得令人满意的效果.针对这些问题,提出一种集成多尺度注意力的网络进行图像篡改定位算法.首先在编码器中添加多尺度的双注意力模块——位置注意力和通道注意力,其中,位置注意力模块通过捕捉任意2个特征图的位置关系获取特征图在空间维度上的语义信息依赖关系,使每个像素点均能感知其余位置像素点的信息;通道注意力模块采用与位置注意力相似的自注意力操作捕捉任意2个通道映射之间的关系,使像素点感知到其余通道像素点的信息.考虑到篡改目标大小不同,多尺度注意力模块将特征图划分为多个子区域,在捕获长程语义信息依赖关系的同时也能适应各种形状大小的篡改区域,可以更好地处理不同尺度的拼接篡改图,降低高分辨率特征图的计算开销.在公开数据集CASIA上进行实验的结果表明,所提算法得到的F₁和IoU值分别达到62.3%和61.2%,比其他现有算法有明显提升.     

基于深度哈希与注意力机制的花卉图像检索

针对当前的花卉识别方法在真实场景下容易受背景、光照等因素干扰导致识别准确率低、识别速度慢的问题,提出一种基于深度哈希与注意力机制相结合的图像检索方法用于花卉识别。上述方法在神经网络中融合了注意力机制用于降低背景干扰提升特征质量,并增加一个哈希层降低特征维度以提升检索效率,在图像预处理阶段采用自适应直方图均衡化降低光照干扰影响。实验结果表明,在更接近真实场景的自制花卉数据集True Flowers上,所提方法与传统神经网络方法相比平均检索精度提升了1.3%,检索速度提升了156倍,在公共数据集Oxford 17 Flowers上新方法的准确率要高于其它文献方法,由此证明了新方法的有效性和先进性。     

基于空间注意力下边缘图融合的草图图像检索

基于草图的图像检索任务根据用户提供的手绘草图,从图像数据库中检索得到与该草图对应的自然图像.与传统基于内容的图像检索不同,草图和自然图像间存在明显的域差异,这使得二者的特征难以直接进行比较.针对自然图像边缘图和草图的相似性,提出了空间注意力下的边缘图融合模型,将自然图像和对应的边缘图分别编码到各自的特征空间,再通过空间注意力掩膜进行加权融合,进而用于草图图像检索.所提模型可以更有效地编码物体边缘轮廓的特征,分别在Sketchy和Flickr15K数据集的草图图像检索任务上取得了比前人方法更高的Recall@1和MeanAP指标.     

图像自动标注及其在图像检索上的应用研究

随着图像检索、图像分类等的广泛应用,图像自动标注技术的准确性亟待提高。本文在decode部分的LSTM网络中加入注意力机制,同时采用更为复杂的multi-headattention模型结构,利用公开数据集和经典模型对比实验,图像检索查准率和查全率得到了有效的提高。     

基于注意力金字塔与监督哈希的细粒度图像检索

大规模细粒度图像检索是一项极具挑战性的任务。由于图像间具有类间距离小、类内距离大的特点,传统的深度神经网络学习到的图像特征存在高度冗余,导致检索速度慢、存储成本高昂。为解决该问题,提出了一种基于注意力金字塔与监督哈希的深度神经网络模型。在特征提取网络中,针对细粒度图像的特点,采用了双通路金字塔结构,并设计了自上而下的特征通路及自下而上的注意力通路,借此更好地融合高层与低层特征。在分类网络中,为压缩存储空间、提高检索效率,在深度哈希的基础上使用tanh(x)代替sign(x)作为激活函数,使学习到的哈希函数更容易达到平稳分布;同时结合量化损失与分类损失,使生成的哈希码更好地与原始输入图像的特征匹配。在FGVC-Aircraft及Stanford Cars两个标准细粒度数据集上的准确率分别达到82.3%、83.3%,均优于其他对比算法,证明了算法的有效性。     

面向医学图像分割的多注意力融合网络

在深度医学图像分割领域中,TransUNet是当前先进的分割模型之一。但其编码器未考虑相邻分块之间的局部联系,在解码器上采样过程中缺乏通道间信息的交互。针对以上问题,提出一种多注意力融合网络（MFUNet）模型。首先,在编码器部分引入特征融合模块（FFM）来增强模型对Transformer中相邻分块间的局部联系并且保持图片本身的空间位置关系;其次,在解码器部分引入双通道注意力（DCA）模块来融合多级特征的通道信息,以增强模型对通道间关键信息的敏感度;最后,通过结合交叉熵损失和Dice损失来加强模型对分割结果的约束。在Synapse和ACDC公共数据集上进行实验,可以看出,MFUNet的Dice相似系数（DSC）分别达到了81.06%和90.91%;在Synapse数据集上的Hausdorff距离（HD）与基线模型TransUNet相比减小了11.5%;在ACDC数据集中右心室和心肌两部分的分割精度与基线模型TransUNet相比分别提升了1.43个百分点和3.48个百分点。实验结果表明,MFUNet在医学图像的内部填充和边缘预测方面均能实现更好的分割效果,有助于提升医生在临床实践中的诊...     

集成学习SVM在图像检索中的应用

提出一种基于SVM和Adaboost集成学习相结合的相关反馈算法。在相关反馈过程中选择最具信息的样本训练支持向量机,可以有效减少相关反馈的次数和所需学习样本的数量,通过两者的互补来有效地提高图像检索的精度。最后提出Adaboost算法对SVM分类器进行加权投票,这样进一步提高了图像检索的性能。实验表明,该方法较好地解决了图像检索中的小样本选择问题,能够显著提高图像检索的效率和性能。     

基于多纹理特征的商标图像检索

提出了一种基于多纹理特征的商标图像检索方法。首先对图像纹理特征进行分析,从人眼视觉角度选用粗糙度和方向性这2个纹理特征量;从统计分析的角度出发,基于图像灰度共生矩阵描述了二阶矩、熵、对比度和均匀性这4个纹理特征量。这6个纹理特征量从不同角度刻画了图像特征,对其归一化后用欧氏距离进行图像相似性度量。通过实验,证明了该方法可以取得比较满意的检索结果。     

结合注意力模型与双峰高斯分布的深度哈希检索算法

哈希检索因为具有存储空间小、检索速度快的特点而受到广泛关注.目前深度哈希算法存在2个主要问题:深度哈希编码本质上是二值化特征,并且编码长度较短,存在特征表达能力有限的问题;已有的深度哈希算法无法直接通过反向传播学习离散哈希编码,通常将离散值松弛为连续值来优化学习,存在量化误差的问题.针对以上问题,提出一种结合注意力模型和双峰高斯分布的深度哈希检索算法.该算法设计嵌入空间和通道注意力模型的网络结构,关注重要特征并抑制不必要特征,增强了哈希编码的特征表达能力;同时为了解决量化误差问题,将均值为+1/-1的双峰高斯分布作为先验分布,并借鉴变分自编码机的思想,提出通过KL散度约束哈希编码分布服从先验分布,以减少量化误差.在3个基准数据集CIFAR-10,ImageNet,NUS-WIDE上,在不同码位下计算MAP结果显示,其MAP值优于对比的其他算法,取得了良好的检索效果,验证了文中算法的有效性.     

基于颜色视觉关注度的图像检索

在视觉形成的过程中,视觉、视知觉系统对不同颜色显示出不同的分辨力和关注度。在图像检索算法中,如何反应、利用这种视觉特性具有重要的研究意义。首先,根据视觉生理学和视觉心理学理论阐明了颜色关注度差异化的形成机理;然后依据Stevens法则和HSV颜色空间的六棱锥模型,提出了一种构造颜色关注度函数的方法:通过提升视觉显著度高的颜色的相应特征的关注度权值,补偿由于感知识别系统的颜色敏感度随颜色变化而引起的视觉差异。对比实验证明该文算法切实有效。     

基于内容的图像检索技术研究

阐述基于内容的图像检索研究中存在的问题,并介绍其基本原理、检索方法、关键技术以及研究的进展和趋势.     

图像主题区域提取及其在图像检索中的应用

图像主题区域是表达图像主要语义内容的部分.根据图像不同区域的视觉显著性差异特点,利用改进的视觉注意模型,提取图像的主题区域,并划分为不同语义类别.提出基于主题区域的图像检索方法,该方法能按照图像主题区域所属的语义类别,在图像之间有针对性地选择同类别主题区域进行区域相似性比较.实验结果表明,此方法可以更有效地表达图像的主要语义内容,提高图像检索的效率和准确性.     

一种新的基于区域的图像检索方法

论文提出了一种新的基于区域的图像检索方法。与传统的基于区域的检索方法相比,论文从组成目标对象的基本结构角度出发分割图像,利用少量色彩等级更易描述对象主要构成的特性提取一组能够描述对象基本组成的区域序列。采用这些区域列的面积作为图像特征,用于图像检索。实验表明,该算法简单但非常有效,而且对图像的旋转、尺度变化具有良好的鲁棒性。     

基于广义图像灰度共生矩阵的图像检索方法

当图像发生旋转或大小改变显著时,用已有的基于灰度共生矩阵的图像检索方法,不能很好地给出检索结果,在此基础上,该文提出一种基于广义图像灰度共生矩阵的图像检索方法。该方法将原图像作平滑处理得到平滑图像,然后将原图像和平滑图像组合起来得到广义图像灰度共生矩阵,提取该矩阵的统计特征量后,将其组成向量并归一化后用于检索。该方法引入了图像的空间信息,对于图像旋转和尺寸变化均不敏感。实验结果与性能比较表明,新方法的效果优于单纯的灰度共生矩阵法。     

基于空间信息的直方图图像检索

从具有同一灰度的像素角度出发,寻找空间分布差异,引入面积变量,构造了平均面积直方图,间接捕捉到色彩的空间分布特征,从而能够区别色彩分布相似但空间分布不同的图像,尤其适用于纹理丰富的图像的检索,获得了满意的效果.     

基于内容的图像检索技术研究

介绍了基于内容的图像检索与文本关键词检索的不同，阐述了基于内容图像检索的基本原理、检索方式和关键技术以及医学图像检索方法。     

一种快速JPEG图像检索方法

给出了一种基于归一化转动惯量（Normalized Moment Inertia,NMI)的JPEG图像快速检索方法,其特点是直接在压缩域中DCT系数进行块分类,每一类分块形成一个直值索引图,统计该索引图的NMI值作为该类的一个特征,所有类的NMI特征构成了图像的一个特征序列,以此进行图像检索。本方法不需要完全解压缩,降低了计算复杂度,对图像的平移,旋转和尺度变换有较好的鲁棒性,试验结果表明这种图像检索方法具有良好的检索性能。     

一个基于语义的图像检索系统:VisEngine

介绍了一个基于语义的图像检索系统——VisEngine,该系统采用基于图像主要区域的图像分割方法,分别提取图像前景、背景和全局的视觉和抽象语义内容,构造相应的语义模板。接着把这些特征导入到一个面向对象的中间信息结构中,在此基础上进行多种方式的相似性匹配和检索。系统支持多种查询方式,用户交互界面自然友好。实验表明,VisEngine系统能有效地提高首次用户查询的正确性。