基于卷积神经网络和监督核哈希的图像检索方法

当前主流的图像检索方法采用的视觉特征,缺乏自主学习能力,导致其图像表达能力不强,此外,传统的特征索引方法检索效率较低,难以适用于大规模图像数据.针对这些问题,本文提出了一种基于卷积神经网络和监督核哈希的图像检索方法.首先,利用卷积神经网络的学习能力挖掘训练图像内容的内在隐含关系,提取图像深层特征,增强特征的视觉表达能力和区分性;然后,利用监督核哈希方法对高维图像深层特征进行监督学习,并将高维特征映射到低维汉明空间中,生成紧致的哈希码;最后,在低维汉明空间中完成对大规模图像数据的有效检索.在ImageNet-1000和Caltech-256数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,提高图像检索效率,优于当前主流方法.     

基于深度卷积神经网络和二进制哈希学习的图像检索方法

随着图像数据的迅猛增长,当前主流的图像检索方法采用的视觉特征编码步骤固定,缺少学习能力,导致其图像表达能力不强,而且视觉特征维数较高,严重制约了其图像检索性能。针对这些问题,该文提出一种基于深度卷积神径网络学习二进制哈希编码的方法,用于大规模的图像检索。该文的基本思想是在深度学习框架中增加一个哈希层,同时学习图像特征和哈希函数,且哈希函数满足独立性和量化误差最小的约束。首先,利用卷积神经网络强大的学习能力挖掘训练图像的内在隐含关系,提取图像深层特征,增强图像特征的区分性和表达能力。然后,将图像特征输入到哈希层,学习哈希函数使得哈希层输出的二进制哈希码分类误差和量化误差最小,且满足独立性约束。最后,给定输入图像通过该框架的哈希层得到相应的哈希码,从而可以在低维汉明空间中完成对大规模图像数据的有效检索。在3个常用数据集上的实验结果表明,利用所提方法得到哈希码,其图像检索性能优于当前主流方法。     

基于深度哈希算法的极光图像分类与检索方法

面对形态万千、变化复杂的海量极光数据,对其进行分类与检索为进一步研究地球磁场物理机制和空间信息具有重要意义。该文基于卷积神经网络(CNN)对图像特征提取方面的良好表现,以及哈希编码可以满足大规模图像检索对检索时间的要求,提出一种端到端的深度哈希算法用于极光图像分类与检索。首先在CNN中嵌入空间金字塔池化(SPP)和幂均值变换(PMT)来提取图像中多种尺度的区域信息;其次在全连接层之间加入哈希层,将全连接层最能表现图像的高维语义信息映射为紧凑的二值哈希码,并在低维空间使用汉明距离对图像对之间的相似性进行度量;最后引入多任务学习机制,充分利用图像标签信息和图像对之间的相似度信息来设计损失函数,联合分类层和哈希层的损失作为优化目标,使哈希码之间可以保持更好的语义相似性,有效提升了检索性能。在极光数据集和 CIFAR-10 数据集上的实验结果表明,所提出方法检索性能优于其他现有检索方法,同时能够有效用于极光图像分类。     

基于三维卷积和哈希方法的视频检索算法

视频信息检索与其他多媒体检索的最大不同在于视频信息量较大,因此进行视频间相似度计算时的计算量较大。此外,对视频特征的提取中常常忽略视频帧之间的时间相关性,从而导致特征提取不充分,影响视频检索的精度。为此,文中提出基于三维卷积和哈希方法的视频检索方法。该方法构建了一个端到端的框架,使用三维卷积神经网络来提取视频中代表帧的特征,并将视频特征映射到低维的汉明空间中去,在汉明空间计算相似度。在两个视频数据集下的实验结果表明,相较于当前最新的视频检索算法,文中所提方法在精度上有较大的提升。     

一种改进的二进制哈希编码方法

为了应对手工视觉特征与哈希编码过程不能最佳地兼容以及现有哈希方法无法区分图像语义信息的问题,提出一种基于深度卷积神经网络学习二进制哈希编码的方法.该方法基本思想是在深度残差网络中增加一个哈希层,同时学习图像特征和哈希函数;以此同时提出一种更加紧凑的分级哈希结构,用来提取更加接近图像语义的特征.经MNIST、CIFAR-10、NUS-WIDE数据集的实验,结果表明该方法优于现有的哈希方法.该方法不仅统一了特征学习和哈希编码的过程,同时深层残差网络也能得到更接近图像语义的特征,进而提高了检索准确度.     

基于特征共现的无监督哈希检索算法

现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法（Unsupervised Hash retrieval algorithm based on Feature Co-occurrence, UHFC）。该算法共分为两个阶段：深度特征提取和无监督哈希生成。为提高图像特征的质量,UHFC在卷积神经网络(Convolutional Neural Network, CNN)结构的最后一层卷积后引入了共现层,用来提取特征之间的依赖关系。并用共现激活值的均值来表示共现程度,解决原共现操作存在相同两个通道的共现值不一致的问题;接着,在特征融合部分UHFC设计一种适用于共现特征融合的,结合空间注意力机制的注意特征融合方法（Attention Feature Fusion method based on Spatial attention, AFF-S）。通过注意力机制自主学习共现特征与深度特征融合的权重,降低特征融合过程中背景因素的干扰,提高最终图像特征的表达能力...     

基于多尺度融合和投影匹配约束的跨模态哈希方法

大多数基于深度学习的跨模态哈希方法直接通过神经网络学习不同模态数据的统一哈希码。这些方法忽略了单模态数据不同尺度包含不同语义信息这一影响数据特征表示的因素以及低维特征在弥合模态鸿沟上的重要性。基于上述问题,提出一种基于多尺度融合和投影匹配约束的跨模态哈希方法（MFPMC）。通过设计图像多尺度融合网络和文本多尺度融合网络来获取不同模态数据的低维特征,引入低维特征投影匹配约束和对抗训练来保证低维特征在模态间分布的一致性,同时用包含丰富语义信息的低维特征作为哈希函数的输入,进一步构建模态内哈希码损失、模态间哈希码损失、量化损失、标签嵌入损失来约束哈希函数及哈希码的学习,以此保证生成具有判别性的离散二进制哈希码。在MIRFlickr-25K和NUS-WIDE两个基准的跨模态检索数据集上的实验表明：所提方法比现有的几种哈希方法具有更好的检索性能。     

基于深度哈希的图像检索技术研究

本文提出的方法基于深度卷积神经网络和哈希算法,该方法对VGG16网络模型进行了改进：模型中全连接层保留FC6和FC7,去掉的FC8用哈希层替换,构建哈希函数获得哈希编码,在损失层对损失函数做了优化计算,微调模型初始化参数。图像检索过程主要包括模型训练和检索图像两个阶段,实验数据集采用CIFAR-10和NUS-WIDE。和其他几种典型的传统哈希算法和深度哈希算法进行对比分析,实验结果表明,本文所提方法能有效提高图像检索性能。     

改进的卷积神经网络红外图像超分辨率算法

基于卷积神经网络的图像超分辨率算法可以分为图像尺寸放大和图像细节恢复/增强两个步骤,在细节恢复过程中,卷积层直接从输入图像中学习特征并将该特征作为下一个卷积层的输入数据。为了加强输入图像和卷积层各通道图像的特征表达能力,提出了一种新的卷积神经网络算法,该算法对输入图像和通道图像进行选择性灰度变换而增强特征表达的能力。实验结果表明,在公共红外图像数据集和实验室采集的红外图像数据集上,所提方法的超分辨率重建效果均优于当前的几种典型算法,能够恢复的细节信息更多。     

深度学习和迭代量化在图像检索中的应用研究

基于内容的图像检索的关键在于对图像进行特征提取和对特征进行多比特量化编码 。近年来,基于内容的图像检索使用低级可视化特征对图像进行描述,存在“语义鸿沟”问题;其次,传统量化编码使用随机生成的投影矩阵,该矩阵与特征数据无关,因此不能保证量化的精确度。针对目前存在的这些问题,本文结合深度学习思想与迭代量化思想,提出基于卷积神经网络VGG16和迭代量化(Iterative Quantization, ITQ)的图像检索方法。使用在公开数据集上预训练VGG16网络模型,提取基于深度学习的图像特征;使用ITQ方法对哈希哈函数进行训练,不断逼近特征与设定比特数的哈希码之间的量化误差最小值,实现量化误差的最小化;最后使用获得的哈希码进行图像检索。本文使用查全率、查准率和平均精度均值作为检索效果的评价指标,在Caltech256图像库上进行测试。实验结果表明,本文提出的算法在检索优于其他主流图像检索算法。      

基于边缘方向直方图的形状检索

近年来,随着多媒体技术和数字设备的出现,如何有效地管理和访问图像信息已成为人们亟待解决的问题.因此,一种新的图像检索技术——基于内容的图像检索技术被提出来.其中,由于图像的形状特征更符合人们的视觉感知,因此基于形状的图像检索越来越受到研究者的关注.旨在研究基于形状轮廓特征的图像检索,提出了基于边缘方向的直方图形状检索算法.通过对常用边缘检测算子的分析和比较,给出了边缘方向直方图特征提取的具体实现技术,对采用的特征匹配方法做了描述,最后通过实验的结果与分析验证了算法的性能.     

综合语义与颜色特征的图像检索技术研究

针对多媒体搜索引擎系统中的图像检索技术，本文提出了应用图像的高层语义特征和底层颜色特征作为图像检索的综合指标，将图像文本和视觉信息融合起来，给出了一种综合语义和颜色特征的图像检索系统的体系架构．以填补多媒体底层特征和高层语义之间的差异，并在此基础上提出了相关算法，使图像检索能够满足用户的需求．提高图像检索的效率和精度。     

SS*:一种嵌入视觉特性的多维图像索引算法

图像检索因信息量巨大，查询速度至关重要。一种有效的方法是对图像特征进行多维索引，然后按多维索引算法检索。但是，现有的多维索引算法并不是专门针对图像数据库设计的，没有考虑图像的视觉特性，检索性能不理想。文章针对图像信息的特点，结合SS多维索引算法，设计了一种新的基于内容的图像检索的多维索引算法——SS^*算法。实验表明，该算法对图像检索是有效的。     

Research on image feature extraction and retrieval algorithms based on convolutional neural network

With the rapid development of mobile Internet and digital technology, people are more and more keen to share pictures on social networks, and online pictures have exploded. How to retrieve similar images from large-scale images has always been a hot issue in the field of image retrieval, and the selection of image features largely affects the performance of image retrieval. The Convolutional Neural Networks (CNN), which contains more hidden layers, has more complex network structure and stronger ability of feature learning and expression compared with traditional feature extraction methods. By analyzing the disadvantage that global CNN features cannot effectively describe local details when they act on image retrieval tasks, a strategy of aggregating low-level CNN feature maps to generate local features is proposed. The high-level features of CNN model pay more attention to semantic information, but the low-level features pay more attention to local details. Using the increasingly abstract characteristics of CNN model from low to high. This paper presents a probabilistic semantic retrieval algorithm, proposes a probabilistic semantic hash retrieval method based on CNN, and designs a new end-to-end supervised learning framework, which can simultaneously learn semantic features and hash features to achieve fast image retrieval. Using convolution network, the error rate is reduced to 14.41% in this test set. In three open image libraries, namely Oxford, Holidays and ImageNet, the performance of traditional SIFT-based retrieval algorithms and other CNN-based image retrieval algorithms in tasks are compared and analyzed. The experimental results show that the proposed algorithm is superior to other contrast algorithms in terms of comprehensive retrieval effect and retrieval time.     

融合多特征的图像检索算法

针对单一特征不能很好地表述图像的问题,提出了一种融合多特征的图像检索算法.首先,提取查询图像和图像库中样本图像的GIST(Generalized Search Tree)特征,用欧氏距离衡量图像间的GIST相似度值,根据查询图像的GIST特征在图像库中进行检索,将结果按相似度进行排序;然后,提取查询图像和返回结果中前k幅图像的尺度不变特征变换(SIFT)特征,使用BBF(Best Bin First)算法进行特征匹配;最后,通过特征点匹配点对数排序并返回检索结果.实验在改进的Corel1000数据集上进行,与传统的单特征图像检索算法对比,提出的图像检索算法不仅提高了检索准确率,而且获得了较好的检索效率.     

基于多特征融合的视频检索算法

随着视频等多媒体数据呈指数式迅猛增长,高效快速的视频检索算法引起越来越多的重视。传统的图像特征如颜色直方图以及尺度不变特征变换等对视频拷贝检测中检索速度以及检测精度等问题无法达到很好的效果,因此文中提出一种多特征融合的视频检索方法。该方法利用前后两帧的时空特征进行基于滑动窗口的时间对齐算法,以达到减少检索的范围和提高检索速度的目的。该算法对关键帧进行灰度序列特征、颜色相关图特征以及SIFT局部特征提取,然后融合全局特征和局部特征两者的优势,从而提高检测精度。实验结果表明,该方法可达到较好的视频检索精度。