基于双线性迭代量化的哈希图像检索方法

针对迭代量化哈希算法未考虑高维图像描述符中呈现出的自然矩阵结构,当视觉描述符由高维特征向量表示并且分配长二进制码时,投影矩阵需要昂贵的空间和时间复杂度的问题,提出一种基于双线性迭代量化的哈希图像检索方法。该方法使用紧凑的双线性投影而不是单个大型投影矩阵将高维数据映射到两个较小的投影矩阵中;然后使用迭代量化的方法最小化量化误差并生成有效的哈希码。在CIFAR-10和Caltech256两个数据集上进行实验,实现了与最先进的8种哈希方法相媲美的性能,同时具有更快的线性扫描时间和更小的内存占用量。结果表明,该方法可以减轻数据的高维性带来的影响,从而提高ITQ的性能,可广泛服务于高维数据长编码位的哈希图像检索应用。     

基于相关度距离的无监督并行哈希图像检索

针对传统无监督哈希图像检索模型中存在图像数据之间的语义信息学习不足,以及哈希编码长度每换一次模型就需重新训练的问题,提出一种用于大规模图像数据集检索的无监督搜索框架——基于相关度距离的无监督并行哈希图像检索模型.首先,使用卷积神经网络(CNN)学习图像的高维特征连续变量;然后,使用相关度距离衡量特征变量构建伪标签矩阵,...     

自监督深度离散哈希图像检索

目的 基于深度学习的图像哈希检索是图像检索领域的热点研究问题。现有的深度哈希方法忽略了深度图像特征在深度哈希函数训练中的指导作用,并且由于采用松弛优化,不能有效处理二进制量化误差较大导致的生成次优哈希码的问题。对此,提出一种自监督的深度离散哈希方法（self-supervised deep discrete hashing,SSDDH）。方法 利用卷积神经网络提取的深度特征矩阵和图像标签矩阵,计算得到二进制哈希码并作为自监督信息指导深度哈希函数的训练。构造成对损失函数,同时保持连续哈希码之间相似性以及连续哈希码与二进制哈希码之间的相似性,并利用离散优化算法求解得到哈希码,有效降低二进制量化误差。结果 将本文方法在3个公共数据集上进行测试,并与其他哈希算法进行实验对比。在CIFAR-10、NUS-WIDE（web image dataset from National University of Singapore）和Flickr数据集上,本文方法的检索精度均为最高,本文方法的准确率比次优算法DPSH（deep pairwise-supervised hashing）分别高3%、3%和1%。结论 本文提出的基于自监督的深度离散哈希的图像检索方法能有效利用深度特征信息和图像标签信息,并指导深度哈希函数的训练,且能有效减少二进制量化误差。实验结果表明,SSDDH在平均准确率上优于其他同类算法,可以有效完成图像检索任务。     

一种等量约束聚类的无监督蒸馏哈希图像检索方法

为了进一步降低无监督深度哈希检索任务中的伪标签噪声,提出了一种等量约束聚类的无监督蒸馏哈希图像检索方法。该方法主要分为两个阶段,在第一阶段中,主要对无标签图像进行软伪标签标注,用于第二阶段监督哈希特征学习,通过所提等量约束聚类算法,在软伪标签标注过程中可以有效降低伪标签中的噪声;在第二阶段中,主要对学生哈希网络进行训练,用于提取图像哈希特征。通过所提出的无监督蒸馏哈希方法,利用图像软伪标签指导哈希特征学习,进一步提高了哈希检索性能,实现了高效的无监督哈希图像检索。为了评估所提方法的有效性,在CIFAR-10、FLICKR25K和EuroSAT三个公开数据集上进行了实验,并与其他先进方法进行了比较。在CIFAR-10数据集上,与TBH方法相比,所提方法检索精度平均提高12.7%;在FLICKR25K数据集上,与DistillHash相比,所提方法检索精度平均提高1.0%;在EuroSAT数据集上,与ETE-GAN相比,所提方法检索精度平均提高16.9%。在三个公开数据集上进行的实验结果表明,所提方法能够实现高性能的无监督哈希检索,且对各类数据均有较好的适应性。     

基于小波投影和离散哈希的图像检索

现有的哈希方法难以快速实现原始特征空间的近似映射.针对此问题,文中提出基于小波投影的哈希方法.基于Haar小波变换构造投影矩阵,使用迭代算法优化投影矩阵和离散优化二进制码,重构量化误差.利用投影矩阵将图像的原始特征向量快速投影至低维空间,并进行二进制嵌入,完成图像的哈希编码.在图像数据集上的实验表明,文中方法可有效提升编码效率.     

深度哈希图像检索方法综述

随着网络上图像和视频数据的快速增长,传统图像检索方法已难以高效处理海量数据。在面向大规模图像检索时,特征哈希与深度学习结合的深度哈希技术已成为发展趋势,为全面认识和理解深度哈希图像检索方法,本文对其进行梳理和综述。根据是否使用标签信息将深度哈希方法分为无监督、半监督和监督深度哈希方法,根据无监督和半监督深度哈希方法的主要研究点进一步分为基于卷积神经网络（convolutional neural networks,CNN）和基于生成对抗网络（generative adversarial networks,GAN）的无监督/半监督深度哈希方法,根据数据标签信息差异将监督深度哈希方法进一步分为基于三元组和基于成对监督信息的深度哈希方法,根据各种方法使用损失函数的不同对每类方法中一些经典方法的原理及特性进行介绍,对各种方法的优缺点进行分析。通过分析和比较各种深度哈希方法在CIFAR-10和NUS-WIDE数据集上的检索性能,以及深度哈希算法在西安邮电大学图像与信息处理研究所（Center for Image and Information Processing,CⅡP）自建的两个特色数据库上的测试结果,对基于深度哈希的检索技术进行总结,分析了深度哈希的检索技术未来的发展前景。监督深度哈希的图像检索方法虽然取得了较高的检索精度。但由于监督深度哈希方法高度依赖数据标签,无监督深度哈希技术更加受到关注。基于深度哈希技术进行图像检索是实现大规模图像数据高效检索的有效方法,但存在亟待攻克的技术难点。针对实际应用需求,关于无监督深度哈希算法的研究仍需要更多关注。     

一种深度置信网络和迭代量化的图像检索方法

针对网络图像数据的迅速增多导致传统图像检索的效果不能满足当前需求的问题,提出了一种基于深度置信网络(deep belief network,DBN)和迭代量化(iterative quantization,ITQ)的无监督学习图像检索的方法.首先,构造深度置信网络的模型,此模型是由3层受限玻尔兹曼机堆叠而成;然后,用此深度置信网络模型对原始图像的高维特征进行中维特征提取,再采用迭代量化的哈希方法,对提取图像中维特征进行二值编码;最后,针对MNIST、CIFAR-10和Corel-1000数据集对模型进行实验验证并评估.结果表明,所提出的方法与现在的几种主流方法相比检索性能更好.除此之外,本方法对乳腺数据集DDSM和肺结节CT图像数据集LIDC-IDRI中的检索也取得了较好的效果.     

深度非对称离散跨模态哈希方法

大多数深度监督跨模态哈希方法采用对称的方式学习哈希码,导致其不能有效利用大规模数据集中的监督信息;并且对于哈希码的离散约束问题,常采用的基于松弛的策略会产生较大的量化误差,导致哈希码次优。针对以上问题,提出深度非对称离散跨模态哈希（DADCH）方法。首先构造了深度神经网络和字典学习相结合的非对称学习框架,以学习查询实例和数据库实例的哈希码,从而更有效地挖掘数据的监督信息,减少模型的训练时间;然后采用离散优化算法逐列优化哈希码矩阵,降低哈希码二值化的量化误差;同时为充分挖掘数据的语义信息,在神经网络中添加了标签层进行标签预测,并利用语义信息嵌入将不同类别的判别信息通过线性映射嵌入到哈希码中,增强哈希码的判别性。实验结果表明,在IAPR-TC12、MIRFLICKR-25K和NUS-WIDE数据集上,哈希码长度为64 bit时,所提方法在图像检索文本时的平均精度均值（mAP）较近年来提出的先进的深度跨模态检索方法——自监督对抗哈希（SSAH）分别高出约11.6、5.2、14.7个百分点。     

贪心非对称深度有监督哈希图像检索方法

近年来,深度有监督哈希检索方法已成功应用于众多图像检索系统中。但现有方法仍然存在一些不足：一是大部分深度哈希学习方法都采用对称策略来训练网络,但该策略训练通常比较耗时,难以用于大规模哈希学习过程;二是哈希学习过程中存在离散优化问题,现有方法将该问题进行松弛,但难以保证得到最优解。为解决上述问题,提出了一种贪心非对称深度有监督哈希图像检索方法,该方法将贪心算法和非对称策略的优势充分结合,进一步提高了哈希检索性能。在两个常用数据集上与17种先进方法进行比较。在CIFAR-10数据集上48 bit条件下,与性能最好的方法相比mAP提高1.3%;在NUS-WIDE数据集上所有bit下,mAP平均提高2.3%。在两个数据集上的实验结果表明,该方法可以进一步提高哈希检索性能。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

基于点对相似度的深度非松弛哈希算法

哈希学习能够在保持数据之间语义相似性的同时,将高维数据投影到低维的二值空间中以降低数据维度实现快速检索.传统的监督型哈希学习算法主要是将手工设计特征作为模型输入,通过分类和量化生成哈希码.手工设计特征缺乏自适应性且独立于量化过程使得检索的准确率不高.本文提出了一种基于点对相似度的深度非松弛哈希算法,在卷积神经网络的输出...     

基于元学习的深度哈希检索算法

随着移动互联网技术的发展,图像数据的规模越来越大,大规模图像检索任务已经成为了一个紧要的问题。由于检索速度快和存储消耗低,哈希算法受到了研究者的广泛关注。基于深度学习的哈希算法要达到较好的检索性能,需要一定数量的高质量训练数据来训练模型。然而现存的哈希方法通常忽视了数据集存在数据类别非平衡的问题,而这可能会降低检索性能。针对上述问题,提出了一种基于元学习网络的深度哈希检索算法。所提算法可以直接从数据中自动学习加权函数。该加权函数是只有一个隐含层的多层感知机（MLP）,在少量无偏差元数据的指导下,加权函数的参数可以和模型训练过程中的参数同时进行优化更新。元学习网络参数的更新方程可以解释为：较符合元学习数据的样本权重将被提高,而不符合元学习数据的样本权重将被减小。基于元学习网络的深度哈希检索算法可以有效减少非平衡数据对图像检索的影响,并可以提高模型的鲁棒性。在CIFAR-10等广泛使用的基准数据集上进行的大量实验表明,在非平衡比率较大时,所提算法的平均准确率均值（mAP）最佳;在非平均比率为200的条件下,所提算法的mAP比中心相似度量化算法、非对称深度监督哈希（ADSH）算法和快速可扩展监督哈希（FSSH）算法分别提高0.54个百分点,30.93个百分点和48.43个百分点。     

基于多模态注意力机制的跨模态哈希网络

深度跨模态哈希算法（deep cross-modal Hash,DCMH）可以结合哈希算法存储成本低、检索速度快的优点,以及深度神经网络提取特征的强大能力,得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中,基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分,导致在保证检索速度的同时无法保证检索的精确度。针对上述问题,提出了一种基于多模态注意力机制的跨模态哈希网络（HX＿MAN）,将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征,并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互,引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息,将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时,将任一模态的数据输入训练模块中来获得哈希码,计算该哈希码与检索库中哈希码的汉明距离,最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明：HX＿MAN模型与当前现有的DCMH方法相比更具有良好的检索性能,在保证检索速度的同时,能够更准确...     

基于PCA的哈希图像检索算法

图像哈希算法的步骤大致分为投影和量化两个阶段,为提高哈希编码的性能,分别对这两个阶段进行研究。在投影阶段,通过主成分分析算法将数据投影到新的特征子空间中,以降低原始特征之间的冗余性;在量化阶段,为减少量化所带来的损失,提出一种单双比特结合的量化方法;利用得到的哈希编码进行图像检索。在两个常用的图像数据集上的实验结果表明,提出的算法较现有的主流图像哈希算法在多个评价指标下均有所提高。     

Cross-Modal Hashing Retrieval Based on Deep Residual Network

In the era of big data rich in We Media, the single mode retrieval system has been unable to meet people’s demand for information retrieval. This paper proposes a new solution to the problem of feature extraction and unified mapping of different modes: A Cross-Modal Hashing retrieval algorithm based on Deep Residual Network (CMHR-DRN). The model construction is divided into two stages: The first stage is the feature extraction of different modal data, including the use of Deep Residual Network (DRN) to extract the image features, using the method of combining TF-IDF with the full connection network to extract the text features, and the obtained image and text features used as the input of the second stage. In the second stage, the image and text features are mapped into Hash functions by supervised learning, and the image and text features are mapped to the common binary Hamming space. In the process of mapping, the distance measurement of the original distance measurement and the common feature space are kept unchanged as far as possible to improve the accuracy of Cross-Modal Retrieval. In training the model, adaptive moment estimation (Adam) is used to calculate the adaptive learning rate of each parameter, and the stochastic gradient descent (SGD) is calculated to obtain the minimum loss function. The whole training process is completed on Caffe deep learning framework. Experiments show that the proposed algorithm CMHR-DRN based on Deep Residual Network has better retrieval performance and stronger advantages than other Cross-Modal algorithms CMFH, CMDN and CMSSH.     

Multiple hierarchical deep hashing for large scale image retrieval

Learning-based hashing methods are becoming the mainstream for large scale visual search. They consist of two main components: hash codes learning for training data and hash functions learning for encoding new data points. The performance of a content-based image retrieval system crucially depends on the feature representation, and currently Convolutional Neural Networks (CNNs) has been proved effective for extracting high-level visual features for large scale image retrieval. In this paper, we propose a Multiple Hierarchical Deep Hashing (MHDH) approach for large scale image retrieval. Moreover, MHDH seeks to integrate multiple hierarchical non-linear transformations with hidden neural network layer for hashing code generation. The learned binary codes represent potential concepts that connect to class labels. In addition, extensive experiments on two popular datasets demonstrate the superiority of our MHDH over both supervised and unsupervised hashing methods.