基于稀疏自编码的无监督图像哈希算法

哈希方法因快速及低内存的特点广泛应用于大规模图像检索中,但在哈希函数构造过程中对数据稀疏性缺乏研究。为此,提出一种无监督稀疏自编码的图像哈希算法。在哈希函数的学习过程中加入稀疏构造过程和自动编码器,利用稀疏自编码的KL差异对哈希码进行稀疏约束,以增强局部保持映射过程中的判别性。在CIFAR-10数据集和YouTube Faces数据集上进行实验,结果表明,该算法平均准确率优于DH算法。     

面向大规模图像检索的哈希学习综述

随着互联网空间中图像数据的爆发式增长和图像应用领域的拓宽, 大规模图像检索的需求与日俱增. 哈希学习为大规模图像检索提供显著的存储与检索效率, 并成为近年来一个研究热点. 现有哈希学习综述存在着时效性弱与技术路线不清晰的问题, 即多总结5–10年前的研究成果, 且较少总结哈希学习算法各组成部分间的关联关系. 鉴于此, 通过总结近20年公开发表的哈希学习文献, 对面向大规模图像检索的哈希学习进行系统的综述性研究. 首先, 介绍哈希学习的技术路线和哈希学习算法的主要组成部分, 包括损失函数、优化策略及样本外扩展映射. 其次, 将面向图像检索的哈希学习算法分为无监督哈希方法和监督哈希方法两类, 并分别梳理每类方法的研究现状和演化过程. 然后, 介绍哈希学习算法评估通用的图像数据集与评估指标, 并通过对比实验分析部分经典算法的性能. 最后, 结合哈希学习的局限性与新挑战对其发展前景进行阶段性总结与展望.     

基于哈希编码和卷积神经网络的图像检索方法

针对图像检索,提出一种基于哈希编码和卷积神经网络的方法。主要是在卷积神经网络（CNN）中加入哈希层,采用由粗到精的分级检索策略,根据学习到的哈希码进行粗检索得到与查询图像相同或相似的[m]幅图像构成图像池,计算池内图像与查询图像高层语义特征之间的欧氏距离进行精检索,达到最终的检索目的。提出方法将哈希层的损失作为优化目标之一,结合图像的两种特征进行检索,弥补了现有方法中直接利用CNN深层特征检索耗时、占用内存的不足。在印花织物和CIFAR-10数据集上的实验结果表明,提出方法检索性能优于其他现有方法。     

基于深度自学习的图像哈希检索方法

基于监督学习的卷积神经网络被证明在图像识别的任务中具有强大的特征学习能力。然而,利用监督的深度学习方法进行图像检索,需要大量已标注的数据,否则很容易出现过拟合的问题。为了解决这个问题,提出了一种新颖的基于深度自学习的图像哈希检索方法。首先,通过无监督的自编码网络学习到一个具有判别性的特征表达函数,这种方法降低了学习的复杂性,让训练样本不需要依赖于有语义标注的图像,算法被迫在大量未标注的数据上学习更强健的特征。其次,为了加快检索速度,抛弃了传统利用欧氏距离计算相似性的方法,而使用感知哈希算法来进行相似性衡量。这两种技术的结合确保了在获得更好的特征表达的同时,获得了更快的检索速度。实验结果表明,提出的方法优于一些先进的图像检索方法。     

适用于图像检索的强化对抗生成哈希方法

在互联网上,大量的数据是由音视频等多媒体流量构成,特别是图像和视频占了绝大部分.由于视频流量检索可以转换成图像的检索,因此如何在互联网上海量数据中进行高效图像检索成了一个重要的研究领域.深度哈希方法在图像检索中可以有效提高检索速度和检索效率,故其在图像检索领域占据了重要的地位.针对大量图像数据无标注的特点,本文提出了适...     

面向图像检索的深度汉明嵌入哈希

深度卷积神经网络学习的图像特征表示具有明显的层次结构.随着层数加深,学习的特征逐渐抽象,类的判别性也逐渐增强.基于此特点,文中提出面向图像检索的深度汉明嵌入哈希编码方式.在深度卷积神经网络的末端插入一层隐藏层,依据每个单元的激活情况获得图像的哈希编码.同时根据哈希编码本身的特征提出汉明嵌入损失,更好地保留原数据之间的相似性.在CIFAR-10、NUS-WIDE基准图像数据集上的实验表明,文中方法可以提升图像检索性能,较好改善短编码下的检索性能.     

基于时域-频域哈希编码的电网图像检索方法

电网数据信息的准确检索在保障电网系统正常运行方面起着非常重要的作用。快速准确地从电网图像数据库中查找到与目标图像相似度高的图像可以有效地提高电网工作人员的工作效率,降低设备维护成本。针对传统检索方法检索精度低的问题,提出了一种基于时域-频域的端到端哈希编码方法。最后,在2个数据集上将该方法与最新的8种方法进行了比较,实验结果表明该方法是有效的。该方法创新性地结合了频域信息,以提高预测正确率,且结合了多任务学习和距圆损失来更加清晰地约束哈希编码任务的训练过程,使图像检索结果更加准确。     

哈夫曼编码乘积量化的图像哈希检索方法

目的 基于哈希编码的检索方法是图像检索领域中的经典方法。其原理是将原始空间中相似的图片经哈希函数投影、量化后,在汉明空间中得到相近的哈希码。此类方法一般包括两个过程：投影和量化。投影过程大多采用主成分分析法对原始数据进行降维,但不同方法的量化过程差异较大。对于信息量不均衡的数据,传统的图像哈希检索方法采用等长固定编码位数量化的方式,导致出现低编码效率和低量化精度等问题。为此,本文提出基于哈夫曼编码的乘积量化方法。方法 首先,利用乘积量化法对降维后的数据进行量化,以便较好地保持数据在原始空间中的分布情况。然后,采用子空间方差作为衡量信息量的标准,并以此作为编码位数分配的依据。最后,借助于哈夫曼树,给方差大的子空间分配更多的编码位数。结果 在常用公开数据集MNIST、NUS-WIDE和22K LabelMe上进行实验验证,与原始的乘积量化方法相比,所提出方法能平均降低49%的量化误差,并提高19%的平均准确率。在数据集MNIST上,与同类方法的变换编码方法（TC）进行对比,比较了从32 bit到256 bit编码时的训练时间,本文方法的训练时间能够平均缩短22.5 s。结论 本文提出了一种基于多位编码乘积量化的哈希方法,该方法提高了哈希编码的效率和量化精度,在平均准确率、召回率等性能上优于其他同类算法,可以有效地应用到图像检索相关领域。     

面向大规模胸片图像的深度哈希检索

目的 医学图像检索在疾病诊断、医疗教学和辅助症状参考中发挥了重要作用,但由于医学图像类间相似度高、病灶易遗漏以及数据量较大等问题,使得现有哈希方法对病灶区域特征的关注较少,图像检索准确率较低。对此,本文以胸部X-ray图像为例,提出一种面向大规模胸片图像的深度哈希检索网络。方法 在特征学习部分,首先采用ResNet-50作为主干网络对输入图像进行特征提取得到初步特征,将该特征进行细化后获得全局特征;同时将初步特征输入构建的空间注意模块,该注意模块结合了3个描述符用于聚焦胸片图像中的显著区域,将该模块的输出进行细化得到局部特征;最后融合全局特征与局部特征用于后续哈希码优化。在哈希码优化部分,使用定义的二值交叉熵损失、对比损失和正则化损失的联合函数进行优化学习,生成高质量的哈希码用于图像检索。结果 为了验证方法的有效性,在公开的ChestX-ray8和CheXpert数据集上进行对比实验。结果显示,构建空间注意模块有助于关注病灶区域,定义特征融合模块有效避免了信息的遗漏,联合3个损失函数进行优化可以获得高质量哈希码。与当前先进的医学图像检索方法比较,本文方法能够有效提高医学图像检索的准确率...     

基于深度多监督哈希的快速图像检索

由于较低的检索时间和空间复杂度,哈希方法被广泛应用于大规模图像检索领域。提出深度多监督哈希(Deep Multi-Supervised Hashing,DMSH)方法来学习具有高度判别能力和紧凑的哈希编码,并进行有效的图像检索。设计一个新的卷积神经网络结构来产生相似性保留的哈希编码,用一个识别信号来增加类间距离,用一个验证信号来降低类间距离。同时,通过正则化的方式降低网络输出和二进制哈希编码之间的损失并使二进制哈希值在每一维上均匀分布使网络输出更接近离散的哈希值。在两个数据集上的实验证明了该方法能够快速编码任意新的图像并取得先进的检索结果。     

基于偏差抑制对比学习的无监督深度哈希图像检索

在时下的无监督深度哈希研究领域中, 基于对比学习而提出的方法占主流地位. 但是对比学习所采用的随机抽取负样本方式, 会带来采样偏差问题, 从而对图像检索精度造成负面影响. 为解决以上问题, 本文提出了一种基于偏差抑制对比学习的无监督深度哈希(unsupervised deep hashing based on bias suppressing contrastive learning, BSCDH). 本文在对比学习框架的基础上提出了偏差抑制方法(bias suppression, BSS), 将错误负样本近似为极困难负样本, 并设计了偏差抑制系数来抑制极困难负样本从而缓解采样偏差的负面影响. 本文根据当前负样本与查询样本的相似度来确定其对应的抑制系数取值, 并引入当前负样本与邻近的聚类中心间的距离关系对抑制系数进行取值修正, 降低正常负样本被过度抑制的可能性. 最终BSCDH的64位哈希码mAP@5000指标在CIFAR-10、FLICKR25K、NUS-WIDE数据集上分别达到0.696、0.833、0.819, 相较baseline具有显著的性能优势. 本文开展的大量实验证明了BSCDH在无监督图像检索方法中拥有较高的检索精度, 且能有效应对采样偏差问题.     

一种等量约束聚类的无监督蒸馏哈希图像检索方法

为了进一步降低无监督深度哈希检索任务中的伪标签噪声,提出了一种等量约束聚类的无监督蒸馏哈希图像检索方法。该方法主要分为两个阶段,在第一阶段中,主要对无标签图像进行软伪标签标注,用于第二阶段监督哈希特征学习,通过所提等量约束聚类算法,在软伪标签标注过程中可以有效降低伪标签中的噪声;在第二阶段中,主要对学生哈希网络进行训练,用于提取图像哈希特征。通过所提出的无监督蒸馏哈希方法,利用图像软伪标签指导哈希特征学习,进一步提高了哈希检索性能,实现了高效的无监督哈希图像检索。为了评估所提方法的有效性,在CIFAR-10、FLICKR25K和EuroSAT三个公开数据集上进行了实验,并与其他先进方法进行了比较。在CIFAR-10数据集上,与TBH方法相比,所提方法检索精度平均提高12.7%;在FLICKR25K数据集上,与DistillHash相比,所提方法检索精度平均提高1.0%;在EuroSAT数据集上,与ETE-GAN相比,所提方法检索精度平均提高16.9%。在三个公开数据集上进行的实验结果表明,所提方法能够实现高性能的无监督哈希检索,且对各类数据均有较好的适应性。     

基于特征融合的无监督跨模态哈希

已有的无监督跨模态哈希（UCMH）方法主要关注构造相似矩阵和约束公共表征空间的结构,忽略了2个重要问题：一是它们为不同模态的数据提取独立的表征用以检索,没有考虑不同模态之间的信息互补;二是预提取特征的结构信息不完全适用于跨模态检索任务,可能会造成一些错误信息的迁移。针对第一个问题,提出一种多模态表征融合结构,通过对不同模态的嵌入特征进行融合,从而有效地综合来自不同模态的信息,提高哈希码的表达能力,同时引入跨模态生成机制,解决检索数据模态缺失的问题;针对第二个问题,提出一种相似矩阵动态调整策略,在训练过程中用学到的模态嵌入自适应地逐步优化相似矩阵,减轻预提取特征对原始数据集的偏见,使其更适应跨模态检索,并有效避免过拟合问题。基于常用数据集Flickr25k和NUS-WIDE进行实验,结果表明,通过该方法构建的模型在Flickr25k数据集上3种哈希位长检索的平均精度均值较DGCPN模型分别提高1.43%、1.82%和1.52%,在NUS-WIDE数据集上分别提高3.72%、3.77%和1.99%,验证了所提方法的有效性。     

基于锚点的无监督跨模态哈希算法

基于图的无监督跨模态哈希学习具有存储空间小、检索效率高等优点,受到学术界和工业界的广泛关注,已成为跨模态检索不可或缺的工具之一.然而,图构造的高计算复杂度阻碍其应用于大规模多模态应用.主要尝试解决基于图的无监督跨模态哈希学习面临的两个重要挑战:1)在无监督跨模态哈希学习中如何高效地构建图?2)如何解决跨模态哈希学习中的离散值优化问题?针对这两个问题,分别提出基于锚点图的跨模态学习和可微分哈希层.具体地,首先从训练集中随机地选择若干图文对作为锚点集,利用该锚点集作为中介计算每批数据的图矩阵,以该图矩阵指导跨模态哈希学习,从而能极大地降低空间与时间开销;其次,提出的可微分哈希层可在网络前向传播时直接由二值编码计算,在反向传播时亦可产生梯度进行网络更新,而无需连续值松弛,从而具有更好的哈希编码效果;最后,引入跨模态排序损失,使得在训练过程中考虑排序结果,从而提升跨模态检索正确率.通过在3个通用数据集上与10种跨模态哈希算法进行对比,验证了提出算法的有效性.     

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。     

Concatenated hash code selection

An algorithm for selecting the concatenated hash code for partial-match or multiple-attribute retrieval in a hashing scheme is presented. The optimal code length for each attribute is determined with respect to a merit function. Two adjustment algorithms are then presented to find the optimal code length under the integer and nonnegative lower bound constraints. Finally, an algorithm is given for incremental expansion of the concatenated hash code in an extendible hashing scheme.This research was supported by the Defense Advanced Research Projects Agency under Contract MDA903-78-C-0293, and the National Science Foundation under Grant NCS78-05978.     

一种基于离群点信息的新型无监督聚类方法

在图像检索领域,聚类分析技术有着广泛应用。因为在对图像进行聚类分析时,通常缺少可资利用的先验知识,所以需要采用无监督的聚类算法。为了适应图像检索的需要,提出了一种新型的无监督聚类方法,即根据离群点信息来自动确定聚类算法的终止时机。此方法还弥补了现有聚类算法在离群点识别、使用上的缺欠。为验证其可行性,用其改进了CURE和ROCK两个经典算法。实验表明,改进后的两个算法都能自动终止,并能取得优于以往的聚类效果。     

基于双向线性回归的监督离散跨模态散列方法

近年来,在线跨模态哈希因其能处理更为贴近现实的流数据场景而受到广泛关注. 虽然取得了不错的进展,但现有方法大都依赖准确清晰的数据标记. 目前,针对无监督学习模式下在线跨模态哈希的研究相对较少,还有很多问题有待解决. 例如,新到达的数据流通常规模较小,因此常常存在分布不平衡的现象. 而现有模型极少关注这个问题,导致模型对离群样本敏感,鲁棒性较差. 并且,现有方法大都关注样本的整体结构而忽视了邻域信息对于生成公共哈希码的帮助. 为了解决上述问题,提出了基于双重结构保持的无监督在线跨模态哈希方法,称为SPOCH（structure preserving online cross-modal hashing）. 该方法的基本思想是同时挖掘样本空间的全局结构信息和邻域结构信息来生成相应的公共表示,用以指导哈希码和哈希函数的学习. 针对全局结构的学习,引入$ {L_{2,1}} $范数取代$ {L_2} $范数来约束损失函数,利用$ {L_{2,1}} $范数结构化稀疏的性质缓解模型对离群样本的敏感性;针对邻域结构的学习,利用多模态融合的邻域样本进行样本重构,使得所学公共表示更好地表征多模态信息. 此外,为了缓解遗忘问题,提出在新旧数据上联合优化,并设计相应的更新策略提高算法的训练效率,实现在线检索. 在2个广泛使用的跨模态检索数据集上进行的实验结果表明,较现有最先进的无监督在线跨模态哈希方法,SPOCH在可比较甚至更短的训练时间内取得了更优的检索精度,验证了所提方法的有效性.

     

利用分块相似系数构造感知图像Hash

提出一种基于图像分块相似系数的感知稳健图像Hash.先对图像预处理,再进行重叠分块,在密钥控制下,利用高斯低通滤波器生成伪随机参考图像块,分别计算每个分块与参考图像块的相关系数得到图像特征序列.依此将相邻两个分块特征值合并以缩短Hash长度,同时对压缩后的特征序列进行重排,进一步提高图像Hash的安全性.最后对归一化特征值进行量化,并运用Huffman方法对其编码,进一步压缩Hash长度.理论分析和实验结果表明,该图像Hash方法对JPEG压缩、适度的噪声干扰、水印嵌入、图像缩放以及高斯低通滤波等常见图像处理有较好的鲁棒性,能有效区分不同图像,冲突概率低,可用于图像篡改检测.     

基于双线性迭代量化的哈希图像检索方法

针对迭代量化哈希算法未考虑高维图像描述符中呈现出的自然矩阵结构,当视觉描述符由高维特征向量表示并且分配长二进制码时,投影矩阵需要昂贵的空间和时间复杂度的问题,提出一种基于双线性迭代量化的哈希图像检索方法。该方法使用紧凑的双线性投影而不是单个大型投影矩阵将高维数据映射到两个较小的投影矩阵中;然后使用迭代量化的方法最小化量化误差并生成有效的哈希码。在CIFAR-10和Caltech256两个数据集上进行实验,实现了与最先进的八种哈希方法相媲美的性能,同时具有更快的线性扫描时间和更小的内存占用量。结果表明,该方法可以减轻数据的高维性带来的影响,从而提高ITQ的性能,可广泛服务于高维数据长编码位的哈希图像检索应用。