自监督深度离散哈希图像检索

目的 基于深度学习的图像哈希检索是图像检索领域的热点研究问题。现有的深度哈希方法忽略了深度图像特征在深度哈希函数训练中的指导作用,并且由于采用松弛优化,不能有效处理二进制量化误差较大导致的生成次优哈希码的问题。对此,提出一种自监督的深度离散哈希方法（self-supervised deep discrete hashing,SSDDH）。方法 利用卷积神经网络提取的深度特征矩阵和图像标签矩阵,计算得到二进制哈希码并作为自监督信息指导深度哈希函数的训练。构造成对损失函数,同时保持连续哈希码之间相似性以及连续哈希码与二进制哈希码之间的相似性,并利用离散优化算法求解得到哈希码,有效降低二进制量化误差。结果 将本文方法在3个公共数据集上进行测试,并与其他哈希算法进行实验对比。在CIFAR-10、NUS-WIDE（web image dataset from National University of Singapore）和Flickr数据集上,本文方法的检索精度均为最高,本文方法的准确率比次优算法DPSH（deep pairwise-supervised hashing）分别高3%、3%和1%。结论 本文提出的基于自监督的深度离散哈希的图像检索方法能有效利用深度特征信息和图像标签信息,并指导深度哈希函数的训练,且能有效减少二进制量化误差。实验结果表明,SSDDH在平均准确率上优于其他同类算法,可以有效完成图像检索任务。     

基于成对标签的深度哈希图像检索方法

针对采用松弛-量化策略的深度哈希方法面临的二值码离散优化的难题,提出一种端到端的基于成对标签的哈希方法来学习更具有判别力的哈希码,通过优化损失函数来解决离散优化丢失信息的问题.引入锚点哈希码概念,以汉明空间中的锚点作为监督信息训练AlexNet网络,将表示图片的二值码拟合至各锚点附近,使用优化后的损失函数计算分类误差和...     

基于偏差抑制对比学习的无监督深度哈希图像检索

在时下的无监督深度哈希研究领域中, 基于对比学习而提出的方法占主流地位. 但是对比学习所采用的随机抽取负样本方式, 会带来采样偏差问题, 从而对图像检索精度造成负面影响. 为解决以上问题, 本文提出了一种基于偏差抑制对比学习的无监督深度哈希(unsupervised deep hashing based on bias suppressing contrastive learning, BSCDH). 本文在对比学习框架的基础上提出了偏差抑制方法(bias suppression, BSS), 将错误负样本近似为极困难负样本, 并设计了偏差抑制系数来抑制极困难负样本从而缓解采样偏差的负面影响. 本文根据当前负样本与查询样本的相似度来确定其对应的抑制系数取值, 并引入当前负样本与邻近的聚类中心间的距离关系对抑制系数进行取值修正, 降低正常负样本被过度抑制的可能性. 最终BSCDH的64位哈希码mAP@5000指标在CIFAR-10、FLICKR25K、NUS-WIDE数据集上分别达到0.696、0.833、0.819, 相较baseline具有显著的性能优势. 本文开展的大量实验证明了BSCDH在无监督图像检索方法中拥有较高的检索精度, 且能有效应对采样偏差问题.     

贪心非对称深度有监督哈希图像检索方法

近年来,深度有监督哈希检索方法已成功应用于众多图像检索系统中。但现有方法仍然存在一些不足：一是大部分深度哈希学习方法都采用对称策略来训练网络,但该策略训练通常比较耗时,难以用于大规模哈希学习过程;二是哈希学习过程中存在离散优化问题,现有方法将该问题进行松弛,但难以保证得到最优解。为解决上述问题,提出了一种贪心非对称深度有监督哈希图像检索方法,该方法将贪心算法和非对称策略的优势充分结合,进一步提高了哈希检索性能。在两个常用数据集上与17种先进方法进行比较。在CIFAR-10数据集上48 bit条件下,与性能最好的方法相比mAP提高1.3%;在NUS-WIDE数据集上所有bit下,mAP平均提高2.3%。在两个数据集上的实验结果表明,该方法可以进一步提高哈希检索性能。     

具备高层语义特征的离散哈希图像检索算法

深度哈希在图像搜索领域取得了很好的应用,然而,先前的深度哈希方法存在语义信息未被充分利用的局限性。开发了一个基于深度监督的离散哈希算法,假设学习的二进制代码应该是分类的理想选择,成对标签信息和分类信息在一个框架内用于学习哈希码,将最后一层的输出直接限制为二进制代码。由于哈希码的离散性质,使用交替最小化方法来优化目标函数。该算法在三个图像检索数据库CIFAR-10、NUS-WIDE和SUN397中进行验证,其准确率优于其他监督哈希方法。     

基于串行编码校验的深度哈希图像检索

现有基于深度学习的哈希图像检索方法通常使用全连接作为哈希编码层,并行输出每一位哈希编码,这种方法将哈希编码都视为图像的信息编码,忽略了编码过程中哈希码各个比特位之间的关联性与整段编码的冗余性,导致网络编码性能受限.因此,本文基于编码校验的原理,提出了串行哈希编码的深度哈希方法——串行哈希编码网络(serial hashing network, SHNet).与传统的哈希编码方法不同, SHNet将哈希编码网络层结构设计为串行方式,在生成哈希码过程中对串行生成的前部分哈希编码进行校验,从而充分利用编码的关联性与冗余性生成信息量更为丰富、更加紧凑、判别力更强的哈希码.采用mAP作为检索性能评价标准,将本文所提方法与目前主流哈希方法进行比较,实验结果表明本文在不同哈希编码长度下的m AP值在3个数据集CIFAR-10、Image Net、NUS-WIDE上都优于目前主流深度哈希算法,证明了其有效性.     

一种等量约束聚类的无监督蒸馏哈希图像检索方法

为了进一步降低无监督深度哈希检索任务中的伪标签噪声,提出了一种等量约束聚类的无监督蒸馏哈希图像检索方法。该方法主要分为两个阶段,在第一阶段中,主要对无标签图像进行软伪标签标注,用于第二阶段监督哈希特征学习,通过所提等量约束聚类算法,在软伪标签标注过程中可以有效降低伪标签中的噪声;在第二阶段中,主要对学生哈希网络进行训练,用于提取图像哈希特征。通过所提出的无监督蒸馏哈希方法,利用图像软伪标签指导哈希特征学习,进一步提高了哈希检索性能,实现了高效的无监督哈希图像检索。为了评估所提方法的有效性,在CIFAR-10、FLICKR25K和EuroSAT三个公开数据集上进行了实验,并与其他先进方法进行了比较。在CIFAR-10数据集上,与TBH方法相比,所提方法检索精度平均提高12.7%;在FLICKR25K数据集上,与DistillHash相比,所提方法检索精度平均提高1.0%;在EuroSAT数据集上,与ETE-GAN相比,所提方法检索精度平均提高16.9%。在三个公开数据集上进行的实验结果表明,所提方法能够实现高性能的无监督哈希检索,且对各类数据均有较好的适应性。     

基于深度残差网络的迭代量化哈希图像检索方法

针对现有的哈希图像检索方法表达能力较弱、训练速度慢、检索精度低,难以适应大规模图像检索的问题,提出了一种基于深度残差网络的迭代量化哈希图像检索方法（DRITQH）。首先,使用深度残差网络对图像数据进行多次非线性变换,从而提取图像数据的特征,并获得具有语义特征的高维特征向量;然后,使用主成分分析（PCA）对高维图像特征进行降维,同时运用迭代量化对生成的特征向量进行二值化处理,更新旋转矩阵,将数据映射到零中心二进制超立方体,从而最小化量化误差并得到最佳的投影矩阵;最后,进行哈希学习,以得到最优的二进制哈希码在汉明空间中进行图像检索。实验结果表明,DRITQH在NUS-WIDE数据集上,对4种哈希码的检索精度分别为0.789、0.831、0.838和0.846,与改进深度哈希网络（IDHN）相比分别提升了0.5、3.8、3.7和4.2个百分点,平均编码时间小了1 717 μs。DRITQH在大规模图像检索时减少了量化误差带来的影响,提高了训练速度,实现了更高的检索性能。     

基于PCA的哈希图像检索算法

为了解决传统图像检索算法低效和耗时的缺点,提出一种基于PCA哈希的图像检索算法。具体地,首先通过结合PCA与流形学习将原始高维数据降维,然后通过最小方差旋转得到哈希函数和二值化阈值。进而将原始数据矩阵转换为哈希编码矩阵。最后通过计算样本间汉明距离得到样本相似性。在三个公开数据集上的实验结果表明本文提出的哈希算法在多个评价指标下均优于现有算法。     

图像超分辨率技术的回顾与展望

图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的超分辨率技术,根据其输入输出进行分类介绍;其次,将基于深度学习的单图像超分辨率技术分为有监督学习和无监督学习两类进行论述,并对部分具有代表性的最新超分辨率重建技术进行总结分类介绍;然后,讨论了超分辨率技术的相关问题,即性能评价指标、标准数据集,进而对几种典型算法进行实验对比;最后,对图像超分辨率算法未来的研究趋势进行展望。     

深度医学图像配准研究进展：迈向无监督学习

在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中,将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展,基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文,系统地分析了深度医学图像配准领域的最新研究进展,展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说,本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上,以相关算法的网络训练过程中所使用的监督信息多少作为分类标准,将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息;双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖;无监督配准方法则完全消除对标注数据的需要,仅使用图像相似度损失和正则化损失监督网络训练。目前,无监督医学图像算法已经成为医学图像配准领域的研究重点,在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上,本文进一步讨论了医学图像配准研究后续可能的4个未来挑战,希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向,并推动深度医学图像配准技术在临床诊疗中落地应用。     

基于深度学习的眼底血管图像分割研究进展

眼底血管图像分割对青光眼、糖尿病视网膜病变等多种眼部疾病有较好的辅助诊断作用, 目前深度学习因其强大的抽象特征发现能力, 有望满足人们从眼底血管图像中提取特征信息进行图像自动分割的需求, 成为眼底血管图像分割领域的研究热点. 为更好把握该领域的研究进展, 本文对相关数据集和评价指标整理归纳, 对深度学习在眼底血管图像分割中的应用进行详细阐述, 重点梳理各类分割方法的基本思想、网络结构及改进之处, 分析现有眼底血管图像分割方法存在的局限性及面临的挑战, 并对该领域未来的研究方向做出展望.     

面向遥感影像的深度语义哈希检索

目的 哈希检索旨在将海量数据空间中的高维数据映射为紧凑的二进制哈希码,并通过位运算和异或运算快速计算任意两个二进制哈希码之间的汉明距离,从而能够在保持相似性的条件下,有效实现对大数据保持相似性的检索。但是,遥感影像数据除了具有影像特征之外,还具有丰富的语义信息,传统哈希提取影像特征并生成哈希码的方法不能有效利用遥感影像包含的语义信息,从而限制了遥感影像检索的精度。针对遥感影像中的语义信息,提出了一种基于深度语义哈希的遥感影像检索方法。方法 首先在具有多语义标签的遥感影像数据训练集的基础上,利用两个不同配置参数的深度卷积网络分别提取遥感影像的影像特征和语义特征,然后利用后向传播算法针对提取的两类特征学习出深度网络中的各项参数并生成遥感影像的二进制哈希码。生成的二进制哈希码之间能够有效保持原始高维遥感影像的相似性。结果 在高分二号与谷歌地球遥感影像数据集、CIFAR-10数据集及FLICKR-25K数据集上进行实验,并与多种方法进行比较和分析。当编码位数为64时,相对于DPSH（deep supervised Hashing with pairwise labels）方法,在高分二号与谷歌地球遥感影像数据集、CIFAR-10数据集、FLICKR-25K数据集上,mAP（mean average precision）指标分别提高了约2%、6%7%、0.6%。结论 本文提出的端对端的深度学习框架,对于带有一个或多个语义标签的遥感影像,能够利用语义特征有效提高对数据集的检索性能。     

基于深度学习的单图像超分辨率重建综述

图像超分辨率重建是用于提高图像质量的一项重要技术, 得益于深度学习在计算机视觉领域的成功应用和快速发展, 单图像超分辨率重建的效果得到了显著提升. 因此, 本文针对基于深度学习的单图像超分辨率重建方法展开深入研究, 首先综合介绍了用于该领域的基准数据集、性能评价指标、损失函数等相关知识, 然后对有监督学习和无监督学习下单图像超分辨率重建技术的最新算法进行分类讨论, 并且比较分析了不同模型之间的异同点与优缺点, 最后对该领域面临的问题和未来的发展方向进行了总结与展望.     

无监督深度学习模型的多聚焦图像融合算法

深度学习技术应用到多聚焦图像融合领域时,其大多通过监督学习的方式来训练网络,但由于缺乏专用于多聚焦图像融合的监督训练的标记数据集,且制作专用的大规模标记训练集代价过高,所以现有方法多通过在聚焦图像中随机添加高斯模糊进行监督学习,这导致网络训练难度大,很难实现理想的融合效果。为解决以上问题,提出了一种易实现且融合效果好的多聚焦图像融合方法。通过在易获取的无标记数据集上以无监督学习方式训练引入了注意力机制的encoder-decoder网络模型,获得输入源图像的深层特征。再通过形态聚焦检测对获取的特征进行活动水平测量生成初始决策图。运用一致性验证方法对初始决策图优化,得到最终的决策图。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富且失真度小。     

离群点检测技术综述

为了深入了解离群点检测技术发展状况,对近年离群点检测技术进行综述,首先介绍与总结了离群点的定义、引起离群的原因和离群点挖掘算法的分类;其次,对基于邻近性的离群点检测算法、分布式架构下的离群点检测算法以及基于深度学习的离群点检测算法进行综述与总结,尤其对该领域目前最有代表性的方法进行了探讨,指出了其优缺点;最后展望了离群点检测技术未来的研究方向。     

基于深度特征的无监督图像检索研究综述

基于内容的图像检索(content-based image retrieval, CBIR)是一项极具挑战的计算机视觉任务.其目标是从数据库图像中找到和查询图像包含相同实例的图像.一个典型的图像检索流程包括2步:设法从图像中提取一个合适的图像的表示向量和对这些表示向量进行最近邻搜索以找到相似的图像.其中,决定图像检索算法性能的关键在于其提取的图像表示的好坏.图像检索中使用的图像表示经历了基于手工特征和基于深度特征两大时期,每个时期又有全局特征和局部特征2个阶段.由于手工特征的表示能力有限,近年来图像检索的研究主要集中在如何利用深度特征.将以提取图像表示的不同思路为线索,回顾无监督图像检索领域的发展历程,介绍该领域的一些代表性算法,并比较这些算法在常用数据集上的性能表现,最后探讨未来的研究方向.     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

基于深度多相似性哈希方法的遥感图像检索

哈希方法由于低存储、高效率的特性而被广泛应用于遥感图像检索领域。面向遥感图像检索任务的无监督哈希方法存在伪标签不可靠、图像对的训练权重相同以及图像检索精度较低等问题,为此,提出一种基于深度多相似性哈希（DMSH）的遥感图像检索方法。针对优化伪标签和训练关注度分别构建自适应伪标签模块（APLM）和成对结构信息模块（PSIM）。APLM采用K最近邻和核相似度来评估图像间的相似关系,实现伪标签的初始生成和在线校正。PSIM将图像对的多尺度结构相似度映射为训练关注度,为其分配不同的训练权重从而优化深度哈希学习。DMSH通过Swin Transformer骨干网络提取图像的高维特征,将基于语义相似矩阵的伪标签作为监督信息以训练深度网络,同时网络在两个基于不同相似度设计的模块上实现交替优化,充分挖掘图像间的多种相似信息进而生成具有高辨识力的哈希编码,实现遥感图像的高精度检索。实验结果表明,DMSH在EuroSAT和PatternNet数据集上的平均精度均值较对比方法分别提高0.8%～3.0%和9.8%～12.5%,其可以在遥感图像检索任务中取得更高的准确率。