跨域图像检索综述

受成像载体、成像光谱和成像条件等的影响,跨域图像在不同领域的应用日益增多,跨域图像检索已成为了许多领域研究的热点和前言。然而图像的跨域检索面临着图像视觉偏差的问题,通过传统同域图像检索的方法无法有效地得到结果。通过文献调研,系统梳理了近年来跨域图像检索领域的代表性方法。对跨域图像检索任务作出了简要说明并指出了关键问题;根据图像域的不同转换阶段,将跨域图像检索方法分为两类：基于特征空间迁移和基于图像域迁移的跨域图像检索方法,并对两类方法进行了系统总结和分析;整理了跨域图像检索在不同领域的数据集,对比了各类方法的性能;总结了现有跨域检索方法并对未来的研究方向进行了展望。     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

基于深度学习的三维模型检索算法综述

近年来,深度学习被广泛应用于各个领域并取得了显著的进展,如何利用深度学习高效管理呈爆炸式增长的三维模型一直是一个研究热点.本文介绍了发展至今主流的基于深度学习的三维模型检索算法,并根据实验得出的算法性能评估分析了其优缺点.根据检索任务的不同,可将主要的三维模型检索算法分为两类:(1)基于模型的三维模型检索方法,即检索对...     

深度双模态源域对称迁移学习的跨模态检索

基于深度网络的跨模态检索经常面临交叉训练数据不足的挑战,这限制了训练效果并容易导致过拟合。迁移学习在源域中训练数据的知识迁移学习到目标域中,能有效解决训练数据不足的问题。然而,现有的大部分迁移学习方法致力于将知识从单模态（如图像）源域迁移到多模态（如图像和文本）目标域,而如果源域中已存在多种模态信息,这样的非对称迁移会忽略源域中包含的潜在的模态间语义信息;同时这些方法不能很好地提取源域与目标域中相同模态的相似性,进而减小域差异。因此,提出一种深度双模态源域对称迁移学习的跨模态检索（DBSTL）方法。该方法旨在实现从双模态源域到跨模态目标域的知识迁移,并获得跨模态数据的公共表示。DBSTL由模态对称迁移子网和语义一致性学习子网构成。模态对称迁移子网采用混合对称结构,在知识迁移过程中,使模态间信息具有更高的一致性,并能减小源域与目标域间的差异;而语义一致性学习子网中,所有模态共享相同的公共表示层,并在目标域的监督信息指导下保证跨模态语义的一致性。实验结果表明,在Pascal、NUS-WIDE-10k和Wikipedia数据集上,所提方法的平均精度均值（mAP）较对比方法得到的最好结果分别提...     

基于草图查询的语义对象图像检索

针对图像低层特征和高层语义之间存在的语义鸿沟问题,提出一种结合草图查询和相关反馈的语义对象图像检索系统.该系统首先根据用户输入的手绘草图,利用形状(轮廓、区域和骨架)特征从对象库中初步检索出语义对象并保存其区域组合;然后根据用户选择的反馈对象并结合查询草图提取用户检索对象的语义特征(形状、区域及拓扑特征),最后采用寻找最优区域配对的方法在系统特征库中进行检索.实验结果表明,本文方法不但对用户需求的语义对象有较好的检索效果,而且还能较准确地在结果图像中框选出用户感兴趣的语义对象.     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于压缩域的图像检索技术

图像检索技术是多媒体应用中的关键技术，现有的基于内容图像检索技术大都是基于非压缩域的，对于目前普遍存在的压缩格式图像，采用这种技术必须先解压再检索，不但计算量大，而且需占用较多的中介存储空间，所以严重影响了检索系统的实时性和灵活性，同时各种压缩标准(如JPEG，MPEG，JPEG2000等)的推出与普及也促使人们寻求可以直接在压缩域操作的检索技术，该文对现有的压缩域图像检索技术的发展进行综述，并讨论了未来可能的研究方向。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

深度联合语义跨模态哈希算法

哈希检索具有存储消耗低、查询速度快等优点,被广泛应用于跨模态检索研究,其中基于深度学习的跨模态哈希方法是热点研究问题.大多数深度哈希方法通常在多模态数据的特征关联性学习过程中忽略了数据内容的潜在相关性和语义判别性,从而导致哈希码的关联性不强,容易造成原始数据特征和神经网络特征的不兼容问题.针对以上问题,本文提出一种图像...     

基于迁移学习的图像检索算法

近年来,随着互联网的发展和智能设备的普及,网络上存储的图片数量呈现爆发式增长,同时,不同类型的社交网络、媒体的用户数量也连续增长。在这种情况下,网络上的多媒体数据类型也发生了变革,在包含其本身携带的视觉信息的同时,也包含用户为其设定的标签信息、文本信息。在这种多模态信息杂糅的环境下,如何向用户提供快速准确的图像检索结果,是多媒体检索领域的一个新挑战。文中提出了一种基于迁移学习的图像检索算法,在对图像的视觉信息进行学习的同时,也对图像的文本信息进行学习,并将学习到的结果迁移到视觉信息领域,进行跨模态信息融合,进而产生包含跨模态信息的图像特征。经实验证明,所提算法能够实现更优的图像检索结果。     

基于深度学习的跨模态检索综述

由于多模态数据的快速增长,跨模态检索受到了研究者的广泛关注,其将一种模态的数据作为查询条件检索其他模态的数据,如用户可以用文本检索图像或/和视频。由于查询及其检索结果模态表征的差异,如何度量不同模态之间的相似性是跨模态检索的主要挑战。随着深度学习技术的推广及其在计算机视觉、自然语言处理等领域的显著成果,研究者提出了一系列以深度学习为基础的跨模态检索方法,极大缓解了不同模态间相似性度量的挑战,本文称之为深度跨模态检索。本文从以下角度综述有代表性的深度跨模态检索论文,基于所提供的跨模态信息将这些方法分为3类：基于跨模态数据间一一对应的、基于跨模态数据间相似度的以及基于跨模态数据语义标注的深度跨模态检索。一般来说,上述3类方法提供的跨模态信息呈现递增趋势,且提供学习的信息越多,跨模态检索性能越优。在上述不同类别下,涵盖了7类主流技术,即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习。不同类别下包含部分关键技术,本文将具体阐述其中有代表性的方法。同时对比提供不同跨模态数据信息下不同技术的区别,以阐述在提供了不同层次的跨模态数据信息下相关技术的关注点与使用异同。为评估不同的跨模态检索方法,总结了部分代表性的跨模态检索数据库。最后讨论了当前深度跨模态检索待解决的问题以及未来的研究方向。     

基于多尺度深度学习的商品图像检索

商品图像检索的目标是检索与图像内容相符的商品,它是移动视觉搜索在电子商务中的重要应用.商品图像检索的发展,既为用户购物提供便利,又促进了电子商务向移动端发展.图像特征是影响商品图片检索性能的重要因素.复杂的图片背景、同类商品之间的相似性和被拍摄商品尺度的变化,都使得商品图像检索对图像特征提出了更高的要求.提出了一种多尺度深度神经网络,以便于抽取对复杂图片背景和目标物体尺度变化更加鲁棒的图像特征.同时根据商品类别标注信息学习图片之间的相似度.针对在线服务对响应速度的要求,通过压缩模型的深度和宽度控制了计算开销.在一个百万级的商品图片数据集上的对比实验证明：该方法在保持速度的同时提升了查询的准确率.     

基于深度学习的图像检索技术的实现

近些年,在图片检索领域深度学习技术已经得到了广泛的应用,其价值远远超于传统的图片检索方式,深度学习技术能够将低级特征进行整合,使其具备高层属性,能够发现不同数据的分布规律。本文探讨了深度学习技术的内容,分析了基于深度学习的图像检索系统结构,研究了基于深度学习的图像检索实验,以期能够进一步提升深度学习技术的应用价值。     

基于压缩域的JPEG图像检索技术

目前大部分图像都以压缩的形式来存储和传输,其中以JPEG格式更为流行.检索时对JPEG图像进行完全解压会相当费时.为此,本文提出了一种基于压缩域的JPEG图像快速检索的技术方案,从图像的主要DCT(离散余弦变换)系数中提取关键信息进行计算得到图像的特征向量,并与目标图像的特征向量比较后得出差异度较小的图像作为检索结果.这种检索方法缩短了检索的时间,图像的匹配精度较高.     

基于语义融合和多重相似性学习的跨模态检索

针对现有跨模态检索方法不能充分挖掘模态之间的相似性信息的问题,提出一种基于语义融合和多重相似性学习（CFMSL）方法。首先,在特征提取过程中融合不同模态的语义信息,加强不同模态特征间的交互,使得模型能够充分挖掘模态间的关联信息。然后,利用生成器将单模态特征和融合模态特征映射到公共子空间中,通过最大化锚点与正例样本之间的相似性和最小化锚点与负例样本间的相似性得到具有判别性的特征进行模态对齐。最后,基于决策融合方式对相似性列表进行重排序,使得最终排序结果同时考虑单模态特征和融合模态特征,提高检索性能。通过在Pascal Sentences、Wikipedia、NUS-WIDE-10K这3个广泛使用的图文数据集上进行实验,实验结果表明CFMSL模型能够有效提高跨模态检索任务的性能。     

基于关联特征传播的跨模态检索

深度学习的快速发展和关联学习的深度研究,使得跨模态检索的性能有了很大提升.跨模态检索研究面临的挑战是：不同模态的数据在高层语义上具有关联关系,但在底层特征上存在异构鸿沟.现有方法主要通过单个相关性约束将不同模态的特征映射到具有一定相关性的特征空间中来解决底层特征上的异构鸿沟问题.然而,表征学习表明,不同层次的特征在帮助模型最终性能的提升上都会起作用.所以,现有方法学习到的单一特征空间的关联性是弱的,即该特征空间可能不是最优的检索空间.为解决该问题,提出了基于关联特征传播的跨模态检索模型,其基本思想是强化深度网络各层之间的关联性,即前一层具有一定关联的特征经过非线性变化传到后一层,有利于找到使2种模态关联性更强的特征空间.通过在Wikipedia,Pascal数据集上的大量实验验证得到,该方法提升了平均精度均值.     

基于学习聚类的图像语义检索算法

本文利用聚类理论提出了一种基于学习的聚类图像语义检索算法,建立了底层特征和高层语义的映射,实现了语义的快速提取和图像的精确检索。它由聚类构造算法、聚类构造学习和图象检索算法组成。实验结果表明,本算法是比较稳定和有效的。     

一种压缩域特征提取与语义图像检索技术

为了解决“语义鸿沟”问题，通过将隐含语义索引(LSI)技术引入到图像语义提取问题的研究中，试图从图像的视觉特征中抽取出“高层概念”．基于GM(1，1)压缩域中的一种图像特征，提出了一种建立“图像视觉特征”与“语义信息”之间映射的技术方法．实验研究表明，这种基于压缩域特征和LSI技术的图像检索方法能显著改善图像检索的性能，提高图像检索的质量．     

结合层次分割和跨域字典学习的服装检索

目的 针对现有的跨场景服装检索框架在服装躯干部分检索问题上,因服装款式识别优化存在服装信息丢失和跨场景款式识别的问题,提出一种新的服装分割方法和基于跨域字典学习的服装款式识别。方法 首先,提出基于超像素融合和姿态估计相结合的方法分割出完整的服装,用完整的服装进行检索可以最大限度地保留服装信息。然后,在服装款式识别时,通过学习服装商品数据集与日常服装图像数据的中间数据集字典,使其逐渐适应日常服装图像数据的方式,调节字典的适应性,进而提高不同场景下的服装款式识别的准确性。另外,由于目前国际缺少细粒度标注的大型服装数据库,本文构建了2个细粒度标注的服装数据库。结果 在公认的Fashionista服装数据集及本文构建的数据库上验证本文方法并与目前国际上流行的方法进行对比,本文方法在上下装检索中精度达到62.1%和63.4%,本文方法在服装分割、款式识别,检索方面的准确度要优于当前前沿的方法。结论 针对现有的跨场景服装检索框架分割服装不准确的问题,提出一种新的层次服装过分割融合方法及域自适应跨域服装款式识别方法,保证了服装的完整性,提高了跨场景服装检索及款式识别的精度,适用于日常服装检索。     

基于对象特征的深度哈希跨模态检索

随着不同模态的数据在互联网中的飞速增长,跨模态检索逐渐成为了当今的一个热点研究问题.哈希检索因其快速、有效的特点,成为了大规模数据跨模态检索的主要方法之一.在众多图像-文本的深度跨模态检索算法中,设计的准则多为尽量使得图像的深度特征与对应文本的深度特征相似.但是此类方法将图像中的背景信息融入到特征学习中,降低了检索性能...