跨模态检索技术研究综述

跨模态检索可以通过一种模态检索出其他模态的信息,已经成为大数据时代的研究热点。研究者基于实值表示和二进制表示两种方法来减小不同模态信息的语义差距并进行有效的相似度对比,但仍会有检索效率低或信息丢失的问题。目前,如何进一步提高检索效率和信息利用率是跨模态检索研究面临的关键挑战。介绍了跨模态检索研究中基于实值表示和二进制表示两种方法的发展现状;分析对比了包含两种表示技术下以建模技术和相似性对比为主线的五种跨模态检索方法：子空间学习、主题统计模型学习、深度学习、传统哈希和深度哈希;对最新的多模态数据集进行总结,为相关的研究和工程人员提供有价值的参考资料;分析了跨模态检索面临的挑战并指出了该领域未来研究方向。     

跨模态检索研究综述

近年来,各种类型的媒体数据,如音频、文本、图像和视频,在互联网上呈现爆发式增长,不同类型的数据通常用于描述同一事件或主题。跨模态检索提供了一些有效的方法,可以为任何模态的给定查询搜索不同模态的语义相关结果,使用户能够获得有关事件/主题的更多信息,从而达到以一种模态数据检索另外一种模态数据的效果。随着数据检索需求以及各种新技术的发展,单一模态检索难以满足用户需求,研究者提出许多跨模态检索的技术来解决这个问题。梳理近期跨模态检索领域研究者的研究成果,简要分析传统的跨模态检索方法,着重介绍近五年研究者提出跨模态检索方法,并对其性能表现进行对比;总结现阶段跨模态检索研究过程中面临的问题,并对后续发展做出展望。     

视频文本跨模态检索研究综述

模态代表着数据特定的存在形式,不同模态数据的快速增长,使得多模态学习受到广泛关注.跨模态检索作为多模态学习的一个重要分支,在图文方面已得到显著发展.然而视频相对于图像而言承载了更多模态的数据,也包含更广泛的信息,能够满足用户对信息检索全面性、灵活性的要求,近年来逐渐成为跨模态检索的研究热点.为全面认识和理解视频文本跨模态检索及其前沿工作,对现有代表性方法进行了梳理和综述.首先归纳分析了当前基于深度学习的单向、双向视频文本跨模态检索方法,对每类方法中的经典工作进行了详细分析并阐述了优缺点.接着从实验的角度给出视频文本跨模态检索的基准数据集和评价指标,并在多个常用基准数据集上比较了一些典型方法的性能.最后讨论了视频文本跨模态检索的应用前景、待解决问题及未来研究挑战.     

深度学习跨模态图文检索研究综述

随着深度神经网络的兴起,多模态学习受到广泛关注.跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本.近年来,跨模态检索逐渐成为国内外学术界研究的前沿和热点,是信息检索领域未来发展的重要方向.首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于...     

基于多模态注意力机制的跨模态哈希网络

深度跨模态哈希算法（deep cross-modal Hash;DCMH）可以结合哈希算法存储成本低、检索速度快的优点;以及深度神经网络提取特征的强大能力;得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中;基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分;导致在保证检索速度的同时无法保证检索的精确度。针对上述问题;提出了一种基于多模态注意力机制的跨模态哈希网络（HX_MAN）;将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征;并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互;引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息;将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时;将任一模态的数据输入训练模块中来获得哈希码;计算该哈希码与检索库中哈希码的汉明距离;最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明:HX_MAN模型与当前现有的DCMH方法相比更具有良好的检索性能;在保证检索速度的同时;能够更准确地提炼出图像和文本模态的局部细粒度特征;提高了检索的精确度。     

面向跨模态检索的协同注意力网络模型

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注.然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性.现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数...     

语义保持哈希在跨模态检索中的应用

哈希表示能够节省存储空间,加快检索速度,所以基于哈希表示的跨模态检索已经引起广泛关注。多数有监督的跨模态哈希方法以一种回归或图约束的方式使哈希编码具有语义鉴别性,然而这种方式忽略了哈希函数的语义鉴别性,从而导致新样本不能获得语义保持的哈希编码,限制了检索准确率的提升。为了同时学习具有语义保持的哈希编码和哈希函数,提出一种语义保持哈希方法用于跨模态检索。通过引入两个不同模态的哈希函数,将不同模态空间的样本映射到共同的汉明空间。为使哈希编码和哈希函数均具有较好的语义鉴别性,引入了语义结构图,并结合局部结构保持的思想,将哈希编码和哈希函数的学习融合到同一个框架,使两者同时优化。三个多模态数据集上的大量实验证明了该方法在跨模态检索任务的有效性和优越性。     

跨模态检索研究进展综述

随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生.跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量.文中梳理了跨模态检索领域近期的研究进展,从传统方法、深度学习方法、手工特征的哈希编码方法以及深度学习的哈希编码方法等...     

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。     

典型概念驱动的模态缺失深度跨模态检索

跨模态检索使用一种模态的数据作为查询条件,在另一种模态中检索语义相关的数据.绝大多数的跨模态检索方法仅适用于模态完备条件下的跨模态检索场景,它们对缺失模态数据的处理能力仍有待提升,为此,提出一种典型概念驱动的模态缺失深度跨模态检索模型.首先提出一个融合多模态预训练网络的多模态Transformer模型,能在模态缺失的情况下充分地进行多模态细粒度语义交互,提取多模态融合语义并构造跨模态子空间,同时引导学习生成多模态典型概念;然后使用典型概念作为跨注意力的键和值来驱动模态映射网络的训练,使模态映射网络可以自适应地感知查询模态数据中隐含的多模态语义概念,生成跨模态检索特征,充分地保留训练提取的多模态融合语义.在Wikipedia,Pascal-Sentence,NUS-WIDE和XmediaNet这4个基准跨模态检索数据集上的实验结果表明,所提模型比文中对比模型的平均准确率均值分别提高了1.7%,5.1%,1.6%和5.4%.该模型的源代码可在https://gitee.com/MrSummer123/CPCMR网站获得.     

多模态检索研究综述

多模态数据的日益增长使得多模态检索技术也相继受到了不少关注.随着汽车、医学等行业引入计算机与大数据技术,大量的行业数据其本身都是以多模态形式呈现出来的,行业的快速发展使人们对信息的需求不断增加,单一模态数据检索已经无法满足人们对信息的需求.为了解决这些问题,满足一种模态的数据检索其他模态数据的需求,通过文献的查阅对多模态检索的方法进行研究,分析了公共子空间、深度学习、多模态哈希算法等不同的研究方法,梳理了近年来提出的解决这些问题的多模态检索技术.最后,对近几年来提出的多模态检索方法根据检索的准确性、检索的效率以及特点等多方面进行评价对比;对多模态检索所遇到的挑战进行分析,并展望多模态检索未来的应用前景.     

视觉语言多模态预训练综述

在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。     

基于层次聚类的图文检索模型研究

图文检索在工业中的用途和作用是多方面的,可以帮助提高研发和生产效率,促进科技创新,提高产品的质量和竞争力;目前,图文检索模型的重点是提高检索的精度;随着技术和数据的快速发展,深度学习和大模型技术的不断应用,图文检索的速度问题逐渐凸显,为解决当前图文检索速度受限、计算量大的问题,提出了一种基于层次聚类的图文检索模型;该方法选择了检索效果明显的跨模态哈希方法,并运用深度聚类算法对待检索的数据进行分类,从而缩小检索范围,提高了检索速度;实验结果表明,基于层次聚类的图文检索模型在保持检索精度的同时,显著提高了检索速度,使得工程人员能够更快地获取到满意的检索结果.     

具备高层语义特征的离散哈希图像检索算法

深度哈希在图像搜索领域取得了很好的应用,然而,先前的深度哈希方法存在语义信息未被充分利用的局限性。开发了一个基于深度监督的离散哈希算法,假设学习的二进制代码应该是分类的理想选择,成对标签信息和分类信息在一个框架内用于学习哈希码,将最后一层的输出直接限制为二进制代码。由于哈希码的离散性质,使用交替最小化方法来优化目标函数。该算法在三个图像检索数据库CIFAR-10、NUS-WIDE和SUN397中进行验证,其准确率优于其他监督哈希方法。     

自监督深度离散哈希图像检索

目的 基于深度学习的图像哈希检索是图像检索领域的热点研究问题。现有的深度哈希方法忽略了深度图像特征在深度哈希函数训练中的指导作用,并且由于采用松弛优化,不能有效处理二进制量化误差较大导致的生成次优哈希码的问题。对此,提出一种自监督的深度离散哈希方法（self-supervised deep discrete hashing,SSDDH）。方法 利用卷积神经网络提取的深度特征矩阵和图像标签矩阵,计算得到二进制哈希码并作为自监督信息指导深度哈希函数的训练。构造成对损失函数,同时保持连续哈希码之间相似性以及连续哈希码与二进制哈希码之间的相似性,并利用离散优化算法求解得到哈希码,有效降低二进制量化误差。结果 将本文方法在3个公共数据集上进行测试,并与其他哈希算法进行实验对比。在CIFAR-10、NUS-WIDE（web image dataset from National University of Singapore）和Flickr数据集上,本文方法的检索精度均为最高,本文方法的准确率比次优算法DPSH（deep pairwise-supervised hashing）分别高3%、3%和1%。结论 本文提出的基于自监督的深度离散哈希的图像检索方法能有效利用深度特征信息和图像标签信息,并指导深度哈希函数的训练,且能有效减少二进制量化误差。实验结果表明,SSDDH在平均准确率上优于其他同类算法,可以有效完成图像检索任务。     

基于深度Q网络的机器人抓取系统

针对机器人在未知环境和无模型的情况下难以对物体实现有效抓取这一问题,基于深度Q网络的方法,设计了一个机器人抓取系统。该系统可以通过与环境交互自我学习动作策略,无需先验知识和标注数据。在仿真环境和真实环境中进行抓取实验对该系统的性能进行评估,结果证明系统具有较好的完成随机场景下物体抓取任务的能力。     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

深度对比学习综述

在深度学习中, 如何利用大量、易获取的无标注数据增强神经网络模型的特征表达能力, 是一个具有重要意义的研究问题, 而对比学习是解决该问题的有效方法之一, 近年来得到了学术界的广泛关注, 涌现出一大批新的研究方法和成果. 本文综合考察对比学习近年的发展和进步, 提出一种新的面向对比学习的归类方法, 该方法将现有对比学习方法归纳为5类, 包括: 1) 样本对构造; 2) 图像增广; 3) 网络架构; 4) 损失函数; 5) 应用. 基于提出的归类方法, 对现有对比研究成果进行系统综述, 并评述代表性方法的技术特点和区别, 系统对比分析现有对比学习方法在不同基准数据集上的性能表现. 本文还将梳理对比学习的学术发展史, 并探讨对比学习与自监督学习、度量学习的区别和联系. 最后, 本文将讨论对比学习的现存挑战, 并展望未来发展方向和趋势.