基于概率图模型的多模态数据联合检索算法

为了提高多模态检索的性能,提出一种多模态文档语义生成模型以及基于该模型的多模态数据联合检索算法。多模态文档语义生成模型认为文档中每个模态数据都是由相同的语义概念生成的,并且文档是多个模态数据的联合分布。为了简化模型的求解过程,假设各个模态数据之间的生成过程是相互独立的,于是可以对每个模态的条件概率进行单独计算。在多模态联合检索中,通过计算查询数据和待检索文档的联合概率来计算它们之间的相似度。实验结果表明,提出的方法与两步检索、语义索引和排序学习三种多模态检索方法相比具有更好的检索性能。此外,该方法可以扩展应用到具有三个及以上模态数据的文档联合检索中。     

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注。然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性。为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法。该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习。实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果。      

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标(Acc2,F 1)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在C...     

利用跨模态轻量级YOLOv5模型的PET/CT肺部肿瘤检测

多模态医学图像可在同一病灶处提供更多语义信息,针对跨模态语义相关性未充分考虑和模型复杂度过高的问题,该文提出基于跨模态轻量级YOLOv5(CL-YOLOv5)的肺部肿瘤检测模型。首先,提出学习正电子发射型断层显像(PET)、计算机断层扫描(CT)和PET/CT不同模态语义信息的3分支网络;然后,设计跨模态交互式增强块充分学习多模态语义相关性,余弦重加权计算Transformer高效学习全局特征关系,交互式增强网络提取病灶的能力;最后,提出双分支轻量块,激活函数簇(ACON)瓶颈结构降低参数同时增加网络深度和鲁棒性,另一分支为密集连接的递进重参卷积,特征传递达到最大化,递进空间交互高效地学习多模态特征。在肺部肿瘤PET/CT多模态数据集中,该文模型获得94.76%mAP最优性能和3 238 s最高效率,以及0.81 M参数量,较YOLOv5s和EfficientDet-d0降低7.7倍和5.3倍,多模态对比实验中总体上优于现有的先进方法,消融实验和热力图可视化进一步验证。     

一种改进的二进制哈希编码方法

为了应对手工视觉特征与哈希编码过程不能最佳地兼容以及现有哈希方法无法区分图像语义信息的问题,提出一种基于深度卷积神经网络学习二进制哈希编码的方法.该方法基本思想是在深度残差网络中增加一个哈希层,同时学习图像特征和哈希函数;以此同时提出一种更加紧凑的分级哈希结构,用来提取更加接近图像语义的特征.经MNIST、CIFAR-10、NUS-WIDE数据集的实验,结果表明该方法优于现有的哈希方法.该方法不仅统一了特征学习和哈希编码的过程,同时深层残差网络也能得到更接近图像语义的特征,进而提高了检索准确度.     

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示。然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long Short-Term Memory,LSTM)进行训练,以充分学习流量数据模态间和模态内信息的相互依赖性,克服现有单模态分类器的局限,从而支持更为复杂的现代网络应用场景。     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

基于松弛Hadamard矩阵的多模态融合哈希方法

哈希作为一种有效的数据表征技术,已经在应对爆炸式增长的多媒体数据中扮演了重要的角色.它由于低存储和高效率的优势,在多媒体检索领域受到了越来越多的关注.目前多模态哈希学习方法在多媒体检索任务中得到了较好的研究和发展.然而,多数的方法通过编码特征的内积重构成对相似度来保持原始数据的结构信息,但是带来较复杂的优化问题.此外一...     

基于深度哈希算法的极光图像分类与检索方法

面对形态万千、变化复杂的海量极光数据,对其进行分类与检索为进一步研究地球磁场物理机制和空间信息具有重要意义。该文基于卷积神经网络(CNN)对图像特征提取方面的良好表现,以及哈希编码可以满足大规模图像检索对检索时间的要求,提出一种端到端的深度哈希算法用于极光图像分类与检索。首先在CNN中嵌入空间金字塔池化(SPP)和幂均值变换(PMT)来提取图像中多种尺度的区域信息;其次在全连接层之间加入哈希层,将全连接层最能表现图像的高维语义信息映射为紧凑的二值哈希码,并在低维空间使用汉明距离对图像对之间的相似性进行度量;最后引入多任务学习机制,充分利用图像标签信息和图像对之间的相似度信息来设计损失函数,联合分类层和哈希层的损失作为优化目标,使哈希码之间可以保持更好的语义相似性,有效提升了检索性能。在极光数据集和 CIFAR-10 数据集上的实验结果表明,所提出方法检索性能优于其他现有检索方法,同时能够有效用于极光图像分类。     

基于深度卷积神经网络和二进制哈希学习的图像检索方法

随着图像数据的迅猛增长,当前主流的图像检索方法采用的视觉特征编码步骤固定,缺少学习能力,导致其图像表达能力不强,而且视觉特征维数较高,严重制约了其图像检索性能。针对这些问题,该文提出一种基于深度卷积神径网络学习二进制哈希编码的方法,用于大规模的图像检索。该文的基本思想是在深度学习框架中增加一个哈希层,同时学习图像特征和哈希函数,且哈希函数满足独立性和量化误差最小的约束。首先,利用卷积神经网络强大的学习能力挖掘训练图像的内在隐含关系,提取图像深层特征,增强图像特征的区分性和表达能力。然后,将图像特征输入到哈希层,学习哈希函数使得哈希层输出的二进制哈希码分类误差和量化误差最小,且满足独立性约束。最后,给定输入图像通过该框架的哈希层得到相应的哈希码,从而可以在低维汉明空间中完成对大规模图像数据的有效检索。在3个常用数据集上的实验结果表明,利用所提方法得到哈希码,其图像检索性能优于当前主流方法。     

基于多模态深度学习的虚假类新闻检测

针对目前网络中有些新闻存在虚假性，缺乏真实性等问题，根据假新闻所包含的数据特征进行分析，选取不同的特征提取方法来针对不同模态数据进行特征提取，并进行特征融合，提出了基于多模态特征融合的检测算法MMDM。首先基于外部信息的文本模态特征提取，然后融合图片物理及语义信息进行特征提取，最后对两个模块特征融合。实验结果表明，多模态特征融合算法检测性能优于其他方法。     

面向6G的跨模态信号重建技术

6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型。首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触觉信号的数据集VisTouch,为后续各种跨模态问题的研究奠定基础;其次,通过利用多模态信号间的语义关联性,设计一种普适的、稳健的端到端跨模态信号重建框架;再次,以通过视频信号重建触觉信号为例,构建视频辅助的触觉重建模型,包括基于3D CNN的视频特征提取网络,基于全卷积网络的GAN生成网络与基于CNN的GAN辨别网络;最后,通过实验结果验证跨模态信号重建框架的可靠性以及触觉重建模型的准确性。     

多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中,通常存在两个挑战性问题：(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征;(2)如何充分利用双模态信息,捕捉双模态特征中情感语义的一致性与互补性。为此,提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面,为从EEG信号中获得更具显著性的情感语义特征,设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征,再通过特征相似度加权并集成各层次的特征,最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面,为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性,设计了特有-共享特征融合模块,通过特有特征的学习和共享特征的学习来联合学习情感语义特征,并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上,采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明,该模型取得了具有竞争力的结果,为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。     

基于稀疏自编码的无监督哈希算法

最近邻搜索在大规模图像检索中变得越来越重要。在最近邻搜索中,许多哈希方法因为快速查询和低内存被提出。然而,现有方法在哈希函数构造过程中对数据稀疏结构研究的不足,本文提出了一种无监督的稀疏自编码的图像哈希方法。基于稀疏自编码的图像哈希方法将稀疏构造过程引入哈希函数的学习过程中,即通过利用稀疏自编码器的KL距离对哈希码进行稀疏约束以增强局部保持映射过程中的判别性,同时利用L2范数来哈希编码的量化误差。实验中用两个公共图像检索数据集CIFAR-10和YouTube Faces验证了本文算法相比其他无监督哈希算法的优越性。     

深度学习和迭代量化在图像检索中的应用研究

基于内容的图像检索的关键在于对图像进行特征提取和对特征进行多比特量化编码 。近年来,基于内容的图像检索使用低级可视化特征对图像进行描述,存在“语义鸿沟”问题;其次,传统量化编码使用随机生成的投影矩阵,该矩阵与特征数据无关,因此不能保证量化的精确度。针对目前存在的这些问题,本文结合深度学习思想与迭代量化思想,提出基于卷积神经网络VGG16和迭代量化(Iterative Quantization, ITQ)的图像检索方法。使用在公开数据集上预训练VGG16网络模型,提取基于深度学习的图像特征;使用ITQ方法对哈希哈函数进行训练,不断逼近特征与设定比特数的哈希码之间的量化误差最小值,实现量化误差的最小化;最后使用获得的哈希码进行图像检索。本文使用查全率、查准率和平均精度均值作为检索效果的评价指标,在Caltech256图像库上进行测试。实验结果表明,本文提出的算法在检索优于其他主流图像检索算法。      

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于深度卷积神经网络的多元医学信号多级上下文自编码器

多元医学信号的典型代表有多模态睡眠图和多通道脑电图等，采用无监督深度学习表征多元医学信号是目前健康信息学领域中的一个研究热点。为了解决现有模型没有充分结合医学信号多元时序结构特点的问题，该文提出了一种无监督的多级上下文深度卷积自编码器(mCtx-CAE)。首先改进传统卷积神经网络结构，提出一种多元卷积自编码模块，以提取信号片段内的多元上下文特征；其次，提出采用语义学习技术对信号片段间的时序信息进行自编码，进一步提取时序上下文特征；最后通过共享特征表示设计目标函数，训练端到端的多级上下文自编码器。实验结果表明，该文所提模型在两种应用于不同医疗场景下的多模态和多通道数据集(UCD和CHB-MIT)上表现均优于其它无监督特征学习方法，能有效提高多元医学信号的融合特征表达能力，对提高临床时序数据的分析效率有着重要意义。     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。     

基于多模态数据分析的典型智能化军事应用

随着计算机网络与信息通信技术的发展,数据积累爆炸式增长,并越来越呈现出多源异构的特点,基于不同模态下数据的检索与融合分析成为了近年来的研究热点.通过介绍多模态数据分析的特点与技术要点,并结合军事领域需求牵引,研究提出多模态数据分析在军事智能化发展中的典型应用构想.     

面向跨模态检索的音频数据库内容匹配方法研究

跨模态检索旨在通过以某一模态的数据为查询词，使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法，这已成为多媒体和信息检索领域中一个有趣的研究问题。但是，目前大多数的研究成果集中于文本到图像、文本到视频以及歌词到音频等跨模态相关任务上，而关于如何为特定的视频通过跨模态检索得到合适的音乐这一跨模态的相关研究却很有限。此外，大多现有的关于视频和音频跨模态的研究依赖于元数据（例如关键字，标签或描述）。本文介绍了一种基于音频和视频这两种模态数据内容的跨模态检索的方法，该方法以新型的双流处理网络为框架，并通过神经网络学习两模态数据在公共子空间的特征表达，以计算音频和视频数据之间的相似度。本文所提出的方法的创新点主要在以下三个方面:1）在原有的提取各模态特征的模型基础上引入注意力机制，以此得到了视频和音频的特征选择模型，并筛选出相应的特征表达。2）使用了样本挖掘机制，剔除了无效样本，使得数据的训练更加高效。3）从计算模态间相似性和保持模态内结构不变两方面出发，设计了相应的损失函数进行模型的训练。且所提出的模型在VEGAS数据集和自建数据集上都取得了较高的准确度。