基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出...     

多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛.不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据.多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合.自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息.面对保...     

基于多模态信息融合的语音意图理解研究

为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息,提出了一种基于多模态信息融合的语音意图理解方法,并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计.该方法从识别文本和语音信号中抽取不同模态的信息并进行融合,能够有效地从语音中获取丰富的意图信息,有助于建立自然的人机交互环境.     

多模态融合的膝关节损伤预测

膝关节磁共振成像（MRI）是诊断膝关节损伤的首选方法。然而,MRI影像的人工诊断是费时的,而且容易出现诊断错误。为了更准确地预测膝关节损伤,辅助临床医生做出诊断,提出一种多模态特征融合的深度学习模型,用于检测一般异常、前交叉韧带撕裂和半月板撕裂。提取梯度方向直方图（Histogram of Oriented Gradients, HOG）特征和局部二值模式（Local Binary Pattern,LBP）特征,经contact融合后利用PCA选取特征贡献度超过95%的特征作为传统特征;在VGG16模型的基础上加入金字塔融合的思想,将多个feature map的信息融合作为深度特征;将传统特征和深度特征经多层神经网络的能量模型进行相关性融合,作为多模态的特征,并得到预测概率。实验结果表明,上述模型在一般异常、前交叉韧带撕裂和半月板撕裂下ROC曲线下的面积（AUC）值分别为0.941?0、0.970?8和0.847?9,与传统特征和深度特征的效果相比,具有明显的优势,可以实现更有效的预测。     

基于多模态融合的情感分析算法研究综述

情感分析是一项新兴技术,其旨在探索人们对实体的态度,可应用于各种领域和场景,例如产品评价分析、舆情分析、心理健康分析和风险评估。传统的情感分析模型主要关注文本内容,然而一些特殊的表达形式,如讽刺和夸张,则很难通过文本检测出来。随着技术的不断进步,人们现在可以通过音频、图像和视频等多种渠道来表达自己的观点和感受,因此情感分析正向多模态转变,这也为情感分析带来了新的机遇。多模态情感分析除了包含文本信息外,还包含丰富的视觉和听觉信息,利用融合分析可以更准确地推断隐含的情感极性（积极、中性、消极）。多模态情感分析面临的主要挑战是跨模态情感信息的整合,因此,重点介绍了不同融合方法的框架和特点,并对近几年流行的融合算法进行了阐述,同时对目前小样本场景下的多模态情感分析进行了讨论,此外,还介绍了多模态情感分析的发展现状、常用数据集、特征提取算法、应用领域和存在的挑战。期望此综述能够帮助研究人员了解多模态情感分析领域的研究现状,并从中得到启发,开发出更加有效的模型。     

信息物理融合系统中基于多模态数据的事件模型研究

在信息物理融合系统中,通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。这些异构网络包含不同类型的传感器节点,这些节点具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的问题。在本文中,提出了基于多模态数据的事件模型,以事件为载体将多种不同模态的数据融合计算。文中描述并定义了信息物理融合系统中的事件,给出了基本事件和复合事件的定义,并提出了事件的合成规则。     

拥抱融合的多模态灾害分析算法

融合文本和图像的多模态信息相对于单模态可以提升灾害事件分析准确率。但是已有的工作多数将文本特征和图片特征进行简单的融合,在提取、融合特征的时候造成特征的冗余,同时忽略了模态之间的联系,没有考虑到图像和文本之间特征的相关性。为此,本文分析和研究目前流行的多模态融合算法,提出一种拥抱融合的多模态灾害事件分析算法。首先将文本特征和图像的特征向量互相对比,考虑文本和图像特征之间的相关性。然后基于多项抽样,剔除冗余的特征,融合文本特征和图像特征。实验结果表明,拥抱融合在Crisis MMD2.0数据集上实验1的2个任务的分类效果准确率分别高达88.2%、85.1%,都明显优于其他多模态融合模型,表明了该模型的有效性。同时第2个实验也验证了拥抱模型对于不同文本和图像深度学习模型的适用性。     

基于细粒度特征融合的部分多模态哈希

多模态数据的指数级增长使得传统数据库在存储和检索方面遇到挑战,而多模态哈希通过融合多模态特征并映射成二进制哈希码,能够有效地降低数据库的存储开销并提高其检索效率.虽然目前已经有许多针对多模态哈希的工作取得了较好的效果,但是仍然存在着3个重要问题:(1)已有方法偏向于考虑所有样本都是模态完整的,然而在实际检索场景中,样本缺失部分模态的情况依然存在;(2)大多数方法都是基于浅层学习模型,这不可避免地限制了模型的学习能力,从而影响最终的检索效果;(3)针对模型学习能力弱的问题已提出了基于深度学习框架的方法,但是它们在提取各个模态的特征后直接采用了向量拼接等粗粒度特征融合方法,未能有效地捕获深层语义信息,从而弱化了哈希码的表示能力并影响最终的检索效果.针对以上问题,提出了PMH-F3模型.该模型针对样本缺失部分模态的情况,实现了部分多模态哈希.同时,基于深层网络架构,利用Transformer编码器,以自注意力方式捕获深层语义信息,并实现细粒度的多模态特征融合.基于MIRFlickr和MSCOCO数据集进行了充分实验并取得了最优的检索效果.实验结果表明:所提出的PMH-F³     

融合多模态信息的产品摘要抽取模型

在网络购物平台上,简洁、真实、有效的产品摘要对于提升购物体验至关重要。网上购物无法接触到产品实物,产品图像所含信息是除产品文本描述外的重要视觉信息,因此融合包括产品文本和产品图像在内的多模态信息的产品摘要对于网络购物具有重要的意义。针对融合产品文本描述和产品图像的问题,提出一种融合多模态信息的产品摘要抽取模型。与一般的产品摘要任务的输入只包含产品文本描述不同,该模型引入了产品图像作为一种额外的信息来源,使抽取产生的摘要更丰富。具体来说,首先对产品文本描述和产品图像分别使用预训练模型进行特征表示,从产品文本描述中提取每个句子的文本特征表示,从产品图像中提取产品整体的视觉特征表示;然后使用基于低阶张量的多模态融合方法将每个句子的文本特征和整体视觉特征进行模态融合,得到每个句子的多模态特征表示;最后将所有句子的多模态特征表示输入摘要生成器中以生成最终的产品摘要。在CEPSUM (Chinese E-commerce Product SUMmarization) 2.0数据集上进行对比实验,在CEPSUM 2.0的3个数据子集上,该模型的平均ROUGE-1比TextRank高3.12个百分点,...     

基于多模态融合的三维模型检索算法研究

为了获得更好的三维模型检索分类性能,基于深度学习模型研究了多模态信息融合对三维模型的特征描述,在训练步骤提出相关性损失函数来指导不同模态之间的训练,提取更稳健的特征向量;最后将融合特征应用于三维模型的检索和分类,在ModelNet40数据集上进行了三维模型分类任务和检索任务评估。实验结果及与现有方法进行的对比证明了该方法的优越性,为三维模型检索分类领域提供了一种新的思路。     

基于样本内外协同表示和自适应融合的多模态学习方法

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,...     

支持多模态医学数据融合的并行加载算法

由于多模态数据中的数据分属多种模态且相互之间存在互补关系,所以利用传统单模态数据的分析和处理方法无法有效地融合不同模态的数据并表示和处理不同模态数据之间的相互关系。为了解决多模态数据的建模、表示和存储问题,使得更好地融合不同模态的数据及更有效地表示数据之间的相互关系,本文提出了一种新的数据模型,即模态结构图,用于多模态医学数据的建模。该模型利用图结构对多模态数据中的模态及模态间的关系进行建模和表示。基于此模型,本文提出了一种并行的数据加载技术,用于抽取出多模态医学数据中分属不同模态和模态间关系的数据并存储到图数据库中。通过使用批量医学数据文件进行实验,验证了该提取加载技术能够获得较好的数据处理效率。     

基于多模态特征融合的动态视频摘要算法

技术可以从冗长的原始视频中提取出关键帧或关键镜头,生成简明紧凑的视频摘要,在基本概括了视频主要内容的基础上极大地缩短用户浏览时间。针对目前视频摘要算法普遍忽略视频中的运动信息而导致摘要缺乏逻辑性和故事性的问题,提出了一种基于多模态特征融合的动态视频摘要算法(MFFSN),采用了有监督的编码器-解码器的网络框架。在编码端通过深度神经网络提取原始视频帧的多尺度空间特征和光流图像的多尺度运动特征,利用运动引导注意力模块(Motion Guided Attention,MGA)进行时空注意力建模,对空间特征和运动特征进行有机融合得到多模态特征;在解码阶段,采用自注意力机制关注数据中的显著特征,再通过回归网络得到帧重要性分数;最后根据背包算法选择关键镜头生成动态摘要。在Sum Me基准数据集上的实验结果证明提出的MFFSN摘要算法优于现有的同类视频摘要算法。     

基于贝叶斯网络的体域网多模态健康数据融合方法

体域网作为无线传感器网络在生物医学领域的一个重要分支能够远程实时监测人体多项健康数据.针对基于体域网采集到的多模态健康数据融合与分析方法进行研究,设计了一套包括动态心电传感器、血压传感器和血氧饱和度传感器的体域网组网方式,提出了一种基于贝叶斯网络模型和推理算法的心肌缺血监测识别方法.通过对60例确诊心脏病患者施行单一模态动态心电监测和多模态健康数据监测对比实验,验证了所提出的多模态健康数据融合方法能够有效提高无症状性心肌缺血的检出率,为临床应用提供了一种新的辅助判别手段.     

基于循环神经网络的多模态无线传感数据自适应融合方法

为了去除无线传感数据冗余,降低传感器能量消耗。提出了一种基于循环神经网络的多模态无线传感数据自适应融合方法。利用格拉布斯准则预处理传感数据,剔除了不具备参考利用价值的粗数据。在相似性指标计算下,获得精细数据的相似元获得关键数据。利用循环神经网络解决了无线传感器数据过度依赖和梯度过长问题,获得了数据自适应融合的特征参数。考虑传感器发生异常检测和不发生异常检测时数据融合情况,完成数据自适应融合。经仿真实验证明,在相同数据相似度门限值下,90个时隙的最低融合比为10%,可有效控制数据压缩量。该方法下传感器能量消耗始终低于0.25 J,其最低传输延迟为10 ms,提高了传感数据融合的性能。     

多模态情感分析算法综述

多模态情感分析作为近年来的研究热点,比单模态情感分析具有更高的稳定性和准确率.介绍了多模态情感分析研究背景,分别对基于文本的、基于音频的和基于视频的单模态情感算法分析进行了阐述,又讲解了多模态的3种融合方法:特征级融合、决策级融合和混合融合以及相关算法,并分析了多模态情感分析存在的问题.     

基于超图的多模态特征选择算法及其应用

目前机器学习算法已经被广泛应用到脑疾病的诊断中。医学影像数据由于样本珍贵,并且特征维数往往远大于已有样本数目,在实际应用中这是典型的小样本问题。此外,通过不同的成像手段可以得到不同模态的数据(例如MRI和PET)。从而提出一种基于超图的多模态特征选择算法。首先将每组模态当作一组任务,利用l2,1范数进行特征选择,保证不同模态相同脑区的特征被选中。然后使用超图技术来刻画数据样本与样本之间的高阶信息,从而充分利用每组模态数据内部的分布先验。最后利用多核支持向量机对选择后的特征进行融合分类,从而提高对疾病的诊断精度。在ADNI数据集上对提出的方法进行验证,并与传统方法进行对比,实验结果说明了提出方法的有效性。     

基于自适应门控信息融合的多模态情感分析

多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。     

基于多模态数据融合的城中村社会治理大数据模型构建与算法创新

针对城中村社会治理中信息分散、决策不准确等问题,提出一种基于多模态数据融合的大数据模型构建方法。采用多模态数据融合策略,将不同类型的数据进行融合和关联,以获取更全面、准确的城中村社会治理信息。为了实现数据融合,引入了卷积神经网络（Convolutional Neural Networks,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）等深度学习方法,通过对不同数据模态进行特征提取和表示学习,进一步增强模型的表达能力和泛化能力。实验结果表明,与传统的方法相比,所提出的模型和算法能够更准确地预测社会问题,优化资源配置,提高城中村社会治理的效能和效果。