基于信息多模态融合技术在动物识别模型中的应用

国家一级保护动物海南黑冠长臂猿仅分布于我国海南岛,提升对该物种群研究效率且尽可能避免人类行为的干扰成为痛点。文章基于多模态特征融合识别技术,提出一套猿类面部图像特征识别的算法框架,实现海南黑冠长臂猿个体的识别;结合基于时序维度的海南黑冠长臂猿面部特征和猿鸣声纹特征的融合识别模型,实现对长臂猿个体的研究和跟踪。以上框架将神经网络与海南黑冠长臂猿的识别、分类、标记和跟踪等深度结合,提升研究人员的工作效率,同时,也为其他珍稀生物个体多模态特征识别研究提供借鉴。     

基于自适应并行结构的多模态生物特征识别

传统多模态生物特征识别方法当出现生物特征缺失时,识别性能会明显下降。针对此问题,提出一种融合人脸、虹膜和掌纹的自适应并行结构多模态生物识别方法。该方法在设计融合策略时,考虑到所有可能的输入缺失,构造并行结构的融合函数集,在实际应用时根据输入状态自适应的选择融合策略进行识别。实验仿真结果表明该方法既可提高识别可靠性又可实现当有生物特征缺失时的性能稳定。     

基于多模态深度学习的信号调制识别

信号调制识别技术在民用和军事领域都有重要应用。当前信息化战场中,由于各类雷达、通信、导航、电子战武器等信息辐射源的数量愈来愈多,调制形式也日益多样化,信号密度愈来愈大,战争电磁环境日趋复杂化,传统的信号调制识别技术已无法适应。因此,提出基于深度学习的AlexNet网络和复数神经网络,同时采用多模态特征融合和模型融合技术,融合信号统计图域和信号I/Q波形域的多模态信息,实现信号调制识别。仿真结果表明,所提方法的识别精确度在不同信噪比下均优于单模态识别方法和未采用多模态协同融合框架的方法。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI, CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标($ Ac{c_2} $, $ {F_1} $)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMU-MOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明, 同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。     

多模态特征融合的人脸活体检测算法

针对人脸识别技术应用中,使用人脸图像或虚拟人脸等技术手段欺骗识别系统进而降低系统安全性的问题,提出了一种多模态特征融合的人脸活体检测算法.该算法将人脸的RGB图、深度图和红外图分别输入到3个相同的残差网络结构中提取特征;通过基于通道注意力机制的方式对3个模态的特征图进行融合;对融合特征做出决策.在CASIA-SURF数...     

基于多模态的人体动作识别研究

动作识别是计算机视觉领域的重要研究方向.在动作识别的研究中,可以用来识别动作类别的数据模式包括RGB数据、深度图像和骨骼点数据.不同的模态提供不同形式的信息,这些信息很有可能与其他信息互补.在此理论基础上,本文提出了一种基于运动能量的多模态信息互补网络模型架构.该网络同时利用RGB数据提供的丰富的外观特征信息和深度数据...     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

ISO联手IEC发布信息技术多模态生物特征识别技术方案

日前，由ISO和IEC联合公布的《信息技术——生物特征——多模态和其他多生物特征融合》（ISO／IECTR24722：2007）方案能融合多种生物指令，将相同身份的多种证据输入传感器。     

移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法。首先,使用引入高效通道注意力（ECA）机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测。实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%。     

基于多模态的图文情感分析

因特网飞速发展的今天,人们更倾向于将文字与图片相结合来发表自己的评论,而单一模态的情感分析精度较低,本文提出BiGRU-ResNet图文多模态情感分析模型,用于情感分类任务。首先,利用BERT将文本嵌入到词向量中;其次,通过BiGRU并引入注意力层对上游任务的词向量进行特征提取,图像的特征提取由ResNet来完成并保留更为有效的信息;最后,文本模态和图像模态使用注意力机制和张量运算来达到增益的目的,再将融合特征输入至分类器中,得到评论的情感分类。通过实验分析与对比表明,发现多模态模型相较于单模态模型可以提高情感分类任务的精确度。     

基于表情和语音的多模态情感识别研究

由于单一特征的局限性,单一模态的情感识别研究往往由于含有的有效信息量较少或含有的噪声信息过多而导致识别结果与实际情况有着较大的差异。而不同类型的输入特征,相对于单一特征而言,包含着充分的、互补的情感信息。因此,本研究基于eNTERFACE数据库,提取了SIFT特征作为表情特征数据以及使用openSMILE工具包提取的1 582维声学及统计特征作为语音特征数据,分别运用支持向量机SVM和稀疏表示SR方法进行情感识别。最后采用决策层融合的方式,在该数据库上获得了比较好的效果。     

多模态生物识别中生物特征组合的最优化设计

如何在预算一定的情况下挑选出最佳的生物特征组合,通常是多模态生物特征识别技术中首先需要解决的问题。该文运用最优化技术中的“多目标规划”与“0-1线性整数规划”方法建立出一套简洁、实用的数学模型,并给出运用MATLAB的具体求解方法。经试验数据对比证明,该文提出的方法能在一定约束条件下快速、有效的找到满足用户要求的最优的多模态生物特征组合方案。     

多模态融合情感分析模型研究

本文提出了一种新颖的多模态情感分析模型。该方法利用发音连续帧上的特定界标的位移来提取发音特征。并分析每个界标时间变量的时间序列。并提取主要的视觉特征,然后将所有特征融合起来,最终构建出特征矢量,以此对情感进行分析。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

多模态神经网络的网络舆情大数据特征识别

传统网络舆情大数据特征识别方法所构建的演化模型损失值偏高,导致识别结果属性不一致,因此提出基于多模态神经网络的网络舆情大数据特征识别方法.布设网络舆情大数据情感维度空间,在该空间中分析网络舆情在三个阶段的演化规律,以此构建网络舆情大数据演化模型.采用多模态神经网络进行模型演化结果学习,识别具有相同属性的网络舆情大数据特...     

基于深度学习的多模态融合图像识别研究

基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断.利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识.通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识...     

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示.然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks...     

基于人脸表情与生理信号的多模态情绪识别研究

利用多模态智能技术识别情绪已成为业界研究热点。利用摄像头采集到的人脸图像信息传入已经训练好的模型之中,融合传感设备采集到的用户皮肤电反应和心电信息,提出采用支持向量机分类得到情绪所属的二维情绪模型位置,从而得出用户的准确情绪状态,提高了整体情绪识别、分类的准确率。算法对于人类基本情绪的识别准确率达到77.85%,高于单一模态识别的准确率,为多模态情绪识别研究提供了一种新的思路和探索。     

全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积（Adaptive Global Convolution, AGC）来提升有效感受野的范围,特征图重要性分析（Feature Map Importance Analysis,FMIA）模块进一步强化情感关键特征。音频亲和度融合（Audio Affinity Fusion, AAF）模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉（Interactive Emotional Dyadic Mot...