基于深度学习的多模态情感识别综述

简要介绍了文本、语音和人脸等3种单模态情感识别方法,总结了常用的多模态情感数据集。通过分析基于深度学习的多模态情感识别的研究现状,按照融合方式将基于深度学习的多模态情感识别分为基于早期融合、晚期融合、混合融合以及多核融合等4种情感识别方法,并进行了对比分析。最后,指出了情感识别技术研究进展存在的问题及未来发展趋势。     

基于深度学习的多模态行人重识别综述

行人重识别(Re-ID)旨在跨像机检索同一目标行人,它是智能视频监控领域的一项关键技术.由于监控场景的复杂性,单模态行人重识别在低光、雾天等极端情况下的适用性较差.因实际应用的需要以及深度学习的快速发展,基于深度学习的多模态行人重识别受到了广泛的关注.本文针对近年来多模态行人重识别的发展脉络进行综述:阐述了传统单模态行人重识别方法存在的不足;归纳了多模态行人重识别的常见应用场景及其优势,以及各数据集的构成;重点分析了各种场景下多模态行人重识别的相关方法及其分类,并探讨了当前研究的热点和挑战;最后,讨论了多模态行人重识别的未来发展趋势及其潜在应用价值.     

多模态命名实体识别方法研究进展

为了解决多模态命名实体识别(MNER)研究中存在的文本特征语义不足、视觉特征语义缺失、图文特征融合困难等问题,多模态命名实体识别方法相继被提出。首先,总结了多模态命名实体识别方法的整体框架以及各部分常用的技术,随后对其进行梳理并分类为基于BiLSTM的MNER方法和基于Transformer的MNER方法,并根据模型结构将其划分为前融合模型、后融合模型、Transformer单任务模型、Transformer多任务模型等4类模型结构。其次,在Twitter-2015、Twitter-2017 2个数据集上,分别对这2类方法进行实验,结果表明：多特征协同表示能增强各模态特征的语义,多任务学习能够促进模态特征融合或者结果融合,从而提升MNER的准确性。建议在MNER的未来研究中,着重关注通过多特征协同表示来增强模态语义,通过多任务学习促进模态特征融合或结果融合等方向的研究。     

基于1.5维谱的欺骗干扰识别方法

针对欺骗干扰自动识别运算量大、干噪比较低时识别率低和识别模型的实时性不强等问题,研究了一种基于1.5维谱的欺骗干扰识别方法.首先对速度欺骗、距离欺骗和角度欺骗3种干扰信号进行1.5维谱估计,然后提取得到的图像的盒维数、信息熵和信号聚散度作为特征参数,构建三维特征空间,最后将3个特征参数送入径向基函数(RBF)神经网络进行自动分类.仿真结果表明,该方法对欺骗干扰样式识别率较高,受干噪比影响相对较小,运算速度较快,具有较好的实时性.     

雷达抗距离欺骗干扰的计算机仿真模式

雷达在具体应用过程中会受到各项因素的影响,其在具体应用过程中,容易受到距离欺骗干扰.通过分析不难发现,如果雷达遭受到距离欺骗干扰,将会导致目标丢失,造成雷达的作用失效.     

基于手掌几何学的多模态生物特征识别系统的设计

针对目前生物特征识别中存在的不足,充分利用生物特征的优势,通过对掌形图像的特征提取及图像预处理、特征提取与比对技术,开展多模态生物特征融合的识别机制研究,目的在于提出一种更为实用的、多级别安全设置的多模态生物特征融合识别机制,提出基于ARM11硬件的实施方案,设计一种适合不同应用场景的安全生物特征识别系统,满足目前身份认证系统的需要。     

基于神经网络的雷达抗应答式欺骗干扰方法

针对应答式欺骗干扰，定义了特征因子，并用所定义的特征因子训练神经网络分类器，建立抗欺骗干扰模型进行目标检测．同时对三种神经网络作为分类器进行了研究．仿真结果表明，所提出的特征因子及其选用RBF神经网络模型具有较好的抗欺骗干扰性能．     

基于多模态子空间学习的语义标签生成方法

基于已有的视觉空间和文本空间上标签相关性建模方法,提出一种多模态子空间学习的语义标签生成方法。通过建立视觉特征相似图,以非线性方式重构“图像-标签”相关性,进而将图像的视觉模态表示和标签的文本模态表示统一到多模态子空间中,并保证空间变换前后具备结构保持。在该空间中,标签的文本模态与图像的视觉内容模态信息彼此互补,语义相关的图像和标签映射到空间中相近的样本点,进而将语义标签生成问题转换为子空间内图像的近邻标签搜索问题。结果表明,该方法在FLICKR-25K数据集上,性能达到36.88%,在NUS-WIDE数据集上,性能达到44.17%,多模态子空间学习的语义标签生成方法可以大幅度提升标签生成的准确性。     

雷达抗应答式欺骗干扰中的特征提取研究

针对雷达抗应答式欺骗干扰的信号处理,提出基于统计方法和神经网络方法两种特征提取方法.其中,统计方法考虑了均值与方差特征相结合提取特征,神经网络方法用Kohonen网络进行特征提取.仿真结果表明,两种方法都具有较好的抗应答式欺骗干扰性能,而神经网络方法性能更为优越.     

双谱特征提取在欺骗式干扰方式识别中的应用

为了识别出具体的欺骗干扰方式,从而使雷达有针对性地选择抗干扰方法,该文提出了基于双谱特征和模式识别技术的欺骗式干扰识别方法。该方法给出了欺骗式干扰的双谱分布和估计方法,在分析其分布特征和统计特性的基础上,定义两种特征因子;采用基于核聚类的支持向量机分类器,完成对不同欺骗干扰方式的识别;建立了完整的干扰模式识别模型。仿真实验表明,该方法对3种不同欺骗干扰方式的正确识别率高,而且基本不受干噪比影响。     

公益广告手势的多模态隐喻研究

手势是公益广告的重要模态形式之一,对隐喻的动态构建发挥着重要的作用。基于多模态隐喻理论,结合公益广告的语类特点,手势在多模态隐喻意义建构过程中有三种运作机制,即手势直接激活源域、手势通过转喻间接激活源域或目标域以及手势同时激活源域和目标域。公益广告中,目标域可以不呈现或者通过转喻间接呈现;手势既可以直接构建单模态隐喻,也可协同图像、语言(言语、文字)、声音等模态构建多模态隐喻;手势传达广告创作者的注意焦点。     

面向多模态数据的混合型FIB

针对未来网络转发信息库（FIB）中多模态数据带来的差异化快速索引、高效存储转发信息和多模态数据最长前缀匹配等问题,设计了一种支持多模态数据索引的混合型FIB,称为Hybrid-FIB.通过对不同类型的数据进行差异化处理,得到可供神经网络模型学习的输入向量,进而训练出能够实现均匀分布的神经网络混合索引模型.为了实现多模态数据最长前缀匹配,在片上静态随机存取存储器中部署两组Hybrid-FIB结构.实验结果表明,该混合型FIB在误判率、存储消耗及吞吐量等方面具备优异性能.     

面向阵列接收机的转发式欺骗干扰性能评估

为研究转发式欺骗干扰的性能,提出了一种面向阵列接收机的转发式欺骗干扰性能评估方法．基于阵列接收机对直接转发和基于伪码估计转发式欺骗信号的接收模型,首先推导分析了两种转发式欺骗信号的欺信比,然后根据欺信比分析对比了两种转发式欺骗信号的捕获欺骗性能,最后进行了仿真验证．仿真结果表明：在接收机输出欺骗信号最大功率受限为-143 dBW情况下,与直接转发式相比,基于伪码估计转发式欺骗信号的欺信比更高,在20 dB的干扰源接收天线增益下分别高1.9 dB和8.7 dB;为达到90%的捕获欺骗成功,四路基于伪码估计转发式欺骗,在两种不同捕获搜索方式下,需要的干扰源接收天线增益分别为21.2 dB和20.2 dB,相比直接转发式欺骗分别小13.2 dB和12.2 dB.     

脸耳多模态稀疏表示融合识别方法比较

将稀疏表示应用于脸耳多模态身份辨识,比较和分析采用不同融合方法的多模态稀疏表示识别算法的准确性和鲁棒性,为多模态稀疏表示融合识别算法设计提供理论和方法指导。结合多模态融合层次理论与稀疏表示分类的技术特点,提出3种多模态稀疏表示识别方法:直接特征融合法、间接特征融合法和匹配层融合法。从多模态融合角度看,3种方法的不同在于融合层次或融合策略不同;从稀疏表示角度看,它们的主要区别在于稀疏表示时脸和耳特征耦合的程度不同。在3个多模态数据库上的实验结果表明:所提3种方法在识别准确率和鲁棒性上远优于采用NN、NFL和SVM等分类器的融合识别方法;当脸耳图像中噪声不显著时, 3种方法性能相当,当噪声严重时,匹配层融合识别方法优于特征层融合方法。     

LFM-BC雷达信号的欺骗干扰效果分析

基于线性调频.二相编码信号的特点,建立了雷达脉压系统仿真模型;通过仿真实验,比较了距离欺骗干扰、移频干扰、距离.移频二维欺骗干扰和多相干假目标欺骗干扰等四种干扰样式对LFM-BC信号脉冲压缩的干扰效果,分析了干扰信号频移量的大小对雷达脉压输出主瓣幅度,-3dB主瓣宽度和主副瓣比的影响程度,得出了相关结论.     

一种基于决策层融合的多模态情感识别方法

设计了一种软硬结合的多模态情感识别系统,使用语音和面部表情两个模态,通过梅尔频率倒谱系数与卷积神经网络对情感进行识别和分类,同时将语音情感识别迁移到神经网络计算棒以降低环境负载. 在模态融合时,采用决策层融合的方式来提高识别准确率. 实验结果表明,系统拥有较高的识别准确率,且能够在性能较差的运行环境中保持运行速度.     

一种有效识别速度欺骗干扰的方法

对假目标欺骗性干扰,假目标的多普勒频率及其变化率具有一定规律,而真目标的多普勒频率及其变化率具有不确定和无规律性.为有效识别欺骗性假目标,提出了一种新的根据多普勒频率及其变化率判断识别假目标的方法多普勒频率比较法.建模和仿真结果显示,该方法在判别运动目标和假目标上能取得较好的效果.     

基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。     

多模态特征融合的中文谣言检测

相较于纯文本的网络谣言,图文并茂的网络谣言形式更容易取得信任,同时也增加了谣言检测的难度。针对此类谣言形式,提出了一种融合多模态特征的中文谣言检测方法。首先,通过深度学习模型分别提取待检测信息中的文本词特征、文本的句子特征、文本的情感倾向特征、图像视觉特征和视觉特征语义向量;然后,通过注意力机制融合文本的词特征和视觉特征语义向量得到语义一致性特征;最后,将文本的句子特征、文本的情感倾向特征、图像视觉特征和语义一致性特征拼接起来得到多模态特征用于谣言检测。实验结果表明,本文提出的方法在微博多模态数据集上的准确率和F1值分别达到了89.9%和89.8%,提高了谣言检测的效果。     

网络环境下多模态大学英语写作教学初探

英语写作是大学生英语综合能力的一种体现.在大学英语写作教学中,教师要充分利用多媒体和网络,开展多样化的课堂写作活动,丰富大学生英语写作的内容,让写作贴近生活;要鼓励学生以多模态的方式获取信息、开展合作学习和创设课堂语境,从而调动学生英语写作的主体意识,提高英语写作能力.