基于RoBERTa改进的多模态情绪识别关键技术研究

针对当前多模态情绪识别技术的识别稳定性差,导致识别精准度低的问题,提出了基于RoBERTa改进的多模态情绪识别关键技术研究。建立了基于RoBERTa改进的多模式情绪识别模型,对输入文本进行量化表示,并采用BIO标注的方法,对RoBERTa模型进行识别。通过计算RoBERTa语言模型学习节点间的相位锁定值,保证识别过程的稳定性,获得相应的连接权值,计算K-阶传播数的结构熵和权值,得到每个节点的排名。融合RoBERTa语言模型拓扑结构和节点排名,利用F-score算法选择融合后特征,以此识别多模态情绪。实验结果表明,该技术与实际结果存在0.005的误差,能够有效提高识别准确率。     

非接触手成像系统图像采集光源的研究

研究了基于TMS320DM642 DSP芯片的非接触多光谱手识别装置中的光源。在整个识别装置中,光源占有举足轻重的地位,合理准确的光源能够采集到清晰的手部信息图像,并有利于提高用户身份识别的准确率。基于此目的搭建了以恒流源控制芯片、LED为主要器件的多光谱光源控制系统:恒流源芯片要驱动采集手掌掌纹信息的470 nm的可见蓝光LED和采集手掌静脉、掌形信息的850 nm近红外光LED;且可实现一次拍摄并获取高质量的三模态信息(掌纹、手掌静脉及掌形)的图像;并利用Light Tools软件对该光源进行了辅助验证。该设计不但解决了在获取手部三模态信息时需要转换光源的问题,而且还为多模态手部识别奠定了数据基础和实验环境。     

基于音视频的情感识别方法研究

近年来,情感计算逐渐成为人机交互发展突破的关键,而情感识别作为情感计算的重要部分,也受到了广泛的关注。本文实现了基于ResNet18的面部表情识别系统和基于HGFM架构的语音情感识别模型,通过调整参数,训练出了性能较好的模型。在此基础上,通过特征级融合和决策级融合这两种多模态融合策略,实现了包含视频和音频信号的多模态情感识别系统,展现了多模态情感识别系统性能的优越性。两种不同融合策略下的音视频情感识别模型相比视频模态和音频模态,在准确率上都有一定的提升,验证了多模态模型往往比最优的单模态模型的识别性能更好的结论。本文所实现的模型取得了较好的情感识别性能,融合后的音视频双模态模型的准确率达到了76.84%,与现有最优模型相比提升了3.50%,在与现有的音视频情感识别模型的比较中具有性能上的优势。      

基于多模态大模型的网格治理工单生成的研究与应用

在大数据时代,网格治理的精细化数字化导致了各种媒介产生的信息数据爆炸增长,如何有效采集、管理和利用网格治理的数据显得格外重要。传统的智慧化网格治理的工单生成环节还存在数据源种类限定性强、人工录入网格事件工单工作量大或者自动生成的工单无法识别长尾事件类别的问题。通过主流多模态大模型的使用、提示文本的探索优化,以及专有场景数据集构建及微调,可有效提高模型的事件识别准确性。实验结果表明,利用多模态大模型实现的网格数据多模态分析、长尾事件类别的发现及智能分析决策具有较好的效果。最后,对大模型在社会治理领域的未来发展进行了前瞻性思考和展望。     

移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。      

基于BiGRU模型的多模态网络舆情情感分析

情感分析可以挖掘社会热点事件网络舆情的矛盾冲突,加强对多模态信息的分析处理,对网络舆情管理具有重要意义。本文基于BiGRU模型构建多模态网络舆情情感分析框架,运用word2vec提取文本特征,卷积神经网络提取图像特征,采用线性融合进行特征融合实现情感分析。与基线模型相比,本文的多模态网络舆情情感分析方法准确率、宏平均F1和加权平均F1的结果更优,对现实生活产生的舆情事件具有较好的情感识别效果。     

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力：在分类指标(Acc2,F 1)和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在C...     

基于智能手机的步态识别研究与设计

在当前大数据浪潮的影响下,生物识别技术的发展吸引了越来越多国内外研究者的关注。步态识别技术能够根据受试者行走时的步态,进行非接触式身份识别,具有采集方便、识别距离远、不易隐藏等优点。文章提出了一种基于智能手机的步态识别方法,选用加速度、陀螺仪传感器采集步态数据,利用机器学习技术对步态信息进行分析处理,以参数调优后的随机森林算法作为步态识别分类模型,经测试模型准确率可达94.05%。此外,设计开发了一款实时的智能手机身份识别系统,将提出的步态识别最佳分类模型部署到移动端,生成结果可用于身份识别,也为步态数据采集提供一种新的方式。     

基于多模态的人体动作识别研究

动作识别是计算机视觉领域的重要研究方向.在动作识别的研究中,可以用来识别动作类别的数据模式包括RGB数据、深度图像和骨骼点数据.不同的模态提供不同形式的信息,这些信息很有可能与其他信息互补.在此理论基础上,本文提出了一种基于运动能量的多模态信息互补网络模型架构.该网络同时利用RGB数据提供的丰富的外观特征信息和深度数据...     

基于多尺度卷积和LSTM的多模态隐式认证

针对以往身份认证大多基于单一模态信号、准确率不够高等问题,提出了一种基于多尺度卷积和长短期记忆网络融合的多模态隐式认证方案(MMC-LSTM)。结合智能移动设备在多传感器下的运动特征和触摸特征作为多模态特征进行输入,根据并行的多尺度卷积层捕获多维度的行为特征,并使用长短期记忆网络弥补对短序列识别的不足,从而实现更准确的认证。为减少用户姿态转变带来的影响,构建了先识别不同姿态再进行认证的总体框架。实验结果表明,所提方案在公开数据集上的认证准确率可达到98.2%,比单模态特征认证准确率提高了1.3%,能有效提升身份认证的准确性。     

基于分数层融合的多生物特征融合识别

针对多生物信息识别分类问题,提出了一种基于分数层融合的掌纹和虹膜融合识别模型。首先使用1D LogGabor滤波及最小汉明距离匹配实现了虹膜的特征提取和识别匹配,识别准确度达到98.9%;其次利用优化后的SqueezeNet网络模型实现了掌纹的分类识别,其分类准确效率可达99%;最后采用分数层融合方案按掌纹与虹膜比为4:6的权重比进行多生物融合识别,最终实现识别分类准确度为99.75。此外,设定评价指标对掌纹、虹膜以及融合后的识别性能进行了评估,得到该三个识别系统的AUC值分别为0.994875、0.985471、0.999599。实验结果表明,多模态生物特征融合识别有效地提高了系统识别的性能,使其具有更高的识别效率和准确度,在安全性、可靠性和鲁棒性等方面都有所增强。     

融合注意力机制的多模态影评情感分析

对影评进行情感分析有助于为用户提供更好的服务。针对单模态模型只能选择单一的语义信息和多个模态间的信息无法进行共享等问题,本文提出一种融合注意力机制的BiLSTM-VGG16的中文影评情感分析模型。首先使用BiLSTM、VGG16分别提取文本信息和图像信息的特征值,在注意力机制的作用下,突出文本中情感信息量的部分。在决策层融合文本特征和图像特征,最后使用softmax函数实现影评情感级分类。通过爬虫获取腾讯视频的评论对模型进行训练和测试。模型准确率为0.854,召回率为0.875,F值为0.854,AUC为0.861。由实验结果得出,相比于其他单模态分析模型,多模态分析模型在影视评论情感分析方面取得更好的效果。     

面向帕金森病的多模态异构协同感知方法

利用多模态异构传感器组成身体感知网络（body sensing networks）,是连续感知用户日常行为的重要方法之一,但是能源消耗问题一直是限制其发展的主要原因。本文提出了一种面向帕金森病的多模态异构协同感知方法,以降低用户日常行为感知过程中的功耗.该方法将行为感知分为行为识别与状态监测,基于信息论确定识别或监测不同行为的最优传感器组合,进而利用一个多分类器建模的行为识别模型与多个二分类器建模的状态监测模型感知用户行为.通过在公开两个数据集上的实验可以看出,与传统的传感器全部持续工作的方法相比,该方法能够在保证对用户行为有效感知的同时,降低了数据传输和模型计算的功耗（MHEALTH上约40%,PAMAP2上约15%）,从而延长感知网络的寿命,实现长时间持续的用户日常行为感知.     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。      

基于多模态深度学习的流量分类识别方法

针对流量分类效果与实际情况存在偏差的问题,首先将多模态深度学习运用在流量分类中,通过利用多模态之间的互补性,剔除模态间的冗余,从而学习到更好的流量数据特征表示。然后,提出了一种基于多模态流量数据的检测和分类方法,对同一流量单位的不同模态输入分别采用卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long Short-Term Memory,LSTM)进行训练,以充分学习流量数据模态间和模态内信息的相互依赖性,克服现有单模态分类器的局限,从而支持更为复杂的现代网络应用场景。     

基于多模态深度神经网络的应用层DDoS攻击检测模型

为进一步提升应用层DDoS攻击检测准确率,提出一种将流量与用户行为特征相结合且模型参数可高效更新的应用层DDoS攻击检测模型.为统一处理流量与用户行为特征的异源数据,利用多模态深度(Multimodal Deep Learning,MDL)神经网络从数据流量与网页日志中提取流量与用户行为深层特征后输入汇聚深度神经网络进...     

基于有效载荷和数据包长度的多模态加密流量分类

针对大多数深度学习算法只使用单一模态进行分类会导致结果具有偏差性的问题，提出了一种基于双模态特征的混合神经网络。该方法能够使用两种不同的模态训练分类模型，提高分类模型的准确率。首先使用传输层流量数据包的有效载荷特征作为数据包级模态，数据包的长度序列特征作为流级模态；其次分成两个路径使用神经网络分析双模特征；再次将两条路径提取的高维特征进行融合；最后输出模型的分类结果。分别使用两个公开数据集对模型进行训练和测试，实验结果表明，多模态模型的分类精确率分别达到96.46%和93.01%，与当前4种比较优秀的单模态和多模态方法相比，均有明显提升。     

基于深度学习的多模态融合图像识别研究

基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断.利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识.通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识...     

基于音视频AI识别的多模态智能分析模型创建和应用

本文针对广播电视节目的多模态语料库标注存在的问题,采用深度学习框架,结合音视频识别和自然语言分析等技术创建多模态智能分析模型,实现智能化标注和语料库构建。最后,本文将该模型应用到IPTV播出的英语口语会话修补多模态语料库（MCCECSER）的建库实践,说明多模态智能分析模型具备一定技术创新性和实用性。