基于多模态社交情感分类的高校学生心理健康分析

为了更智能、准确地从高校学生的社交动态中分析学生们的心理健康状态,该研究提出了一种基于多模态社交情感分类的高校学生心理健康分析方法。针对高校学生群体情感表现的复杂性,提出了一种将情感状态表达划分主体情感和侧面情感的分析方法;针对社交动态数据模态的多样性,提出一种多模态数据融合方法。实验结果表明,论文提出的多模态社交情感分类方法在构建的高校学生社交动态数据集上主要情感分类得的准确率达到89.8%,并在多个公开数据集上相对于基准算法提高了4%～6%的分类准确率。     

基于多层LSTM融合的多模态情绪识别

情绪分析一直是自然语言处理领域的研究热点,而多模态情绪分析是当前该领域的一个挑战。已有研究在上下文信息和不同模态时间序列信息交互方面存在不足,该文提出了一个新颖的多层LSTM融合模型(Multi-LSTMs Fusion Model,MLFN),通过分层LSTM分别设置单模态模内特征提取层、双模态和三模态模间融合层进行文本、语音和图像三个模态之间的深度融合,在考虑模态内部信息特征的同时深度捕获模态之间的交互信息。实验结果表明,基于多层LSTM多模态融合网路能够较好地融合多模态信息,大幅度提升多模态情绪识别的准确率。     

基于异步芯片的多模态神经生理信号采集技术

心理生理计算目前主要基于同步芯片的神经生理信号采集技术进行分析研究,而人体神经生理活动表征具有异步属性,同步采集技术无法精准、实时和高效地刻画人体神经生理信号活动规律。如何低功耗、低冗余、实时精准地采集异步多模态神经生理信号成为心理生理计算首要解决的难题。针对这一难题,本文以研究微观神经生理活动规律和宏观心理生理活动为目的,解决异步多模态生理信息采集方案和相匹配的被动生理信号传感技术的设计难点,设计研发了首款异步生理信号处理芯片,该芯片具备低功耗、高精度时序、高性能计算和抗干扰的特点。最后展望了该芯片在脑科学和类脑计算领域的应用前景。     

基于自注意力的多模态LSTM的动作预测

针对视频动作预测领域的算法在不同预测时间预测效果不稳定的缺陷,提出一种基于自注意力机制的多模态LSTM的动作预测模型.综合考虑3种视频特征,采用位置编码及自注意力机制编码3种模态特征,得到具有丰富语义的高层特征;使用LSTM结构总结视频的历史信息,产生不同预测时间的动作预测结果;完成多模态特征的子网络的训练后,采取多模...     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据.结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况.使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid...     

基于遥感图像的多模态小目标检测

由于遥感图像目标往往较小且容易受光线、天气等因素的影响,所以单一模态下基于深度学习的遥感图像目标检测的准确度较低.然而,不同模态间的图像信息可以相互增强提高目标检测的性能.因此,基于RGB和红外图像,提出了一种适用于遥感图像多模态小目标检测的平衡多模态深度模型.相比简单地相加、点乘和拼接的方式融合2个模态的特征信息,设...     

基于深度情感唤醒网络的多模态情感分析与情绪识别

随着网络平台上各类图像、视频数据的快速增长,多模态情感分析与情绪识别已成为一个日益热门的研究领域.相比于单模态情感分析,多模态情感分析中的模态融合是一个亟待解决的关键问题.受到认知科学中情感唤起模型的启发,提出一种能够模拟人类处理多通道输入信息机制的深度情感唤醒网络(DEAN),该网络可实现多模态信息的有机融合,既能处理情绪的连贯性,又能避免融合机制的选择不当而带来的问题.DEAN网络主要由以下3部分组成:跨模态Transformer模块,用以模拟人类知觉分析系统的功能;多模态BiLSTM系统,用以模拟认知比较器;多模态门控模块,用以模拟情感唤起模型中的激活结构.在多模态情感分析与情绪识别的3个经典数据集上进行的比较实验结果表明,DEAN模型在各数据集上的性能均超越了目前最先进的情感分析模型.     

基于多模态融合的三维模型检索算法研究

为了获得更好的三维模型检索分类性能,基于深度学习模型研究了多模态信息融合对三维模型的特征描述,在训练步骤提出相关性损失函数来指导不同模态之间的训练,提取更稳健的特征向量;最后将融合特征应用于三维模型的检索和分类,在ModelNet40数据集上进行了三维模型分类任务和检索任务评估。实验结果及与现有方法进行的对比证明了该方法的优越性,为三维模型检索分类领域提供了一种新的思路。     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明, ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.     

多模态信号同步策略研究与仿真设计

考虑新扩频方式、新调制方式以及频率共享等特性要求,单用途的同步接收已不能满足需要.以GPS系统及Galileo系统中的L1,L5频段信号为例,在对其信号机理、特性进行研究的基础上,重点通过相应的控制策略及数据处理方法,对通道、积累时间、处理方式等进行合理选取,从而达到对多模信号同步接收的目的.进一步的仿真实验表明了此方法的可行性、合理性及有效性.     

基于多级融合的多模态谣言检测模型

针对当前多模态谣言检测模型存在的模态间信息融合不足和过于依赖各模态信息完整度的问题,提出一种基于多级融合的多模态谣言检测模型。分别利用Text CNN和Resnet18网络对文本和图片编码并进行特征级融合,对纯文本模型、纯图片模型和特征级融合模型进行决策级融合并对决策级融合进行改进。多级融合框架加深各模态间的信息融合程度,改进后的决策级融合有效缓解了传统模型对各模态信息完整度要求过高的问题。实验结果表明,该模型在微博数据集上的F1值和准确率均高于传统的多模态谣言检测模型,进一步提升了谣言检测效果。     

基于多模态组合模型的语音情感识别

语音情感识别在人机交互、人工智能(AI)、自然语言处理(NLP)、5G技术等方面扮演着重要的角色。为了克服单模态模型语音情感识别率低和手工调参的缺点,本文首先在Gaurav Sahu的基础模型上增加KNN、CNB和Adaboost单模态模型,提出多模态组合模型C3;然后应用排列组合方法通过计算机实现自动组合,克服GauravSahu手工组合存在的不足;最后用超参数优化方法和交叉验证方法对网络模型进行训练和测试,解决手工调参存在的不足。在IEMOCAP数据集上对本文提出的C3进行实验,实验结果表明,C3比Gaurav Sahu提出的多模态组合模型E2的语音情感识别性能提升1.56%。     

融合多模态信息的社交网络谣言检测方法

随着社交网络平台的发展,社交网络已经成为人们获取信息的重要来源.然而社交网络的便利性也导致了虚假谣言的快速传播.与纯文本的谣言相比,带有多媒体信息的网络谣言更容易误导用户以及被传播,因此对多模态的网络谣言检测在现实生活中有着重要意义.研究者们已提出若干多模态的网络谣言检测方法,但这些方法都没有充分挖掘出视觉特征和融合文...     

非线性系统的多模态ARMAX模型及其参数辨识

本文利用非线性系统多个工作点上的线性化模型，建立了一类参数内插型多模态ＡＲＭＡＸ模型。与传统的线性化模型相比较，在更大的范围内有较高的精度，本文并给出了如何辨识多模态模型参数的方法，仿真例子表明了多模态模型及其参数辨识算法的有效性。     

多模态医疗图像分类

在疾病诊断过程当中通常会生成各种各样的医疗图像,利用计算机综合考虑来自不同模态的医疗图像来辅助诊断成了一个热门的研究方向.本方法利用深度神经网络获取不同模态的医疗图像的特征,通过设计损失函数的正则化项,使得这些特征在共同语义空间上保持结构上的相似性,来让网络学习到更加鲁棒的特征.本方法在CPM-RadPath2020和...     

基于贝叶斯网络的体域网多模态健康数据融合方法

体域网作为无线传感器网络在生物医学领域的一个重要分支能够远程实时监测人体多项健康数据.针对基于体域网采集到的多模态健康数据融合与分析方法进行研究,设计了一套包括动态心电传感器、血压传感器和血氧饱和度传感器的体域网组网方式,提出了一种基于贝叶斯网络模型和推理算法的心肌缺血监测识别方法.通过对60例确诊心脏病患者施行单一模态动态心电监测和多模态健康数据监测对比实验,验证了所提出的多模态健康数据融合方法能够有效提高无症状性心肌缺血的检出率,为临床应用提供了一种新的辅助判别手段.     

基于单词等级和关联性语义多模态主题模型的社会事件分类

多媒体社会事件分类问题是多媒体研究领域中的热点问题.现有基于有监督主题模型的社会事件分类方法,未充分利用语料库(文本、视觉等模态)的内部语义信息,模型分类性能有待进一步提升.针对此问题,提出了一种融合单词等级和单词文档关联性语义的多模态监督主题模型(multi-modal supervised topic model based on word rank and relevancesemanticweighting,DPRF-MMSTM),利用依存句法分析结果来划分文本模态单词对文档表征的贡献等级,挖掘出文本单词的等级语义;同时,考虑多模态单词的关联文档频数信息,用于单词文档关联性语义的提取;将2种语义融合到多模态单词的采样过程,实现基于有监督主题模型的社会事件分类.在多模态和单模态数据集上的对比实验表明,对比现有方法,DPRF-MMSTM模型在社会事件分类精度上分别提高了1.200%,1.630%,在主题一致性上分别提高了38.0%, 8.5%.     

信息物理融合系统中基于多模态数据的事件模型研究

在信息物理融合系统中,通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。这些异构网络包含不同类型的传感器节点,这些节点具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的问题。在本文中,提出了基于多模态数据的事件模型,以事件为载体将多种不同模态的数据融合计算。文中描述并定义了信息物理融合系统中的事件,给出了基本事件和复合事件的定义,并提出了事件的合成规则。     

基于人机交互的心理健康动态监测数据分析及系统设计

虽然市场上有许多生理信号采集设备,用于人体心理健康监测。但这些设备不具有便捷、实时性等特点,不适合日常的推广。针对此问题,设计了一款基于心电、表面肌电的多模态生理信号采集系统,可用于对心理健康状况开展监测分析。文章包括以下内容：(1)系统硬件电路的设计,实现了便捷式、低功耗的多通道同步采集系统;(2)系统软件设计,包括设备驱动程序,设备应用程序和PC端应用程序;(3)系统数据预处理算法实现过程,并对心电和肌电信号进行预处理,并将采集到的生理信号波形与美国BIOPAC公司的MP150系统同等条件下采集的生理信号波形进行对照,保证多模态生理信号采集系统的有效性。最后,通过多分类SVM和DS证据理论算法对被试者的心理压力状态进行分类,实验证明多模态生理信号评估心理压力的可行性。