基于人脸表情与生理信号的多模态情绪识别研究

利用多模态智能技术识别情绪已成为业界研究热点。利用摄像头采集到的人脸图像信息传入已经训练好的模型之中,融合传感设备采集到的用户皮肤电反应和心电信息,提出采用支持向量机分类得到情绪所属的二维情绪模型位置,从而得出用户的准确情绪状态,提高了整体情绪识别、分类的准确率。算法对于人类基本情绪的识别准确率达到77.85%,高于单一模态识别的准确率,为多模态情绪识别研究提供了一种新的思路和探索。     

基于音视频的情感识别方法研究

近年来,情感计算逐渐成为人机交互发展突破的关键,而情感识别作为情感计算的重要部分,也受到了广泛的关注。本文实现了基于ResNet18的面部表情识别系统和基于HGFM架构的语音情感识别模型,通过调整参数,训练出了性能较好的模型。在此基础上,通过特征级融合和决策级融合这两种多模态融合策略,实现了包含视频和音频信号的多模态情感识别系统,展现了多模态情感识别系统性能的优越性。两种不同融合策略下的音视频情感识别模型相比视频模态和音频模态,在准确率上都有一定的提升,验证了多模态模型往往比最优的单模态模型的识别性能更好的结论。本文所实现的模型取得了较好的情感识别性能,融合后的音视频双模态模型的准确率达到了76.84%,与现有最优模型相比提升了3.50%,在与现有的音视频情感识别模型的比较中具有性能上的优势。      

移动设备生物特征识别多模态融合标准研究及展望

针对用于移动设备的生物特征识别多模态融合技术框架不统一以及标准缺失的问题,提出了多模态融合的分类、层级以及标准统一技术框架。首先分析国内外与移动设备生物特征识别相关的标准化现状;其次研究移动设备生物特征识别标准的本地识别以及远程识别应用模式,分析提出多特征、多算法、多实例、多传感器4种多模态融合分类方法,研究并提出样本级融合、特征级融合、分数级融合和决策级融合4种多模态融合的层级,并且提出用于移动设备的生物特征识别多模态融合标准技术框架;最后对移动设备生物特征识别多模态融合技术应用进行展望。     

基于多模态深度学习的信号调制识别

信号调制识别技术在民用和军事领域都有重要应用。当前信息化战场中,由于各类雷达、通信、导航、电子战武器等信息辐射源的数量愈来愈多,调制形式也日益多样化,信号密度愈来愈大,战争电磁环境日趋复杂化,传统的信号调制识别技术已无法适应。因此,提出基于深度学习的AlexNet网络和复数神经网络,同时采用多模态特征融合和模型融合技术,融合信号统计图域和信号I/Q波形域的多模态信息,实现信号调制识别。仿真结果表明,所提方法的识别精确度在不同信噪比下均优于单模态识别方法和未采用多模态协同融合框架的方法。     

基于卷积神经网络的视频行为识别技术应用

为提高视频行为识别技术在实际应用中性能,本研究基于卷积神经网络算法,对视频行为识别进行了深入研究分析。通过引入多层卷积、池化操作及结合注意力机制和多模态融合等技术手段,设计了基于卷积神经网络的视频行为识别模型,并通过损失函数与算法选择、模型优化与改进来完善模型视频行为识别能力。通过在MATLAB仿真软件中进行实验测试,结果表明,本视频行为识别模型在各项指标上表现出了良好性能与鲁棒性,具有较强的应用价值。研究结果可为视频行为识别领域研究带来新进展。     

基于特征融合的通信语音干扰效果客观评估

针对通信语音干扰效果客观评估问题，提出了基于多测度与多模态融合的2种评估方法。首先，利用端点检测算法以及动态时间弯折算法对受扰语音数据进行预处理。然后，提取数据中的语音内容并与标准语音进行测度计算得到5种测度，将5种测度融合后利用随机森林模型进行质量等级评估。最后，结合多模态融合技术，设计了基于残差结构的神经网络模型，融合受扰语音数据的图域、测度域特征并进行质量等级评估。实验结果表明，2种方法的评估准确率均达到了90%以上。其中，多模态评估方法与现有的研究方法相比，准确率提升了约3.269%，证明所提方法具有更优的性能。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合.针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多...     

基于BiGRU模型的多模态网络舆情情感分析

情感分析可以挖掘社会热点事件网络舆情的矛盾冲突,加强对多模态信息的分析处理,对网络舆情管理具有重要意义。本文基于BiGRU模型构建多模态网络舆情情感分析框架,运用word2vec提取文本特征,卷积神经网络提取图像特征,采用线性融合进行特征融合实现情感分析。与基线模型相比,本文的多模态网络舆情情感分析方法准确率、宏平均F1和加权平均F1的结果更优,对现实生活产生的舆情事件具有较好的情感识别效果。     

基于信息多模态融合技术在动物识别模型中的应用

国家一级保护动物海南黑冠长臂猿仅分布于我国海南岛,提升对该物种群研究效率且尽可能避免人类行为的干扰成为痛点。文章基于多模态特征融合识别技术,提出一套猿类面部图像特征识别的算法框架,实现海南黑冠长臂猿个体的识别;结合基于时序维度的海南黑冠长臂猿面部特征和猿鸣声纹特征的融合识别模型,实现对长臂猿个体的研究和跟踪。以上框架将神经网络与海南黑冠长臂猿的识别、分类、标记和跟踪等深度结合,提升研究人员的工作效率,同时,也为其他珍稀生物个体多模态特征识别研究提供借鉴。     

基于心电与光电容积脉搏波特征层融合的身份识别方法

针对单模态的心电信号(ECG)或光电容积脉搏波信号(PPG)识别技术中存在的精度不高,未考虑类内相关性等问题,该文提出基于判别相关分析法(DCA)对ECG与PPG组合特征矩阵进行特征层融合以及对K-最近邻(KNN)和支持向量机(SVM)分类器在决策层融合的识别方法。实验结果表明,使用融合特征(ECG-PPG)与融合分类器(KNN-SVM)的方法对23名受试者进行分类识别的准确率可以达到98.2%,识别精度在常规环境下优于单模态识别。为多模生物特征身份识别提供了一种有效模型。     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

基于心电与光电容积脉搏波特征层融合的身份识别方法

针对单模态的心电信号(ECG)或光电容积脉搏波信号(PPG)识别技术中存在的精度不高,未考虑类内相关性等问题,该文提出基于判别相关分析法(DCA)对ECG与PPG组合特征矩阵进行特征层融合以及对K-最近邻(KNN)和支持向量机(SVM)分类器在决策层融合的识别方法.实验结果表明,使用融合特征(ECG-PPG)与融合分类器(KNN-SVM)的方法对23名受试者进行分类识别的准确率可以达到98.2％,识别精度在常规环境下优于单模态识别.为多模生物特征身份识别提供了一种有效模型.     

基于语义融合的文本相似度算法研究

针对在传统语义融合的文本相似度算法设计与实现中由于汉语语义复杂存在容易形成局部极小值而得不到全局最优、训练次数较多、学习效率降低、隐节点的选取缺乏理论依据等问题,提出一种改进算法。首先在把握文本相似度算法内涵和分类情况的基础上,通过调整数字识别方向、选取合适的数据来源,依据图像识别技术和算法深度学习的共性需求,从语义融合角度提出以核心词为节点进行文本相似度计算;然后通过多特征融合向量空间模型对特征项的类间分布问题进行分析,最终通过加权计算得到文本相似度。从算法实现效果来看,相较于传统算法能够获得更高文本分类准确度,改进基于文本相似度算法的语言处理技术更加高效、准确。     

多校区校园网络中关键节点识别方法的改进研究

对多校区校园网络中的关键节点进行准确检测识别,优化网络路由设计,提高网络的安全稳定性。提出一种基于自适应融合探测的多校区校园网络关键节点识别方法,构建多校区校园网络的有向图分析模型,对网络节点传输信道模型进行均衡处理,对关键节点传输数据进行自适应融合,通过路由探测算法实现节点定位识别和优化部署。仿真结果表明,采用该方法构建多校区校园网络,实现关键节点识别的精度较高,降低了网络传输的丢包率和误码率,网络稳定性和安全性较好。     

基于自适应并行结构的多模态生物特征识别

传统多模态生物特征识别方法当出现生物特征缺失时,识别性能会明显下降。针对此问题,提出一种融合人脸、虹膜和掌纹的自适应并行结构多模态生物识别方法。该方法在设计融合策略时,考虑到所有可能的输入缺失,构造并行结构的融合函数集,在实际应用时根据输入状态自适应的选择融合策略进行识别。实验仿真结果表明该方法既可提高识别可靠性又可实现当有生物特征缺失时的性能稳定。     

信息物理融合系统中基于多模态数据的事件模型研究

在信息物理融合系统中,通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。这些异构网络包含不同类型的传感器节点,这些节点具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的问题。在本文中,提出了基于多模态数据的事件模型,以事件为载体将多种不同模态的数据融合计算。文中描述并定义了信息物理融合系统中的事件,给出了基本事件和复合事件的定义,并提出了事件的合成规则。     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于深度学习的多模态融合图像识别研究

基于深度学习的方法,利用多模态信息融合技术,将汽车等目标的声音、图像信息融合,用于对测试目标的判断.利用改进Inception网络对图像识别技术展开研究,分别比较了单纯图像信息情况的辨识、单纯声音信息情况的辨识,以及多模态融合情况下的辨识.通过试验分析和比较,证明该方法可以有效提高用户的图像识别能力,将特种车辆的平均识...     

无线传感网络协同概率多模识别方法

提出了一种无线传感网络协同概率多模目标识别方法。该方法采用小波分组提取待识别目标声音样本数据中的特征信息,并通过主分量分析对特征信息进行特征维数约简,使该方法在保留样本特征信息的基础上降低识别学习过程的计算量。在使用特征信息进行目标识别时,该方法采用了多模高斯分类过程算法,并通过权值可调的委员会决策进行无线多传感节点协作识别,获得全局目标识别结果。实验表明,所提出的方法能够适应复杂环境中的干扰因素,有效识别目标,具有较好的顽健性和识别准确度。     

基于Multi-Agent的云端计算融合模型的研究

为了能够充分利用网络中所有节点的资源,基于multi-agent思想和技术提出了一种新的云端计算融合模型.该模型按照节点的类型将云端计算环境进行分层,并用agent作为节点行为和资源的代表,从而实现有效的资源共享和协同工作.模型充分挖掘终端节点所蕴含的可用资源,将作业分割为各种层次的任务并有序地部署到核心节点、一般服务器节点和终端节点上,以达到资源利用最有效的目标.为了能够高效、可靠地完成任务,还提出了一种新颖的基于multi-agent复合环协同管理机制,该机制特别适用于云端计算融合环境中,能够有效地增强节点贡献资源和协同工作的稳定性,并减轻云核心层管理节点的负载.最后给出了具有参考意义的基于multi-agent的云端计算融合模型实验系统的构建方法和应用示范.