一种基于决策层融合的多模态情感识别方法

设计了一种软硬结合的多模态情感识别系统,使用语音和面部表情两个模态,通过梅尔频率倒谱系数与卷积神经网络对情感进行识别和分类,同时将语音情感识别迁移到神经网络计算棒以降低环境负载. 在模态融合时,采用决策层融合的方式来提高识别准确率. 实验结果表明,系统拥有较高的识别准确率,且能够在性能较差的运行环境中保持运行速度.     

模式分类中的特征融合方法

特征融合方法是模式识别领域的一种重要方法.计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍然存在很多挑战.特征融合方法能够综合利用多种图像特征,实现多特征的优势互补,获得更加鲁棒和准确的识别结果.笔者基于信息融合理论分析了特征融合方法的原理,介绍了特征融合方法的研究现状,讨论了特征融合与3类主流基础理论相结合的方法,其中基于贝叶斯理论的特征融合算法可以实现多特征的融合决策,基于稀疏表示理论的特征融合算法能够得到多特征的联合稀疏表示,基于深度学习理论的特征融合算法能够强化深度神经网络模型的特征学习过程.     

利用卷积回声状态网络实现脑电情感识别

针对多通道脑电(EEG)的情感识别,提出了一种卷积回声状态网络(CESN)模型。首先构造EEG信号的特征矩阵序列;然后通过卷积操作提取各个样本的高层抽象特征,形成一维特征向量序列;利用具有自反馈功能的蓄水池结构,捕获向量序列的动态时序信息;最后用岭回归来实现情感识别。在情感分析专用生理信号数据集上进行实验的结果表明,EEG信号的动态时序性蕴含着与情感状态相关的区分性信息,所提的CESN模型能够有效地挖掘这种信息,并用于情感分类,解决了卷积神经网络中因使用反向传播算法而导致的局部最优和训练时间过长的问题。     

基于异构低秩多模态融合网络的后囊膜混浊预测

针对后囊膜混浊并发症发病周期长、筛查范围广的问题,提出利用多模态机器学习预测后囊膜混浊并发症的计算机辅助诊断方法. 对后照影像进行感兴趣区域(ROI)提取和白色反光区域填充,所构建的异构低秩多模态融合网络(HLMF)能同时输入后照影像和视觉质量参数进行特征提取与融合,HLMF模型基于通道积融合多模态信息;采用卷积核参数低秩分解解决过拟合问题;选用Focal Loss损失函数解决类别不均衡的问题;在训练过程中还采用预训练和模态腐蚀的训练方法,使模型更好地提取单一模态的特征并进行融合. 该算法在后囊膜混浊数据集上的十折交叉验证准确率为95.63%,F1分数为96.72%. 实验结果表明,所提算法能较好地提取单模态特征并进行特征融合,相比于其他多模态融合模型有更好的性能.     

嵌入注意力机制并结合层级上下文的语音情感识别

由于情感语料问题、情感与声学特征之间关联问题、语音情感识别建模问题等因素,语音情感识别一直充满挑战性.针对传统基于上下文的语音情感识别系统仅局限于特征层造成标签层上下文细节丢失以及两层级差异性被忽略的缺陷,本文提出嵌入注意力机制并结合层级上下文学习的双向长短时记忆(BLSTM)网络模型.模型分3个阶段完成语音情感识别任务,第1阶段提取情感语音特征全集后采用SVM-RFE特征排序算法降维得到最优特征子集,并对其进行注意力加权;第2阶段将加权后的特征子集输入BLSTM网络学习特征层上下文获得最初情感预测结果;第3阶段利用情感标签值对另一独立BLSTM网络训练学习标签层上下文信息并据此在第2阶段输出结果基础上完成最终预测.模型嵌入注意力机制使其自动学习调整对输入特征子集的关注度,引入标签层上下文使其联合特征层上下文实现层级上下文信息融合提高鲁棒性,提升了模型对情感语音的建模能力,在SEMAINE和RECOLA数据集上实验结果表明:与基线模型相比RMSE和CCC均得到较好改善.     

结合语音融合特征和随机森林的构音障碍识别

为分析病理人群与正常人群的发音差异性,提出一种结合语音融合特征和随机森林的语音识别方法来进行正常语音与构音障碍语音的分类识别,从而为医学诊断和治疗提供科学和客观的依据．首先,使用多伦多大学开发的病理语音数据库,提取出语音的五种韵律特征以及梅尔频率倒谱系数,再计算其统计特征,构成融合特征,最后结合随机森林算法进行分类识别．结果显示,相比于单一类型特征,提出的融合特征在识别性能上有着显著优化作用,与随机森林分类器结合后,对于男性声音的分类准确率达到99.21％,对于女性声音的分类准确率达到98.97％,综合分类准确率达到98.00％．同时研究还发现,相较于句子,患者对短语的发音更为准确．     

基于PCA-SVM多生理信息融合的情绪识别方法

为了有效解决情绪识别过程中多种生理信息融合所导致的运算量过大的问题,提出了一种主成分分析(principal component analysis, PCA)与支持向量机(support vector machine, SVM)相结合的情绪识别方法。利用主成分分析法,求出各特征对情绪识别效果的影响权重,通过阈值法选择权重较大的特征组成新的特征子集,从而减少SVM的输入特征维数,降低算法的运算量。试验结果表明,该方法可以有效提高算法的执行效率。     

手形和掌纹决策层融合方法研究

手形识别和掌纹识别是两种不同的生物特征识别技术,根据二者的特点,将它们相结合研究手形和掌纹融合算法。分别介绍了基于几何特征的手形特征提取方法和基于模糊方向能量的掌纹特征提取方法,针对两种生物特征的特点,重点研究了二者在决策层融合的方法,构建基于并联融合和串联融合的双模态识别系统。通过对每种算法的实验测试,表明融合后的系统性能要优于单一的手形识别和掌纹识别方法的性能。     

融合非线性幂函数和谱减法的CFCC特征提取

为提高噪声环境下的语音识别准确率,提出一种改进的语音特征提取算法。该算法采用模拟人耳听觉特性的非线性幂函数提取一种新的耳蜗滤波倒谱系数,并在特征提取前端引入谱减法对信号进行增强,将提取到的新的特征及其一阶差分组成一种混合特征参数;再联合主成分分析对该混合特征进行降维,将最终得到的特征用于一个非特定人、孤立词、小词汇量的语音识别系统。实验结果表明:采用非线性幂函数提取的耳蜗滤波倒谱系数特征与传统的耳蜗滤波倒谱系数特征相比,明显提高了语音识别准确率;混合特征参数相比单一特征能达到更佳的语音识别性能;结合主成分分析后的特征集在信噪比为0dB时的识别正确率可达到88.10%。     

一种雷达辐射源信号脉内特征的综合评估方法

针对在雷达辐射源信号分选中脉内特征评估指标单一的问题,提出了一种新的雷达辐射源信号脉内特征的综合评估方法。该方法首先建立脉内特征的三层指标评估体系,并根据建立的评估体系进行特征评估指标度量及归一化;然后结合专家先验知识及实际环境进行了区间层次分析以确定指标的权重区间,并使用改进的投影寻踪算法建立非线性方程优化模型;最后利用非单调投影谱梯度算法实现了主客观的决策融合。仿真结果表明,该方法可以根据具体电磁环境给出最佳的脉内特征评估结果,与现有方法相比,所提的评估方法更加全面。     

神经网络信息融合技术在控制系统故障诊断中的应用

针对钢管修磨控制系统中存在的常见故障,构造了神经网络信息融合中心。对来自多传感器的残差信号进行了预处理和离散小波变换,提取其细节系数作为神经网络的故障特征向量,使用改进BP算法对神经网络分类器训练以进行相应的故障模式识别。仿真结果表明,基于神经网络的信息融合技术用于控制系统的故障诊断是可行的和有效的。     

语音情感信息可视化建模研究与探析

语音情感识别是情感计算领域的一个重要分支,研究者们尝试从多种角度对其展开不懈研究。本文从可视化的角度出发,提出了基于信息可视化的情感识别方法,原始语音情感特征经过图表示映射为包含内部数据结构信息的新型情感图特征,在一定程度上促进了语音情感识别系统的性能提高。另外,还将信息可视化技术应用到情感识别结果的表达上,实现情感信息的生动描述和高效表达。在信息可视化技术和语音情感识别研究充分融合的基础上,构建了一个完整的语音情感信息可视化模型,作为系统实现的基础。     

湖南省主要内生成矿事件的构造格局控矿特征及动力机制

湖南省内生矿产资源丰富,内生成矿事件主要有加里东期(以志留纪为主)、印支晚期(晚三叠世)、燕山中晚期(晚侏罗世—早白垩世)等3期。以区域矿产资料为基础,结合大地构造、成岩成矿年龄、矿床成因机制等研究成果,对上述3期内生成矿事件的构造格局控矿特征和动力机制进行探讨。①受加里东运动自东南向西北扩展以及深部岩石圈结构差异控制,加里东期湖南省自东南往西北分为成矿特征有别的3个构造带。湘中—湘东南构造岩浆带(Ⅰ)发生后碰撞花岗质岩浆活动,于局部产生与岩浆活动相关的W、萤石等成矿作用; 雪峰构造带(Ⅱ)东部的雪峰冲断带(Ⅱ₁)形成了以构造活化成因为主的金矿和锑金矿; 雪峰构造带(Ⅱ)西部的武陵低缓褶皱带(Ⅱ₂)及湘西北构造抬升带(Ⅲ)内形成了与寒武纪同沉积断裂活动、加里东运动后的伸展活动以及相应的热液活动有关的汞铅锌矿。②印支晚期受深部岩石圈结构差异控制,湖南省自东南至西北分为3个构造带:湘中—湘东南构造岩浆带(Ⅰ)因后碰撞减压熔融而发生大规模花岗质岩浆活动,从而于其东南部形成钨锡铅锌多金属矿床,西北部形成锑金钨多金属矿床; 雪峰构造带(Ⅱ)可能无内生热液成矿作用; 湘西北褶皱带(Ⅲ)发育小型脉型铅锌矿。③燕山中晚期,湖南省自东南往西北分为3个构造带:湘中—湘东构造岩浆带(Ⅰ)受岩石圈拆沉、软流圈上隆、陆内碰撞后期增温减压、俯冲板块崩塌等深部构造作用控制而发生大规模花岗质岩浆活动,形成了大量的有色金属矿床和金矿床; 雪峰西部构造带(Ⅱ)成矿作用弱,局部存在Au、Hg成矿作用; 湘西北褶皱带(Ⅲ)发育少量低温热液充填型萤石矿和砷矿。     

基于高斯核函数支持向量机的脑电信号时频特征情感多类识别

为了找到一种综合分析方法,提高对脑电信号情感多分类识别的分类精确度,将DEAP数据库中的脑电数据采用经验模态分解的方法分解为多个本征模函数,并对本征模函数按不同的时长窗口进行分片,提取其功率谱密度作为脑电信号特征.将被试对音乐视频的情感评价指数用于生成情感分类标签,按"唤醒度"和"效价"2个维度将评价指数映射到二维情感模型中,分成4类.采用"一对一"的高斯核函数支持向量机对脑电特征进行多分类分析.实验结果表明:高斯核函数支持向量机的最高分类准确度达到90.9%(22号被试),平均分类准确度达到68.3%.高斯核函数支持向量机能有效地从脑电信号中识别出不同的情感状态;同时,对于相同刺激,不同的被试产生的情感状态不同;并且,在清醒状态下,脑电信号的高频子波对情感分类有更高的分类精确度.     

基于MFCC和CHMM技术的语音情感分析及其在教育中的应用研究

语音情感识别作为一个新的研究热点,因其能解决教育中情感缺失的问题,而越来越受到研究者的重视.选取符合人类听觉系统感知的M el频率倒谱系数（MFCC）与各态历经型的连续隐马尔可夫模型（CHMM）进行语音情感特征的分析,并对大量的语音信号进行情感识别实验,识别正确率达到86.7%,为教育中的情感补偿提供了切实可行的依据.     

一种基于小波包主成分分析的语音情感识别方法

在语音情感识别中,由于特征参数的提取直接影响到最终的识别效率,从原始语音信号中提取特征参数是非常重要的。但是本文中提取的特征维数太多,导致特征匹配时过于复杂,消耗系统资源,不得不采用特征降维的方法。本文主要是研究一种在小波包变换的基础上通过特征降维来提高语音情感识别效果的方法,为此本文在德国库EMODB的基础上,通过小波包变换提取出语音的情感特征参数,然后利用主成分分析法对特征参数进行降维,最后利用支持向量机进行训练和测试。通过实验,获得了较好的识别效果。     

Multimodal spontaneous affect recognition using neural networks learned with hints

A multimodal fusion classifier is presented based on neural networks （NNs） learned with hints for automatic spontaneous affect recognition. In case that different channels can provide com- plementary information, features are utilized from four behavioral cues： frontal-view facial expres- sion, profile-view facial expression, shoulder movement, and vocalization （audio）. NNs are used in both single cue processing and multimodal fusion. Coarse categories and quadrants in the activation- evaluation dimensional space are utilized respectively as the heuristic information （hints） of NNs during training, aiming at recognition of basic emotions. With the aid of hints, the weights in NNs could learn optimal feature groupings and the subtlety and complexity of spontaneous affective states could be better modeled. The proposed method requires low computation effort and reaches high recognition accuracy, even if the training data is insufficient. Experiment results on the Semaine nat- uralistic dataset demonstrate that our method is effective and promising.     

Novel acoustic features for speech emotion recognition

This paper focuses on acoustic features that effectively improve the recognition of emotion in human speech. The novel features in this paper are based on spectral-based entropy parameters such as fast Fourier transform (FFT) spectral entropy, delta FFT spectral entropy, Mel-frequency filter bank (MFB) spectral entropy, and Delta MFB spectral entropy. Spectral-based entropy features are simple. They reflect frequency characteristic and changing characteristic in frequency of speech. We implement an emotion rejection module using the probability distribution of recognized-scores and rejected-scores. This reduces the false recognition rate to improve overall performance. Recognized-scores and rejected-scores refer to probabilities of recognized and rejected emotion recognition results, respectively. These scores are first obtained from a pattern recognition procedure. The pattern recognition phase uses the Gaussian mixture model (GMM). We classify the four emotional states as anger, sadness, happiness and neutrality. The proposed method is evaluated using 45 sentences in each emotion for 30 subjects, 15 males and 15 females. Experimental results show that the proposed method is superior to the existing emotion recognition methods based on GMM using energy, Zero Crossing Rate (ZCR), linear prediction coefficient (LPC), and pitch parameters. We demonstrate the effectiveness of the proposed approach. One of the proposed features, combined MFB and delta MFB spectral entropy improves performance approximately 10% compared to the existing feature parameters for speech emotion recognition methods. We demonstrate a 4% performance improvement in the applied emotion rejection with low confidence score. Supported by MIC, Korea under ITRC IITA-2009-(C1090-0902-0046) and the Korea Science and Engineering Foundation (KOSEF) funded by the Korea government (MEST) (Grant No. 20090058909)     

基于半监督学习的脑电信号特征提取及识别

针对有监督学习容易造成未标记样本的浪费和手动特征提取容易导致信息丢失的问题,提出一种基于深层堆叠网络（DSN）的半监督特征学习方法,无监督特征学习的过程由多个受限玻尔兹曼机（RBM）的并行训练完成,将训练得到的参数用于DSN的输入权值初始化,再采用批量模式的梯度下降法进行监督微调。将所提方法用于运动想象脑电信号特征提取及识别,实验结果表明本文方法能够充分利用未标记样本中的隐含信息,有效提取脑电信号特征,识别结果优于共同空间模式（CSP）和深度信念网络（DBN）等算法,该方法可用于提高BCI系统中脑电信号的识别准确率。