基于多特征融合的抽象画情感研究

抽象画作为一种寓意含蓄的艺术作品,传递出的情感也是含蓄的,确定其情感分类也比较困难,为此采用多特征融合方式预测抽象画的情感。首先采用K-means聚类提取抽象画图像的主色调作为底层颜色特征,采用灰度—梯度共生矩阵提取底层纹理特征,采用卷积神经网络自动提取高层语义特征;其次由于特征维度不同,采用多核学习对底层和高级语义特征进行融合;最后采用支持向量机实现抽象画情感识别,分为积极与消极两类。在MART数据集上进行测试,并与其他现有分类模型进行了比较,实验结果显示该方法在测试性能上优于已有模型。     

基于多核学习特征融合的语音情感识别方法

在语音情感识别中提取梅尔频率倒谱系数(MFCC)会丢失谱特征信息,导致情感识别准确率较低。为此,提出一种结合MFCC和语谱图特征的语音情感识别方法。从音频信号中提取MFCC特征,将信号转换为语谱图,利用卷积神经网络提取图像特征。在此基础上,使用多核学习算法融合音频特征,并将生成的核函数应用于支持向量机进行情感分类。在2种语音情感数据集上的实验结果表明,与单一特征的分类器相比,该方法的语音情感识别准确率高达96%。     

基于抽象关系场景图的图像情感识别

图像情感识别是通过分析视觉刺激来预测人类情感的抽象过程。现有方法大多缺乏对对象间关系以及对象与场景间相互作用的关注,并且对象间复杂多样的关系难以得到充分利用,进而导致难以正确对图像情感进行预测。为解决上述问题,提出一种基于抽象关系场景图的图像情感识别方法。首先,构建对象和属性检测器来提取图像中对象及其属性的特征。其次,使用对象特征推理对象间的亲密度和抽象关系特征,进而构建抽象关系场景图。再次,提出抽象关系图卷积网络来推理抽象关系场景图。最后,设计渐进式注意力机制对多个对象特征进行融合,以得到图像的整体对象特征。在FI、EmotionRoI和Twitter I公开数据集上的试验结果表明,该方法的分类准确率优于现有方法。     

基于深度学习的彩色以及近红外图像去马赛克

单传感器捕获的彩色-近红外（RGB-NIR）图像存在光谱干扰，从而导致重建出的标准彩色图像（RGB）图像与近红外（NIR）图像存在色彩失真以及细节信息模糊。针对这个问题提出一种基于深度学习的去马赛克方法，通过引入跳远连接与稠密连接解决了梯度消失和梯度弥散问题，使得网络更容易训练，并且提升了网络的拟合能力。首先，用浅层特征提取层提取了马赛克图像的像素相关性以及通道相关性等低级特征；然后，将得到的浅层特征图输入到连续多个的残差稠密块以提取专门针对去马赛克的高级语义特征；其次，为充分利用低级特征与高级特征，将多个残差稠密块提取到的特征进行组合；最后，通过全局跳远连接恢复最终的RGB-NIR图像。在深度学习框架Tensorflow上使用公共的图像与视觉表示组（IVRG）数据集、有植被的户外多光谱图像（OMSIV）数据集和森林（Forest）三个公开数据集进行实验。实验结果表明，所提方法优于基于多级自适应残差插值、基于卷积卷积和神经神经网络以及基于深度残差U型网络的主流的RGB-NIR图像去马赛克方法。     

无注意力胶囊网络的面部表情识别方法

表情识别技术可以从人类的表情中分析出识别对象的情感活动，针对面部表情图像复杂的空间关系和特征信息时，不能建立有效特征提取和映射模型的问题，稀疏多层感知机（spare multilayer perceptron,sMLP）使用很少的参数量让每个空间位置进行交流，而胶囊网络也可以表现特征的空间姿态信息，因此提出了一种新的面部表情识别模型sMLP-CapsNet，以提升表情识别空间关系映射的能力。采用CK+数据集和RAF-DB数据集，通过改进的胶囊神经网络从轮廓到细节提取面部表情图片特征，进而实现面部表情分类。相比于其他面部表情识别算法，模型精度提升效果明显，在CK+数据集和RAF-DB数据集上分别可达到99.48%以及85.69%的识别率，展现了该算法的先进性。     

改进LeNet-5网络在图像分类中的应用

LeNet-5卷积神经网络（CNN）虽然在手写数字识别上取得很好的分类效果,但在具有复杂纹理特征的数据集上分类精度不高。为提高网络在复杂纹理特征图像上分类的正确率,提出一种改进的LeNet-5网络结构。引入跨连思想,充分利用网络提取的低层次特征;把Inception V1模块嵌入LeNet-5卷积神经网络,提取图像的多尺度特征;输出层使用softmax函数对图像进行分类。在Cifar-10和Fashion MNIST数据集上进行的实验结果表明,改进的卷积神经网络在复杂纹理特征数据集上具有很好的分类能力。     

一种广泛适用的激光雷达数据特征提取方法

提出了一种新颖的、无需先验知识的、广泛适用于各种环境的激光雷达数据特征提取方法来解决同步 定位与地图创建（SLAM）中的特征提取问题．这种方法采用经典的图像特征提取方法——Harris 角点探测器,具 体来说,是多尺度Kanade-Tomasi 角点探测器,来提取特征．这种方法可以从各种尺度的测量数据中提取稳定、精 确的特征点,并同时可以得到特征点描述器和不确定性信息．文章将这种方法应用在了软件仿真环境及经典数据集 上,包括：2 维的维多利亚公园数据集、英特尔研究中心数据集（Intel Research Center dataset）以及3 维的麻省理工 学院美国国防部高级研究计划局城市竞赛数据集（MIT DARPA Urban Challenge dataset）．实验结果表明这种方法可 以从各种环境中提取高精度、高重复性的稳定特征．     

基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准...     

基于脑电空间域表征可视化的情感识别研究*

鉴于情感脑电蕴含丰富的空间模式特征，提出一种基于二维空间域表征可视化的情感识别方法。首先，提取多通道脑电Gamma频段的微分熵（Differential Entropy，DE）特征并根据导联位置映射至9×9的二维空间进行拓扑重构，使用三次插值方法进一步提高空间域特征图的分辨率；然后，针对性地设计了一种深度残差网络（Residual Network，ResNet）模型作为情感脑电解码器对情感脑电信号（Electroencephalogram，EEG）进行深层抽象特征的自动提取和端到端分类；最后，通过梯度加权类激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）方法对输入特征图进行可解释性分析，依据热力图分布定位对特定情感状态识别具有较大贡献的空间脑区。在SEED数据集上进行了相关情感识别实验，三种情感类别分类平均准确率为94.88%，达到了较先进的性能。     

对象级特征引导的显著性视觉注意方法

针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网（CNN）对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。     

基于语音和视频图像的多模态情感识别研究

情感识别依靠分析生理信号、行为特征等分析情感类别,是人工智能重要研究领域之一。为提高情感识别的准确性和实时性,提出基于语音与视频图像的多模态情感识别方法。视频图像模态基于局部二值直方图法（LBPH）+稀疏自动编码器（SAE）+改进卷积神经网络（CNN）实现;语音模态基于改进深度受限波尔兹曼机（DBM）和改进长短时间记忆网络（LSTM）实现;使用SAE获得更多图像的细节特征,用DBM获得声音特征的深层表达;使用反向传播算法（BP）优化DBM和LSTM的非线性映射能力,使用全局均值池化（GAP）提升CNN和LSTM的响应速度并防止过拟合。单模态识别后,两个模态的识别结果基于权值准则在决策层融合,给出所属情感分类及概率。实验结果表明,融合识别策略提升了识别准确率,在中文自然视听情感数据库（cheavd）2.0的测试集达到74.9%的识别率,且可以对使用者的情感进行实时分析。     

具有共现关系的中文褒贬词典构建

针对情感词典构建中只反映了语言知识,缺乏语用知识的问题,提出了一种从真实语料中获取词语间的共现关系,并结合词语同义关系、语素特征进行中文褒贬词典半监督构建的方法。利用点互信息从语料中构建了情感词语和评价对象之间的相关性矩阵,采用非负矩阵分解的方法将其分解为情感词语之间的共现矩阵及新的情感词语-评价对象关系矩阵;将关系矩阵结合同义、语素特征,利用标签传播算法进行词语的褒贬分类。实验结果表明,在相同的数据集上该方法提高了只考虑语素和语义特征词典的准确率和召回率。     

混合多尺度卷积结合双层LSTM语音情感识别

针对深度学习算法在语音情感特征提取方面的不足以及识别准确率不高的问题,本文通过提取语音数据中有效的情感特征,并将特征进行多尺度拼接融合,构造语音情感特征,提高深度学习模型对特征的表现能力。传统递归神经网络无法解决语音情感识别长时依赖问题,本文采用双层LSTM模型来改进语音情感识别效果,提出一种混合多尺度卷积与双层LSTM模型相结合的模型。实验结果表明,在中科院自动化所汉语情感数据库（CASIA）和德国柏林情感公开数据集（Emo-DB）下,本文所提语音情感识别模型相较于其他情感识别模型在准确率方面有较大提高。     

基于3DC-BGRU的脑电情感识别

针对脑电信号情感识别率偏低的问题,提出了一种基于3DC-BGRU的脑电情感识别方法。对单通道脑电信号进行短时傅里叶变换（STFT）,提取相关频带的时频信息构成二维时频图,并将多个通道的时频图构成一种全新的时间、频率和通道的三维数据形式,通过三维卷积的方式设计了一种新颖的卷积神经网络（CNN）模型对三维数据进行深层特征提取,设计双向门控循环单元（BGRU）对深层特征的序列信息进行处理并配合Softmax进行分类。实验结果表明该方法分类识别率得到提高。     

基于过程神经元的语音情感识别的建模与仿真

为克服由传统语音情感识别模型的缺陷导致的识别正确率不高的问题,将过程神经元网络引入到语音情感识别中来。通过提取基频、振幅、音质特征参数作为语音情感特征参数,利用小波分析去噪,主成分分析（PCA）消除冗余,用过程神经元网络对生气、高兴、悲伤和惊奇四种情感进行识别。实验结果表明,与传统的识别模型相比,使用过程神经元网络具有较好的识别效果。     

基于ConvLSTM网络的维度情感识别模型研究

学业情绪能够影响和调节学习者的注意、记忆、思维等认知活动,情绪自动识别是智慧学习环境中情感交互和教学决策的基础。目前情绪识别研究主要集中在离散情绪的识别,其在时间轴上是非连续的,无法精准刻画学生学业情绪演变过程,为解决这个问题,基于众包方法建立真实在线学习情境中的中学生学习维度情感数据集,设计基于连续维度情感预测的深度学习分析模型。实验中根据学生学习风格确定触发学生学业情绪的学习材料,并招募32位实验人员进行自主在线学习,实时采集被试面部图像,获取157个学生学业情绪视频;对每个视频进行情感Arousal和Valence二维化,建立包含2 178张学生面部表情的维度数据库;建立基于ConvLSTM网络的维度情感模型,并在面向中学生的维度情感数据库上进行实验,得到一致性相关系数（Concordance Correlation Coefficient,CCC）均值为0.581,同时在Aff-Wild公开数据集上进行实验,得到的一致相关系数均值为0.222。实验表明,提出的基于维度情感模型在Aff-Wild公开数据集维度情绪识别中CCC相关度系数指标提升了7.6%~43.0%。     

WKAG：一种针对不平衡医保数据的欺诈检测方法

医保欺诈检测具有迫切的现实意义,当前工作主要以机器学习方法为主,但面临两个重要问题：（1）数据不平衡问题较为突出,欺诈样本占比极小,影响识别效果;（2）数据特征的选取与构造过于依赖领域业务知识,难以保证特征有效性。针对这些问题,提出了一种针对不平衡医保数据的欺诈检测方法--WKAG。使用WGAN-KDE（Wasserstein Generative Adversarial Network-Kernel Density Estimation）方法改善数据不平衡问题,结合自编码器（Auto-Encoder）提取数据的深层隐藏特征,使用Gradient Boosted Decision Tree（GBDT）检测医保欺诈行为。在多个公开数据集上验证了该方法有效性,并在真实医保业务数据集上进行了实验验证,结果表明了WKAG可作为医保欺诈行为的有效检测方法。     

用于脑电数据增强和情绪识别的自注意力GAN

针对脑电信号（electroencephalogram,EEG）情绪识别中数据稀缺及由此导致的情感分类精度不高的问题,提出了一个引入自注意力机制的条件Wasserstein生成对抗网络（SA-cWGAN）,通过自注意力模块从训练数据学习长时上下文相关的全局特征,采用Wasserstein距离和梯度惩罚的Lipschitz约束对网络的损失函数进行优化,进而生成高质量的EEG数据对原有训练集进行增强。所提方法分别在DEAP和SEED数据集上进行了大量的二分类和三分类对比实验,生成了与EEG训练数据分布接近的微分熵（DE）和功率谱密度（PSD）特征,以此来增强EEG训练数据集,采用SVM分类器对增强后的EEG特征进行情绪分类。实验结果表明,在DEAP数据集上的唤醒度和效价维度下,增强后的DE、PSD特征较原有DE、PSD特征二分类准确率分别提高了16.63、17.55个百分点和6.48、8.34个百分点;在SEED数据集下,三分类准确率分别提高了4.64、5.18个百分点,证明所提方法生成的特征具有良好的鲁棒性,也表明通过对GAN网络引入自注意力机制生成的特征增强原有训练数据集能够有效提高E...     

融合功能性副语言的语音情感识别新方法

针对声音突发特征（笑声、哭声、叹息声等,称之为功能性副语言）携带大量情感信息,而包含这类突发特征的语句由于特征突发性的干扰整体情感识别率不高的问题,提出了融合功能性副语言的语音情感识别方法。该方法首先对待识别语句进行功能性副语言自动检测,根据检测结果将功能性副语言从语句中分离,从而得到较为纯净的两类信号：功能性副语言信号和传统语音信号,最后将两类信号的情感信息使用自适应权重融合方法进行融合,从而达到提高待识别语句情感识别率和系统鲁棒性的目的。在包含6种功能性副语言和6种典型情感的情感语料库上的实验表明：该方法在与人无关的情况下得到的情感平均识别率为67.41%,比线性加权融合、Dempster-Shafer（DS）证据理论、贝叶斯融合方法分别提高了4.2%、2.8%和2.4%,比融合前平均识别率提高了8.08%,该方法针对非特定人语音情感识别具有较好的鲁棒性及识别准确率。     

基于灰色关联法的生理信号与情绪关联度研究

明确生理信号与情绪的关联度对提高情绪识别正确率起重要作用,然而目前关于两者的关联度研究成果比较少。为研究生理信号与情绪的关联度,采用德国Augsburg大学生理信号数据库的数据,基于灰色关联法研究喜、怒、哀情绪与心电、呼吸、皮肤电导信号的关联度,在此基础上,根据关联度结果采用CHAID决策树和SVM分类法进行情绪识别与分析。研究结果表明：（1）喜、怒、哀3种情绪与呼吸信号关联度最高,与皮肤电导关联度次之,与心电关联度最低;（2）基于CHAID决策树和SVM对3种情绪下的3种生理信号进行情绪识别,验证了喜、怒、哀与心电、呼吸、皮肤电导信号的关联程度。