基于特征融合的小样本抽象画图像情感预测

绘画图像情感预测是目前情感计算中的一个研究热点。目前抽象画来源少,样本量小,其情感分析大多数采用的是图像低层特征,而且准确率不高。为此,提出一种基于特征融合的小样本抽象画图像情感预测方法。首先,分析了抽象艺术理论中组成绘抽象画的基本元素（点、线、面和颜色）与人类情感的关系,依据这些理论量化出抽象画图像的低层特征;然后,采用迁移学习算法,基于大样本数据在预训练网络上得到参数,并迁移至目标模型,再在小样本数据上对目标模型进行微调,得到图像高层特征;最后,将低层与高层特征进行线性融合,采用多分类支持向量机（SVM）实现抽象画图像的情感预测。在3个小样本抽象画数据集上进行实验,结果表明,与直接采用低层特征的方法相比,所提方法的分类准确率有所提高,证实了它在小样本抽象画的情感研究中的有效性。     

融合多特征的语音情感识别方法

语音情感识别已经成为下一代人机交互技术的重要组成部分,从语音信号中提取与情感相关的特征是语音情感识别的重要挑战.针对单一特征在情感识别中准确度不高的问题,该文提出了特征级-决策级融合的方法融合声学特征和语义特征进行情感识别.首先提取声学特征,包括：1)低层次手工特征集,包括基于谱相关、音质、能量、基频等相关特征,以及基于低层次特征的高级统计特征;2)DNN提取的谱相关特征的深度特征;3)CNN提取的基于Filter＿bank特征的深度特征.并且使用基于Listen-Attend-Spell(LAS)模型的语音识别模块提取语义特征.然后将声学特征中的3类特征与语义特征进行特征级融合,在确定融合特征的先后顺序时引入了构造哈夫曼树的方法.最后得到融合后特征和原始4类特征各自的情感识别结果,在结果之上进行决策级融合,使用此方法在IEMOCAP数据集中分类准确度可达76.2%.     

一种融合上下文特征的中文隐式情感分类模型

对网络上海量的文本数据进行情感分析,可以更好地挖掘网民行为规律、帮助决策机构了解舆情倾向和改善商家服务质量。在实际表达中,人们除了采用带有明显情感词的主观表达外,还采用含蓄的方式表达自己的主观倾向。带有显式情感词的文本情感分析作为自然语言处理领域的基础性研究任务,已经取得了丰富的研究成果。然而,针对隐式文本的情感分析技术还处于起步阶段。与显式情感分析任务相比,隐式情感分类任务更加困难。隐式表达文本具有中立性表达、缺乏情感词和上下文依赖的特点,使得传统的文本分类方法不再适用。针对以上问题,采用word2vec词嵌入技术提取文本特征,分别进行了基于TextCNN、LSTM和BiGRU分类模型的研究。在各个深度分类模型研究基础上,还进行了融合注意力机制的分类模型研究。针对隐式表达对上下文内容依赖的特点,设计了一种融合上下文语义特征和注意力机制的分类模型,增强了部分中立性隐式表达句的分类效果。最后在SMP2019公开数据集上进行了实验,取得了比上述几种基础深度网络模型与融合注意力机制分类模型更好的分类效果。     

融合语法规则的双通道中文情感模型分析

针对使用中文文本进行情感分析时,忽略语法规会降低分类准确率的问题,提出一种融合语法规则的双通道中文情感分类模型CB_Rule。首先设计语法规则提取出情感倾向更加明确的信息,再利用卷积神经网络（CNN）的局部感知特点提取出语义特征;然后考虑到规则处理时可能忽略上下文的问题,使用双向长短时记忆（Bi-LSTM）网络提取包含上下文信息的全局特征,并对局部特征进行融合补充,从而完善CNN模型的情感特征倾向信息;最后将完善后的特征输入到分类器中进行情感倾向判定,完成中文情感模型的构建。在中文电商评论文本数据集上将所提模型与融合语法规则的Bi-LSTM中文情感分类方法R-Bi-LSTM以及融合句法规则和CNN的旅游评论情感分析模型SCNN进行对比,实验结果表明,所提模型在准确率上分别提高了3.7个百分点和0.6个百分点,说明CB_Rule模型具有很好的分类效果。     

一种融合字词信息的中文情感分析模型

中文情感分析模型的文本表示通常只采用词粒度信息，这会导致模型在特征提取时丧失字粒度的特性，同时常用的分词方法的分词结果过于精简，也一定程度上限制了文本表示的丰富度。对此，提出了一种融合字粒度特征与词粒度特征的中文情感分析模型，采用全模式分词得到更丰富的词序列，经词嵌入后将词向量输入Bi-LSTM中提取全文的语义信息，并将隐层语义表示与对应字向量进行初步融合，增强词级信息的鲁棒性；另一方面将字向量输入多窗口卷积，捕捉更细粒度的字级特征信息。最后将字词粒度特征进一步融合后输入分类器得到情感分类结果，在2个公开数据集上的性能测试结果表明，该模型相比同类模型有更好的分类性能。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

基于多特征融合与PLSA-GMM的图像自动标注

为减少图像检索中图像信息的缺失与语义鸿沟的影响,提出了一种基于多特征融合与PLSA-GMM的图像自动标注方法.首先,提取图像的颜色特征、形状特征和纹理特征,三者融合作为图像的底层特征;然后,基于概率潜在语义分析(PLSA)与高斯混合模型(GMM)建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用Corel 5k数据库进行验证,实验结果证明了本文方法的有效性.     

多特征融合的场景图像分类算法

提出了一种Gabor-LBP频域纹理特征与词包模型语义特征相结合的场景图像分类算法.利用Gabor变换得到的频域信息,及对应的LBP特征,与视觉词包模型（BOW）提取的语义特征自适应相融合,实现分类.为了验证本文算法,利用两个标准图像测试库进行比较测试,实验结果表明,本文算法在改善图像纹理表达上具有明显优势,特别是对于图像的光照、旋转、尺度都具有很好的鲁棒性.     

基于Deep Belief Nets的维吾尔语句子级情感分析

针对维吾尔语句子情感信息：喜、怒、哀、乐和客观五分类任务,提出一种利用深度信念网络模型(Deep Belief Nets, DBN)的深度学习机制进行基于深层语义特征的句子级情感分析方法。该方法通过对维吾尔语情感句及语言特点的深入研究,提取出利于情感分析任务的8项情感特征。为了提高特征对文本语义的表达,将富含词汇深层语义和上下文信息的word embedding特征与情感特征进行融合,作为深度信念网络的输入。利用多层无监督的波尔兹曼机(RBM)训练并提取隐含的深层语义特征,通过有监督的后向传播算法对网络进行微调,进而完成情感分类任务。该方法在维吾尔语句子级情感分类任务中的准确率为83,35%,召回率为84.42%,F值为：83.88%. 实验结果证明,深度学习模型较浅层的学习模型更合适于本文的情感分类任务,对word embedding特征项的引入,有效的提高了情感分类模型的性能.     

基于多特征融合的深层网络图像语义识别方法

图像是一种用来传达情感的重要工具,人类的情感会因不同的视觉刺激而异。采用了一种基于小数据集的数据扩充方式,并将图像的手工提取的低级特征（颜色特征、纹理特征）和网络自动提取到的高级特征（图像对象类别特征和图像深层情感特征）融合的方法,识别图像的复合情感。最终输出包含图像和对象在内的高级语义描述性短语。在公共数据集IAPS和GAPED上进行了实验,并与传统手工提取方法和VGG16、Fine-tune Alexnet两种已有模型进行了比较,该方法在测试性能上优于其他的识别方法,情感识别准确率能达到66.54%。     

基于高层语义的视频检索研究

视频语义检索的研究是目前研究的热点之一。现有的视频检索系统技术多是基于底层特征的、非语义层次的检索。与人类思维中所能理解的高层语义概念相去甚远,这严重影响视频检索的实际效果。如何跨越底层特征和高层语义的鸿沟,用高层语义概念进行视频检索是当前研究的重点。通过对视频内容的语义理解、语义分析、语义提取的简要概述,试图构造一种视频语义检索模型。     

二次滑动粗粒化的快速样本熵脑电情感分析

针对传统单一尺度样本熵对脑电信号(EEG)序列特征提取不明显、多尺度熵在粗粒化过程中会遗漏重要信息导致情感分类性能下降以及样本熵算法效率不高的问题,提出了一种基于二次滑动均值粗粒化的多尺度快速样本熵脑电特征提取方法。由于不同情感的脑电信号存在差异性,先采用二次滑动均值粗粒化对脑电信号进行多尺度处理,然后利用快速样本熵算法提取不同时间尺度的样本熵值作为特征向量,结合随机森林(RF)分类模型来识别不同的情感状态。提出的方法对多模态标准情感数据库DEAP进行了研究,发现大脑额区和右脑对情感比较敏感,正性、中性和负性情感在大脑侧额区获得了88.75%的平均分类准确率。实验结果表明,该方法可以有效地提取脑电特征,并且能够保证算法的效率。     

基于深度语义模型的乳腺X线图像检索

图像特征是基于内容的图像检索（Content-based image retrieval,CBIR）的关键,大部分使用的手工特征难以有效地表示乳腺肿块的特征,底层特征与高层语义之间存在语义鸿沟。为了提高CBIR的检索性能,本文采用深度学习来提取图像的高层语义特征。由于乳腺X线图像的深度卷积特征在空间和特征维度上存在一定的冗余和噪声,本文在词汇树和倒排文件的基础上,对深度特征的空间和语义进行优化,构建了两种不同的深度语义树。为了充分发挥深度卷积特征的识别能力,根据乳腺图像深度特征的局部特性对树节点的权重进行细化,提出了两种节点加权方法,得到了更好的检索结果。本文从乳腺X线图像数据库（Digital database for screening mammography, DDSM）中提取了2 200个感兴趣区域（Region of interest,ROIs）作为数据集,实验结果表明,该方法能够有效提高感兴趣肿块区域的检索精度和分类准确率,并且具有良好的可扩展性。     

情感计算与理解研究发展概述

情感在感知、决策、逻辑推理和社交等一系列智能活动中起到核心作用,是实现人机交互和机器智能的重要元素。近年来,随着多媒体数据爆发式增长及人工智能的快速发展,情感计算与理解引发了广泛关注。情感计算与理解旨在赋予计算机系统识别、理解、表达和适应人的情感的能力来建立和谐人机环境,并使计算机具有更高、更全面的智能。根据输入信号的不同,情感计算与理解包含不同的研究方向。本文全面回顾了多模态情感识别、孤独症情感识别、情感图像内容分析以及面部表情识别等不同情感计算与理解方向在过去几十年的研究进展并对未来的发展趋势进行展望。对于每个研究方向,首先介绍了研究背景、问题定义和研究意义;其次从不同角度分别介绍了国际和国内研究现状,包括情感数据标注、特征提取、学习算法、部分代表性方法的性能比较和分析以及代表性研究团队等;然后对国内外研究进行了系统比较,分析了国内研究的优势和不足;最后讨论了目前研究存在的问题及未来的发展趋势与展望,例如考虑个体情感表达差异问题和用户隐私问题等。     

基于情感词向量和BLSTM的评论文本情感倾向分析

情感倾向分析主要用于判断文本的情感极性,在商品评论、舆情监控等领域有着重要的商业和社会价值。传统的机器学习方法主要是浅层的学习算法,并不能很好地抽取文本中高层情感信息。针对该问题,提出了一种以组合了语义信息和情感信息的情感词向量作为输入的改进双向长短期记忆模型,通过构建语义和情感双输入矩阵,并在隐藏层加入情感特征抽取模块,来增强模型的情感特征表达能力。在数据集上的实验结果表明,与标准的BLSTM模型和传统机器学习模型相比,该模型能够有效提升文本情感倾向分析的效果。     

基于深度模型的社会新闻对用户情感影响挖掘

该文研究了社会新闻中影响读者情感的深层特征。使用三种文本特征选择方法,分别从一元词、二元词和主题粒度下提取文本浅层特征,使用支持向量机模型选择三种粒度下最优浅层特征并且进行分类,得到最优宏平均F1值分别为60.5%、62.1%、63.3%。引入深度信念网络模型,使用三种粒度下最优浅层特征作为输入,进一步训练和抽象得到深层特征,实验中使用深度为3的深度信念网络模型进行训练与分类,最优宏平均F1值分别为61.4%、63.5%、66.1%。实验结果表明,深层特征比浅层特征具有更多的文本语义信息,可以更好地判断社会新闻对公众情绪影响。     

基于SDAE与RELM的EEG情感识别方法

针对情感识别中堆叠式自动编码器存在反向传播方法收敛速度慢和容易陷入局部最优的问题,提出一种基于堆叠式降噪自动编码器（SDAE）和正则化极限学习机（RELM）的情感状态识别方法。从脑电信号的时域、频域和时频域中提取表征情感状态的初始特征,使用SDAE进行无监督特征学习,提取初始特征的高层抽象表示。在网络的回归层,使用RELM进行情感分类。在DEAP数据集上的实验结果表明,与SDAE以及DT、KNN等传统基于机器学习的方法相比,该方法在实时性、准确性和泛化性能等方面均有明显提升。     

基于多级全局信息传递模型的视觉显著性检测

对神经网络中的卷积特征采用分层处理的思想能明显提升显著目标检测的性能。然而,在集成分层特征时,如何获得丰富的全局信息以及有效融合较高层特征空间的全局信息和底层细节信息仍是一个没有解决的问题。为此,提出了一种基于多级全局信息传递模型的显著性检测算法。为了提取丰富的多尺度全局信息,在较高层级引入了多尺度全局特征聚合模块（MGFAM）,并且将多层级提取出的全局信息进行特征融合操作;此外,为了同时获得高层特征空间的全局信息和丰富的底层细节信息,将提取到的有判别力的高级全局语义信息以特征传递的方式和较低层次特征进行融合。这些操作可以最大限度提取到高级全局语义信息,同时避免了这些信息在逐步传递到较低层时产生的损失。在ECSSD、PASCAL-S、SOD、HKU-IS等4个数据集上进行实验,实验结果表明,所提算法相较于较先进的NLDF模型,其F-measure（F）值分别提高了0.028、0.05、0.035和0.013,平均绝对误差（MAE）分别降低了0.023、0.03、0.023和0.007。同时,所提算法在准确率、召回率、F-measure值及MAE等指标上也优于几种经典的图像显著性检测方法。