结合数据平衡和注意力机制的CNN+LSTM的自然语音情感识别

为了解决语音情感识别中数据集样本分布不平衡的问题,提出一种结合数据平衡和注意力机制的卷积神经网络(CNN)和长短时记忆单元(LSTM)的语音情感识别方法.该方法首先对语音情感数据集中的语音样本提取对数梅尔频谱图,并根据样本分布特点对进行分段处理,以便实现数据平衡处理,通过在分段的梅尔频谱数据集中微调预训练好的CNN模型...     

基于卷积自注意力联合模型的评论情感分析

随着移动互联网的兴起,人们可以在网络上自由发表各种感想和评论,文本情感分析已经成为了自然语言处理中的一个重要研究方向.应用深度学习算法进行评论文本情感分析已经成为研究热点.论文应用了一种基于多通道卷积神经网络和双向长短时记忆神经网络融合的深度学习算法,获取文本的多粒度局部语义特征与全局语义特征,同时引入自注意力机制,提...     

结合BiLSTM和注意力机制的视频行人再识别

目的 跨摄像头跨场景的视频行人再识别问题是目前计算机视觉领域的一项重要任务。在现实场景中,光照变化、遮挡、观察点变化以及杂乱的背景等造成行人外观的剧烈变化,增加了行人再识别的难度。为提高视频行人再识别系统在复杂应用场景中的鲁棒性,提出了一种结合双向长短时记忆循环神经网络（BiLSTM）和注意力机制的视频行人再识别算法。方法 首先基于残差网络结构,训练卷积神经网络（CNN）学习空间外观特征,然后使用BiLSTM提取双向时间运动信息,最后通过注意力机制融合学习到的空间外观特征和时间运动信息,以形成一个有判别力的视频层次表征。结果 在两个公开的大规模数据集上与现有的其他方法进行了实验比较。在iLIDS-VID数据集中,与性能第2的方法相比,首位命中率Rank1指标提升了4.5%;在PRID2011数据集中,相比于性能第2的方法,首位命中率Rank1指标提升了3.9%。同时分别在两个数据集中进行了消融实验,实验结果验证了所提出算法的有效性。结论 提出的结合BiLSTM和注意力机制的视频行人再识别算法,能够充分利用视频序列中的信息,学习到更鲁棒的序列特征。实验结果表明,对于不同数据集,均能显著提升识别性能。     

结合注意力机制的CNN-LSTM心电信号识别

心电信号形态复杂多样易导致识别准确率低、适应性差,通常依靠人工诊断,费时费力。为此提出注意力机制与卷积长短时记忆网络(CNN-LSTM)相结合的深度网络模型(Attention-Based CNN-LSTM,A-CNN-LSTM)以实现心电信号自动识别。模型以CNN为基础架构,引入了注意力机制帮助心电信号内空间特征的提取;LSTM捕捉空间特征内的时间特性,并将其用于信号分类。在MIT-BIH心律不齐数据库上进行实验,结果表明,该模型可对六种不同的心电信号进行分类,识别准确率达到99.23%,具有一定的临床应用意义。     

基于注意力机制的语音情感识别非线性特征融合方法的研究

为了解决语音情感识别中时空特征动态依赖问题,提出一种基于注意力机制的非线性时空特征融合模型。模型利用基于注意力机制的长短时记忆网络提取语音信号中的时间特征,利用时间卷积网络提取语音信号中的空间特征,利用注意力机制将时空特征进行非线性的融合,并将非线性融合后的高级特征输入给全连接层进行语音情感识别。实验在IEMOCAP数据集中进行评估,实验结果表明,该方法可以同时考虑时空特征的内在关联,相对于使用线性融合的方法,利用注意力机制进行非线性特征融合的网络可以有效地提高语音情感识别准确率。     

融合语法规则的双通道中文情感模型分析

针对使用中文文本进行情感分析时,忽略语法规会降低分类准确率的问题,提出一种融合语法规则的双通道中文情感分类模型CB_Rule.首先设计语法规则提取出情感倾向更加明确的信息,再利用卷积神经网络(CNN)的局部感知特点提取出语义特征;然后考虑到规则处理时可能忽略上下文的问题,使用双向长短时记忆(Bi-LSTM)网络提取包含...     

情感增强的对话文本情绪识别模型

针对现有的许多研究忽略了说话人的情绪和情感的相关性的问题,提出一种情感增强的图网络对话文本情绪识别模型——SBGN。首先,将主题和对话意图融入文本,并微调预训练语言模型RoBERTa以提取重构的文本特征;其次,给出情绪分析的对称学习结构,将重构特征分别输入图神经网络（GNN）情绪分析模型和双向长短时记忆（Bi-LSTM）情感分类模型;最后,融合情绪分析和情感分类模型,将情感分类的损失函数作为惩罚以构建新的损失函数,并通过学习调节得到最优的惩罚因子。在公开数据集DailyDialog上的实验结果表明,相较于DialogueGCN模型与目前最先进的DAG-ERC模型,SBGN模型的微平均F1分别提高16.62与14.81个百分点。可见,SBGN模型能有效提高对话系统情绪分析的性能。     

结合注意力机制的循环神经网络复述识别模型

传统基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配.为此,建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类.为解决复述标注训练语料不足,在超过580000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调.与先前最佳的神经网络模型相比,所提出模型在标准数据集MSRP上准确率提高2.96%,$F_1$值改善2%.所提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能够降低对人工特征工程的需求,具有良好的实用性.     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural networ...     

基于层级注意力模型的视频序列表情识别

长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能.在CK+和MMI数据集上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息.     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

音乐情感识别研究综述

音乐是表达情感的重要载体,音乐情感识别广泛应用于各个领域.当前音乐情感研究中,存在音乐情感数据集稀缺、情感量化难度大、情感识别精准度有限等诸多问题,如何借助人工智能方法对音乐的情感趋向进行有效的、高质量的识别成为当前研究的热点与难点.总结目前音乐情感识别的研究现状,从音乐情感数据集、音乐情感模型、音乐情感分类方法三方面...     

一种端到端的自然场景文本检测与识别模型

提出了一种结合卷积神经网络和递归神经网络的有效的端到端场景文本识别方法。首先使用特征金字塔(FPN)提取图像的多尺度特征,然后将引入残差网络(ResNet)的深度双向递归网络(Bi-LSTM)对这些特征进行编码,获得文本序列特征,进而引入注意力机制(Attention)对文本序列特征进行解码达到识别效果。在ICDAR2013、ICDAR2015数据集实验验证了该算法的有效性,该方法不仅降低了训练难度,而且提升了网络的收敛速度,提高了文本识别准确率。该方法的有效性在ICDAR2013、ICDAR2015数据集上得到了充分验证。     

基于多特征自注意力BLSTM的中文实体关系抽取

实体关系抽取解决了原始文本中目标实体之间的关系分类问题,同时也被广泛应用于文本摘要、自动问答系统、知识图谱、搜索引擎和机器翻译中。由于中文句式和语法结构复杂,并且汉语有更多歧义,会影响中文实体关系分类的效果。该文提出了基于多特征自注意力的实体关系抽取方法,充分考虑词汇、句法、语义和位置特征,使用基于自注意力的双向长短期记忆网络来进行关系预测。在中文COAE 2016 Task 3和英文SemEval 2010 Task 8 数据集上的实验表明该方法表现出了较好的性能。     

基于CNN与双向LSTM的中文文本蕴含识别方法

为了避免基于传统机器学习的中文文本蕴含识别方法需要人工筛选大量特征以及使用多种自然语言处理工具造成的错误累计问题,该文提出了基于CNN与双向LSTM的中文文本蕴含识别方法。该方法使用CNN与双向LSTM分别对句子进行编码,自动提取相关特征,然后使用全连接层进行分类得到初步的识别结果,最后使用语义规则对网络识别结果进行修正,得到最终的蕴含识别结果。在2014年RITE-VAL评测任务的数据集上MacroF1结果为61.74%,超过评测第一名的结果61.51%。实验结果表明,该方法对于中文文本蕴含识别是有效的。     

用于脑电数据增强和情绪识别的自注意力GAN

针对脑电信号（electroencephalogram,EEG）情绪识别中数据稀缺及由此导致的情感分类精度不高的问题,提出了一个引入自注意力机制的条件Wasserstein生成对抗网络（SA-cWGAN）,通过自注意力模块从训练数据学习长时上下文相关的全局特征,采用Wasserstein距离和梯度惩罚的Lipschitz约束对网络的损失函数进行优化,进而生成高质量的EEG数据对原有训练集进行增强。所提方法分别在DEAP和SEED数据集上进行了大量的二分类和三分类对比实验,生成了与EEG训练数据分布接近的微分熵（DE）和功率谱密度（PSD）特征,以此来增强EEG训练数据集,采用SVM分类器对增强后的EEG特征进行情绪分类。实验结果表明,在DEAP数据集上的唤醒度和效价维度下,增强后的DE、PSD特征较原有DE、PSD特征二分类准确率分别提高了16.63、17.55个百分点和6.48、8.34个百分点;在SEED数据集下,三分类准确率分别提高了4.64、5.18个百分点,证明所提方法生成的特征具有良好的鲁棒性,也表明通过对GAN网络引入自注意力机制生成的特征增强原有训练数据集能够有效提高E...     

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度（Cross view,CV）精度达到92.5%,平均跨视角（Cross subject,CS）精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。     

基于长短期记忆神经网络的手写数字识别

手写笔迹识别是模式识别的一个重要研究领域。因为每个人的书写习惯有所不同,导致手写的字体有一定的差异。传统的Softmax模型在手写数字的识别结果上并没有达到人们的期望。目前,深度神经网络框架是模式识别领域的主流方法。长短期记忆神经网络(long-short term memory network,LSTM)是一种特殊的循环神经网络,它由输入门、遗忘门、输出门以及神经元组成。长短期记忆神经网络对于长序列问题有很好的处理。文中提出采用双向长短期记忆神经网络进行手写数字识别。采用MNIST数据集,分别使用传统的Softmax方法和双向长短期记忆神经网络方法对MNIST数据集里的图片进行识别。实验结果表明,传统的Softmax模型的正确率为92%左右,而LSTM模型的正确率达到了96.3%,提升4.3%。