嵌入注意力机制并结合层级上下文的语音情感识别

由于情感语料问题、情感与声学特征之间关联问题、语音情感识别建模问题等因素,语音情感识别一直充满挑战性.针对传统基于上下文的语音情感识别系统仅局限于特征层造成标签层上下文细节丢失以及两层级差异性被忽略的缺陷,本文提出嵌入注意力机制并结合层级上下文学习的双向长短时记忆(BLSTM)网络模型.模型分3个阶段完成语音情感识别任务,第1阶段提取情感语音特征全集后采用SVM-RFE特征排序算法降维得到最优特征子集,并对其进行注意力加权;第2阶段将加权后的特征子集输入BLSTM网络学习特征层上下文获得最初情感预测结果;第3阶段利用情感标签值对另一独立BLSTM网络训练学习标签层上下文信息并据此在第2阶段输出结果基础上完成最终预测.模型嵌入注意力机制使其自动学习调整对输入特征子集的关注度,引入标签层上下文使其联合特征层上下文实现层级上下文信息融合提高鲁棒性,提升了模型对情感语音的建模能力,在SEMAINE和RECOLA数据集上实验结果表明:与基线模型相比RMSE和CCC均得到较好改善.     

基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

基于迁移学习的电力短文本情感分类研究

为了有效提高客服效率与主动服务意识,从电力短文本中挖掘客户的情感状态,提出了一种基于迁移学习的情感分析方法,将具有丰富标注信息的商品评论语料库作为源域,提高了目标域中的电力短文本的情感分类性能。在现有基于注意力机制的双向长短型记忆网络模型之上引入域适应层,以学习跨域知识并保留特定域的知识。实验结果表明,与其他算法相比较,该算法对电力短文本进行情感分类的效果优于非迁移学习方法,具有更好的分类性能。     

一种改进的CNN-BiLSTM心律失常分类方法

基于一维心电信号,提出了一种改进的卷积双向长短时记忆网络以实现心律失常的自动分类。基于卷积神经网络（CNN）及其注意力机制提取关键特征,搭建双向长短时记忆网络（BiLSTM）挖掘心电信号的时间相关性,最终实现心电信号的自动分类。在MIT-BIH心律失常数据集上进行的实验结果表明,该方法在获得总体精度99.32%的基础上,实现了稀有类别分类的提升,其S与F类分类精确度分别提升了1.02%和10.07%,召回率分别提升了12.52%和4.25%,满足心律失常自动分类的检测要求。     

一种基于FastText的恶意代码家族分类方法

传统的恶意代码家族分类方法主要通过代码家族浅层关联特征的统计分析达到分类和识别的目的。随着恶意代码加壳、混淆、多态技术的发展,传统方法的局限性逐渐显现,但恶意代码需调用API函数达成恶意目的始终是其不变的行为特征。基于embedding、word2vec模型的传统方法缺乏对低频API函数的特征提取能力,在表征API序列局部顺序特征时易产生映射失真,存在词典外API行为扩展、推理能力弱等导致分类准确率下降的不足。由此,引入负采样优化的FastText框架以加强对API序列映射的准确度,提出一种基于FastText框架下的恶意代码家族分类方法。利用FastText框架实现代码样本API序列的多维向量转换和精准表达,结合一维卷积及长短时记忆(LSTM)网络进一步提取API行为局部特征。实验结果表明,该模型的性能相较于传统的embedding方法和word2vec框架性能更优,准确率可达99%以上。     

基于回应消息的中文微博情感分类方法

通过对中文微博情感分类的深入研究,该文提出了基于回应消息的中文微博情感分类方法。首先,对微博回应消息进行情感标注,然后利用回应消息情感分布结合SVM算法对微博文本情感进行分类;其次,对分类特征进行了详细分析。实验结果表明,该方法能够得到更高的准确率和召回率。     

基于GAT-BILSTM-Res的水质预测模型

针对水质数据在时间维度的依赖关系以及水质监测站点在空间维度的依赖关系,基于海河流域天津段实际监测的历史水质数据,设计了有效提取时空特征的方法,提出一种融合图注意力网络（GAT）、双向长短期记忆网络（Bi-LSTM）以及残差块（ResBlock）的时空水质预测模型（GAT-BILSTM-Res）.该模型首先通过GAT捕获水质监测站点之间的拓扑关系,建立空间相关性模型;同时通过Bi-LSTM捕捉水质监测数据的动态变化,并对时间相关性进行建模;然后将时空特征融合,输入残差块;最后使用全连接层对预测结果进行输出.实验结果表明,相较于基线模型,该模型能够实现6.6%～25.2%的性能提升.     

大规模情感词典的构建及其在情感分类中的应用

为了有效获取短文本评论隐含的语义信息进行情感倾向性识别,提出一种基于CNN-LSTM模型的短文本情感分类方法.利用卷积神经网络（convolutional neural network,CNN）模型设置不同大小的卷积窗口,提取短文本的语义特征.引入长短时记忆（long short-term memory,LSTM）神经网络模型对短文本的情感倾向进行预测.在3种不同的中英文短文本评论数据集上进行验证取得较好的性能,其中,在NLPCC评测数据集上,正、负向情感识别的F₁值分别达到0.768 3和0.772 4（优于NLPCC评测的最优结果）.相较于传统的机器学习分类模型,t-test检验结果表明性能提升显著.

     

基于多注意力机制集成的非侵入式负荷分解算法

针对输入负荷特征对分解结果的重要程度不同,以及长短时记忆网络（LSTM）在捕捉长时间用电信息的时间依赖性方面受限导致分解误差高等问题,提出一种基于多注意力机制集成的非侵入式负荷分解算法.首先,利用概率自注意力机制对一维空洞卷积提取到的负荷特征进行优化处理,实现重要负荷特征的遴选;其次,采用时间模式注意力机制对LSTM的隐状态赋予权重,从而增强网络对长时间用电信息之间的时间依赖性的学习能力;最后,利用公开数据集UKDALE和REDD对所提分解模型的有效性和创新性进行验证.实验结果表明,与其他多种现有分解算法相比,基于多注意力机制集成的分解算法不仅具备更好的负荷特征遴选能力,而且能更加精确地建立特征之间的时间依赖关系,有效降低了分解误差.     

基于自注意力深度学习的微博实体识别研究

命名实体识别是自然语言处理的重要基础,随着神经网络的快速发展,深度学习的各种方法被应用于文本处理的各个方向。引入自注意力机制,结合深度学习方法,提出一种基于自注意力的双向长短期记忆条件随机场(SelfAtt-BiLSTM-CRF)方法来识别微博中的实体,利用自注意力机制,获取词与词之间的依赖关系,进一步提高模型的识别能力。实验表明,所提出的方法取得了较好的识别效果。     

基于平滑SO-PMI算法的微博情感词典 构建方法研究

对现有情感词典在微博情感分类中的适用性进行了分析,针对现有情感词典在微博中情感词覆盖度低的问题,整合现有情感词典资源,构建了一个微博基础情感词典,同时提出了一种基于拉普拉斯平滑的SO-PMI算法对微博基础情感词典中没有收录的情感词倾向性进行判断,最后利用微博情感词典与拉普拉斯平滑的SO-PMI算法对微博情感词典进行了构建,并对所构建微博情感词典的分类性能进行了实验。实验结果表明,该方法所构建的情感词典在微博情感分类中能达到较好的分类效果。     

采用 SVM 方法的文本情感极性分类研究

文本情感极性分类是文本情感分析首先要解决的关键问题。在分析影响文本情感分类的各类因素的基础上,首先构建了情感词典,并进行情感特征选取以及情感特征加权,然后使用SVM分类的方法对文本进行情感识别及分类,最后在语料数据集的基础上,在单机平台上和Spark分布式计算平台上执行分类模型,对比分析其分类精度和时间代价。实验结果验证了本文构建的情感极性分类模型在单机和分布式云平台上中的有效性。     

基于CNN特征空间的微博多标签情感分类

面对微博情感评测任务中的多标签分类问题时,基于向量空间模型的传统文本特征表示方法难以提供有效的语义特征。词向量表示能体现词语的语法和语义关系,并依据语义合成原理构建句子的特征表示。本文提出一个针对微博句子的多标签情感分类系统,采用经过有监督情感分类学习后的卷积神经网络(Convolution Neural Network, CNN)模型,将词向量合成为微博句子的向量表示,使得此CNN特征空间中的句子向量具有很好的情感语义区分度。在2013年NLPCC(Natural Language Processing and Chinese Computing)会议的微博情感评测公开数据集上,相比最优评测结果的宽松指标和严格指标,本系统的最佳分类性能分别提升了19.16%和17.75%;相比目前已知文献中的最佳分类性能,则分别提升了3.66%和2.89%。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

微博知识图谱构建方法研究

传统搜索引擎需要用户从返回网页中提炼有用知识;社交网络搜索根据人物的社会关系、共同爱好,提供人物和兴趣间的关系等方面的搜索结果。当前,社交网络搜索主要存在2个问题:不能从语义上理解用户查询词;仅局限于人物、兴趣搜索,限制了查询范围。为解决微博搜索中存在的一些问题,并主动返回更多知识,基于微博这一社交网络的重要平台,研究微博社区知识图谱构建方法,重点提出5方面的研究:微博社区中概念提取,其概念包括人物、事物、地点、事件和话题等5种类型;微博社区概念间的关系提取,其关系包括上述5种概念间的组合关系;知识图谱是带有语义的网络图谱,将概念作为顶点并将概念间关系作为边,研究知识图谱的构建方法;分析微博社区知识图谱,包括构建效果、演化特征、应用效果分析;研发基于微博知识图谱的应用系统等内容。     

基于元胞自动机的微博舆情传播研究

采用元胞自动机理论进行微博舆情传播的研究,设计微博元胞自动机模型结构,包括元胞状态、元胞空间、元胞邻域和演变规则。在微博舆情的倾向度演化中,定义了坚定性系数与影响系数,在不同的坚定性系数和影响系数分布下,进行了倾向度演化实验与分析。同时,对影响力较大的微博在倾向度演化中的作用,以及多邻域分布下倾向度的演化进行了研究。       

基于mixtureLDA的微博主题挖掘

针对目前的主题挖掘只考虑主题内容的概率分布方法,本文提出一种综合考虑内容、时间等因素的微博主题挖掘模型mixtureLDA. 该模型能够分析用户不同类型微博的主题概率分布和时间微博主题概率. 实验使用新浪微博数据集,结果表明基于mixtureLDA的微博主题挖掘模型能够有效地挖掘出用户微博和时间微博的主题概率分布. 与MB-LDA、userLDA模型对比,mixtureLDA模型可有效降低困惑度.     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。