应用BERT和BiGRU-AT的电力营销客服工单分类模型

针对传统词向量无法表示多义词，以及传统深度学习模型特征提取能力弱等问题，提出结合BERT和BiGRU-AT的电力营销客服工单分类模型。利用BERT进行工单文本特征表示，参考具体上下文语境，知道动态词向量表示；用BiGRU模型进行二次语义特征学习，全面提取句子的高维特征；通过软注意力机制为每个词分配不同权重，提升模型聚焦关键词的能力；在真实电力客服工单数据集上进行实验，结果表明，BERT-BiGRU-AT模型在客服工单分类上具有较高的准确率。     

面向智能客服的句子相似度计算方法

针对金融领域中智能客服的句子相似度计算方法进行了研究。利用基于词性的分词纠正模型减少中文歧义词、金融相关词汇的分词错误；通过词向量方法和循环神经网络分别提取词语级和句子级的语义特征，并且得到句子向量；用融合层计算出句子向量间的差异特征；对差异特征进行降维和归一化得到句子相似度计算结果。实验结果表明，该方法具有较高的准确率和[F1]值。     

融合词向量的多特征句子相似度计算方法研究

在归纳常见的句子相似度计算方法后,基于《人民日报》3.4万余份文本训练了用于语义相似度计算的词向量模型,并设计了一种融合词向量的多特征句子相似度计算方法。该方法在词方面,考虑了句子中重叠的词数和词的连续性,并运用词向量模型测量了非重叠词间的相似性;在结构方面,考虑了句子中重叠词的语序和两个句子的长度一致性。实验部分设计实现了4种句子相似度计算方法,并开发了相应的实验系统。结果表明:提出的算法能够取得相对较好的实验结果,对句子中词的语义特征和句子结构特征进行组合处理和优化,能够提升句子相似度计算的准确性。     

基于多注意力CNN的问题相似度计算模型

在智能客服问答系统中,用户所提问句具有咨询意图复杂、上下文相关性弱以及口语化等特点,导致问句相似度计算的准确率不高,出现答非所问的情况。提出一种基于卷积神经网络的相似度计算模型MA-CNN。通过2个不同的注意力机制,同时关注词汇间的语义信息和句子间的整体语义信息,提高智能客服对问题的理解能力。实验结果表明,与基于词向量和基于循环神经网络的模型相比,MA-CNN模型对问句的辨识能力更强,其F1值最高可达0.501。     

基于潜在语义分析的汉语问答系统答案提取

为了解决在汉语问答系统答案提取时,由于词的同义或多义现象而导致的“漏提”或“错提”等问题,提出了一种基于潜在语义分析（LSA）的问题和答案句子相似度计算方法．它利用空间向量模型作为问题和句子的表示方法,借助于潜在语义分析理论,对大量问答作句子语料统计分析,构建了一个潜在的词一句子语义空间,从而消除了词之间的相关性,并在语义空间上实现了问题与答案句子相似度计算,有效地解决了词的同义和多义问题．最后结合问题类型和相似度计算结果,对汉语基于事实的简单陈述问题进行了答案句子提取实验．答案提取的MRR值达到了0．47,明显优于空间向量模型．结果说明该方法具有很好的效果．     

基于ELMo和Transformer混合模型的情感分析

针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类.首先,该模型利用ELMo模型生成词向量.基于双向LSTM模型,ELMo能够在词向量中进一步融入词语所在句子的上下文特征,并能针对多义词的不同语义生成不...     

不同粒度下的文档分类

提出了句子空间模型及基于句子空间模型的分类算法。比较了从词、句子两个不同粒度对文档进行表示的向量空间模型和句子空间模型在对同一问题进行分类时的召回率和准确率。实验表明，与向量空间模型相比，句子空间模型在许多情况下具有较好的分类性能。     

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足：一是不能较好地对文本特征进行提取；二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题，提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵，然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础，同时利用最大池化提取句子特定的目标向量，使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示，并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示，然后将其与文本的特征信息进行交互、融合，以减少原有特征损失，得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明，该模型的分类准确率明显优于其它主流基线模型的。     

结合句法特征和卷积神经网络的多意图识别模型

短文本的多意图识别是口语理解（SLU）中的难题,因短文本的特征稀疏、字数少但包含信息量大,在分类问题中难以提取其有效特征。为解决该问题,将句法特征和卷积神经网络（CNN）进行结合,提出一种多意图识别模型。首先,将句子进行依存句法分析以确定是否包含多意图;然后,利用词频-逆文档频率（TF-IDF）和训练好的词向量计算距离矩阵,以确定意图的个数;其次,把该距离矩阵作为CNN模型的输入,进行意图分类;最后,判断每个意图的情感极性,计算用户的真实意图。采用现有的智能客服系统的真实数据进行实验,实验结果表明,结合句法特征的CNN模型在10个意图上的单分类精准率达到93.5%,比未结合句法特征的CNN模型高1.4个百分点;而在多意图识别上,精准率比其他模型提高约30个百分点。     

融合多粒度信息的文本分类研究

目前对中文文本分类的研究主要集中于对字符粒度、词语粒度、句子粒度、篇章粒度等数据信息的单一模式划分，这往往缺少不同粒度下语义所包含的信息特征。为了更加有效提取文本所要表达的核心内容，提出一种基于注意力机制融合多粒度信息的文本分类模型。该模型对字、词和句子粒度方面构造嵌入向量，其中对字和词粒度采用Word2Vec训练模型将数据转换为字向量和词向量，通过双向长短期记忆网络（bi-directional long short-term memory,BiLSTM）获取字和词粒度向量的上下文语义特征，利用FastText模型提取句子向量中包含的特征，将不同种特征向量分别送入到注意力机制层进一步获取文本重要的语义信息。实验结果表明，该模型在三种公开的中文数据集上的分类准确率比单一粒度和两两粒度结合的分类准确率都有所提高。     

基于word2vec和XGBoost相结合的国网95598客服 投诉工单分类

为了解决95598客服投诉工单的整理、归档等问题,其中包括：在人工进行归档的过程中出现的疏忽造成的归档随意问题,即归档准确性问题;人工对投诉工单进行差错点归纳的耗时问题,即效率问题;人工对客服投诉分析深度不足,无法精准快速定位用户诉求热点的问题,即深度问题。本文针对以上三个问题给出解决方案,采用word2vec和XGBoost相结合的方式达到对95598客服投诉工单精准归纳。在文本词向量化的过程中采用word2vec方法,得到单词的文本词向量;利用XGBoost算法对95598客服投诉工单进行分类归档,并且对历史投诉工单的责任部门、专业分类、诉求事件、差错点四个方面进行标注。该模型的分类准确率在83%-91%左右,有较好的的效果。基于工单分类的结果,并设计了相关的投诉类看板,更直观的对数据进行展示。     

基于图卷积网络的客服对话情感分析

随着电力业务的发展,客服环节时刻产生着大量的数据,然而传统对话数据情感检测方法对于客服质量检测的手段存在着诸多的问题和挑战.本文根据词语出现的排列和定位构建字图,对整个语句进行非连续长距离的语义建模;并针对文档不同组成部分之间的关系,对语句上下文之间的交互依赖或自我依赖关系进行建模;最后通过卷积神经网络对所构建的图进行...     

基于神经主题模型的对话情感分析

对话情感分析旨在识别出一段对话中每个句子的情感倾向,其在电商客服数据分析中发挥着关键作用。不同于对单个句子的情感分析,对话中句子的情感倾向依赖于其在对话中的上下文。目前已有的方法主要采用循环神经网络和注意力机制建模句子之间的关系,但是忽略了对话作为一个整体所呈现的特点。建立在多任务学习的框架下,该文提出了一个新颖的方法,同时推测一段对话的主题分布和每个句子的情感倾向。对话的主题分布,作为一种全局信息,被嵌入到每个词以及句子的表示中。通过这种方法,每个词和句子被赋予了在特定对话主题下的含义。在电商客服对话数据上的实验结果表明,该文提出的模型能充分利用对话主题信息,与不考虑主题信息的基线模型相比,Macro-F1值均有明显提升。     

基于自然语言处理技术的电力客户投诉工单文本挖掘分析

本文主要结合浙江湖州电力业务需求,旨在打破客户对用电诉求存在的盲区,从而提高对用户用电需求的管理程度,实现热点投诉业务工单的原因挖掘。为了更好的深入挖掘投诉工单背后所蕴含的信息,研究基于自然语言处理技术出发,对电力客户投诉工单进行深入文本挖掘,利用隐马尔可夫模型等分词技术分析投诉工单中的受理内容,进行词频统计,通过TF-IDF算法计算关键词重要性权重值,提取权重值大的关键词频作为客户投诉文本挖掘的最终结果,并运用词云分析技术进行分析结果可视化展示;通过文本分类分析,构建文本分类器模型,实现对 “热点词频”在不同业务中的分布情况的研究,并根据结果开展相应改进措施。把控住当下电力客户投诉的主要问题,针对性的为不同类型的电力客户提供差异化的服务策略,从而提高客户满意度和忠诚度。专题的推广应用,能够很好的提升客服部门的工作效率,落在实处的为客户解决难题。     

注意力增强的双向LSTM情感分析

在基于深度学习的情感分析工作中,传统的注意力机制主要以串行的方式作为其他模型的下一层,用于学习其他神经网络模型输出的权重分布。该文在探究使用深度学习进行句子级情感分析任务的基础上,提出一种注意力增强的双向LSTM模型。模型使用注意力机制直接从词向量的基础上学习每个词对句子情感倾向的权重分布,从而学习到能增强分类效果的词语,使用双向LSTM学习文本的语义信息。最终,通过并行融合的方式提升分类效果。通过在NLPCC 2014情感分析语料上进行测试,该模型的结果优于其他句子级情感分类模型。     

基于图神经网络的方面级情感分析

目前基于循环神经网络和注意力机制的方面级情感分析模型缺乏解释相关句法约束和远程单词依赖关系.针对该问题提出结合句子依存树和单词序列信息建立句子关系图模型.首先将句子表示为图,单词作为图的节点,依存句法树的边和单词序列作为图的边;然后提出邻接矩阵标记方案对句子关系图进行标记;最后利用图神经网络实现节点和边的分类任务.该模型在SemEval2014任务中的restaurant和laptop两个数据集上进行实验,在两个数据集上F1值提升了5％左右.实验结果表明,将句子转换成图利用图神经网络对句子进行方面级情感分析是有益的.     

一种基于联合深度神经网络的食品安全信息情感分类模型

针对因中文食品安全文本特征表达困难,而造成语义信息缺失进而导致分类器准确率低下的问题,提出一种基于深度神经网络的跨文本粒度情感分类模型。以食品安全新闻报道为目标语料,采用无监督的浅层神经网络初始化文本的词语级词向量。引入递归神经网络,将预训练好的词向量作为下层递归神经网络(Recursive Neural Network)的输入层,计算得到具备词语间语义关联性的句子特征向量及句子级的情感倾向输出,同时动态反馈调节词向量特征,使其更加接近食品安全特定领域内真实的语义表达。然后,将递归神经网络输出的句子向量以时序逻辑作为上层循环神经网络(Recurrent Neural Network)的输入,进一步捕获句子结构的上下文语义关联信息,实现篇章级的情感倾向性分析任务。实验结果表明,联合深度模型在食品安全新闻报道的情感分类任务中具有良好的效果,其分类准确率和F1值分别达到了86.7%和85.9%,较基于词袋思想的SVM模型有显著的提升。     

Ontological reasoning for improving the treatment of emotions in text

With the advent of affective computing, the task of adequately identifying, representing and processing the emotional connotations of text has acquired importance. Two problems facing this task are addressed in this paper: the composition of sentence emotion from word emotion, and a representation of emotion that allows easy conversion between existing computational representations. The emotion of a sentence of text should be derived by composition of the emotions of the words in the sentence, but no method has been proposed so far to model this compositionality. Of the various existing approaches for representing emotions, some are better suited for some problems and some for others, but there is no easy way of converting from one to another. This paper presents a system that addresses these two problems by reasoning with two ontologies implemented with Semantic Web technologies: one designed to represent word dependency relations within a sentence, and one designed to represent emotions. The ontology of word dependency relies on roles to represent the way emotional contributions project over word dependencies. By applying automated classification of mark-up results in terms of the emotion ontology the system can interpret unrestricted input in terms of a restricted set of concepts for which particular rules are provided. The rules applied at the end of the process provide configuration parameters for a system for emotional voice synthesis.     

基于汉语情感词表的句子情感倾向分类研究

提出了一种基于汉语情感词词表的加权线性组合的句子情感分类方法。该方法通过已有的五种资源构建了中文情感词词表,并采用加权线性组合的句子情感分类方法对句子进行情感类别判断。实验结果表明,直接利用词汇语言粒度的句子情感分类综合F值为78.62％,若加入了否定短语语言粒度后,句子情感分类的综合F值提高了4.14％。