基于多层次注意力的语义增强情感分类模型

由于自然语言的复杂语义、词的多情感极性以及文本的长期依赖关系，现有的文本情感分类方法面临严峻挑战。针对这些问题，提出了一种基于多层次注意力的语义增强情感分类模型。首先，使用语境化的动态词嵌入技术挖掘词汇的多重语义信息，并且对上下文语义进行建模；其次，通过内部注意力层中的多层并行的多头自注意力捕获文本内部的长期依赖关系，从而获取全面的文本特征信息；再次，在外部注意力层中，将评论元数据中的总结信息通过多层次的注意力机制融入评论特征中，从而增强评论特征的情感信息和语义表达能力；最后，采用全局平均池化层和Softmax函数实现情感分类。在4个亚马逊评论数据集上的实验结果表明，与基线模型中表现最好的TE-GRU(Transformer Encoder with Gated Recurrent Unit)相比，所提模型在App、Kindle、Electronic和CD数据集上的情感分类准确率至少提升了0.36、0.34、0.58和0.66个百分点，验证了该模型能够进一步提高情感分类性能。     

基于关系特征交互的方面级情感分类方法

方面级情感分类是一项细粒度的情感分析任务,其目的是识别一句话中的方面词、观点项及其对应的情感极性。现有的方面级情感分类方法对模型的构建存在不足,难以有效利用句子中的依存关系信息,从而导致分类准确率较低。基于此,该文提出一种基于关系交互的图注意力网络模型。该模型首先利用单词之间的依存关系构建句法依存树,并使用双向门控循环单元提取句子上下文特征,然后将两者融入图注意力网络和关系感知网络中进行关系交互,以学习句子间的句法和语义信息,最后将关系的表征结果结合并输出方面词的情感类别(正面、负面、中性)。在四个公开数据集上的实验结果表明,该模型在方面级情感分类任务上充分挖掘并利用了文本的句法关系信息,进一步提升了情感分类的准确率。     

融合词信息嵌入的注意力自适应命名实体识别

缺少分词信息及未登录词、无关词干扰是字符级中文命名实体识别面临的主要问题，提出了融合词信息嵌入的注意力自适应中文命名实体识别模型，在新词发现的基础上，将字向量嵌入与词级信息嵌入融合作为模型输入，减少了未登录词对模型的影响，并增强了实体特征的显著性，使实体特征更容易被学习器获取；同时，在注意力机制中引入动态缩放因子，自适应地调整相关实体和无关词的注意力分布，一定程度上减小了无关词对模型的干扰。将该方法在公共数据集上进行实验，实验结果证明了方法的有效性。     

基于transformer的python命名实体识别模型

最近一些基于字符的命名实体识别（NER）模型无法充分利用词信息,而利用词信息的格子结构模型可能会退化为基于词的模型而出现分词错误。针对这些问题提出了一种基于transformer的python NER模型来编码字符-词信息。首先,将词信息与词开始或结束对应的字符绑定;然后,利用三种不同的策略,将词信息通过transformer编码为固定大小的表示;最后,使用条件随机场（CRF）解码,从而避免获取词边界信息带来的分词错误,并提升批量训练速度。在python数据集上的实验结果可以看出,所提模型的F1值比Lattice-LSTM模型高2.64个百分点,同时训练时间是对比模型的1/4左右,说明所提模型能够防止模型退化,提升批量训练速度,更好地识别python命名实体。     

基于多级多尺度特征提取的CNN-BiLSTM模型的中文情感分析

情感分析作为自然语言处理(NLP)的一个研究子领域，在舆情监测方面起着非常重要的作用。在中文情感分析任务中，已有方法仅从单极、单尺度来考虑情感特征，无法充分挖掘和利用情感特征信息，模型性能不理想。针对这一问题，提出了一种多级多尺度特征提取的CNN-BiLSTM模型。该模型首先利用预训练好的中文词向量模型并结合嵌入层微调来获取词级特征；然后利用多尺度短语级特征表征模块和句子级特征表征模块来分别获取短语级和句子级特征，在多尺度短语级特征表征模块中，使用具有不同卷积核尺寸的卷积网络来获取不同尺度的短语级特征；最后使用多级特征融合方法将词级特征、不同尺度的短语级特征以及句子级特征进行融合形成多级联合特征，与单极、单尺度特征相比，多级联合特征具有更多的情感信息。在实验中，使用Accuracy, Precision, Recall, F1这4个评估指标对模型性能进行评估，并与包括支持向量机(SVM)在内的8种方法进行比较。实验结果表明，所提方法在4个评估指标中的得分均优于8种对比方法，证明了所提模型在多级和多尺度特征提取上的优势。     

基于交互注意力机制的多模态情感识别算法

在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏.为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征.本方法在IEMOCAP数据集上的四类情感识别准确率相比现有文献有明显提升;在注意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法相比传统方法的优越性.     

基于多粒度图与注意力机制的半监督短文本分类

短文本语义稀疏模糊、蕴含信息不足、表达不规则等缺陷给短文本分类任务带来了极大的挑战,且现有短文本分类方法通常忽略词项间的交互信息,不能充分挖掘隐含的语义信息,导致分类效率低下。针对上述问题,提出一种基于多粒度图与注意力机制的半监督短文本分类模型MgGAt。该模型在词粒度和文本粒度基础上构建2种类型的图,通过充分挖掘语义信息完成分类任务。首先构建词级图,捕获词嵌入,进而学习得到文本特征表示。在词级图上引入跳内注意力和跳间注意力,从多种语义角度有效提取词项间隐含的高阶信息,捕获语义丰富的词嵌入。同时依据词级子图的特点设计池化策略,聚合词嵌入,学习文本表征。其次构建文本级图,借助部分已知的标签信息,利用图神经网络的优势,在图上执行标签传播和推理,完成半监督短文本分类任务。在4个公开数据集上的实验结果表明,与基线模型相比,MgGAt模型的短文本分类精确率平均提升了1.18个百分点,F1值平均提升了1.37个百分点,具有更好的分类性能。     

基于动态注意力和多角度匹配的答案选择模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配（DAMPM）的答案选择模型。首先,调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联。在文本检索会议问答（TRECQA）数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络（DCAN）方法相比,DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6个百分点。在维基百科问答（WikiQA）数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点。所提DAMPM相较于基线模型中的方法整体上有更好的性能表现。     

基于异核卷积双注意机制的立场检测研究

针对当前立场检测任务中目标短语在文本中隐式出现导致分类效果差的问题,提出一种基于异核卷积双注意机制（HCDAM）的立场检测模型。采用三段式策略,为提高目标短语和文本的特征表示能力,采用Bert预训练模型获得基于字符级的包含上下文的词向量表示;为提高隐式目标短语的抽取能力,采取异核卷积注意模式获取含不同位置和语义信息的卷积特征;通过再注意力机制利用显隐式目标短语对文本进行立场信息特征抽取,通过softmax分类器进行分类。基于NLPCC语料的实验结果表明,通过采用异核卷积双注意策略,相比Bert-Condition-CNN模型,在总数据集上平均分类准确率提高了0.108,在5个话题上分类准确率分别提高了0.146、0.046、0.133、0.047、0.056。     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

嵌入不同邻域表征的方面级情感分析模型

方面级情感分析（ABSA）任务旨在识别特定方面的情感极性,然而现有的相关模型对结构不定的自然语句缺少对方面词上下文的短距离约束,且容易忽略句法关系,因而难以准确判定方面的情感极性。针对上述问题,提出嵌入不同邻域表征（EDNR）的ABSA模型。在该模型中,在获得句子语序信息的基础上,采用近邻策略并结合卷积神经网络（CNN）获取方面的邻域信息,减少较远无关信息对模型的影响;同时,引入语句的语法信息,增加单词之间的依赖关系;将上述两种特征融合后,使用Mask与注意力机制来特别关注方面信息,减少无用信息对情感分析模型的干扰。此外,为评价上下文和语法信息对情感极性的影响程度,提出一个信息评估系数。在5个公共数据集上进行实验的结果表明,与情感分析模型聚合图卷积网络-最大值函数（AGCN-MAX）相比,EDNR模型在数据集14Lap上的正确率和F1值分别提升了2.47和2.83个百分点。由此可见,EDNR模型可以有效捕获情感特征,提高分类性能。     

融合情感词典与上下文语言模型的文本情感分析

词嵌入技术在文本情感分析中发挥着重要的作用,但是传统的Word2Vec、GloVe等词嵌入技术会产生语义单一的问题。针对上述问题提出了一种融合情感词典与上下文语言模型ELMo的文本情感分析模型SLP-ELMo。首先,利用情感词典对句子中的单词进行筛选;其次,将筛选出的单词输入字符卷积神经网络（char-CNN）,从而产生每个单词的字符向量;然后,将字符向量输入ELMo模型进行训练;此外,在ELMo向量的最后一层加入了注意力机制,以便更好地训练词向量;最后,将词向量与ELMo向量并行融合并输入分类器进行文本情感分类。与现有的多个模型对比,所提模型在IMDB和SST-2这两个数据集上均得到了更高的准确率,验证了模型的有效性。     

融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

基于模板匹配的快速语音关键词检出方法

在缺乏训练样本的情况下对语音信号进行关键词检出,基于模板匹配的方法与传统的方法相比,仍然能够对语音进行关键词检出。但是由于模板匹配方法计算局部最小距离的方式是逐帧移动,所以计算时间长。局部最小距离的极值点通常在音素分割点附近,利用这两者的位置关系并结合插值思想,提出一种快速的模板匹配方法。该方法通过在音素分割点之间插值计算局部最小距离,能够有效地缩短计算时间。在TIMIT和CASIA语料库中进行实验,改进的方法与常规的模板匹配方法相比较,快了约2.8倍。     

一种扩展式CRFs的短语情感倾向性分析方法研究

短语情感倾向性分析是文本情感分析的重要研究内容。该文将短语情感倾向性分析问题视作序列标注问题,利用条件随机场模型实现短语的情感倾向性判断。条件随机场模型是利用序列特征处理序列标注问题的经典方法,然而现有条件随机场模型无法将词语的情感倾向性分析与短语的情感倾向性分析相结合,从而造成准确率不高。因此,该文提出一种扩展式条件随机场模型YACRFs。该模型在链式条件随机场模型的基础上进行扩充,将词语情感倾向性分析与短语情感倾向性分析有效地结合起来,引入了情感词汇、短语规则模板以及词性等特征。与传统的规则方法和统计分类方法进行对比实验,该文提出方法取得了最高准确率81.07%。进一步地,在应用于句子情感倾向性分析的实验中得到了94.30%的准确率。实验结果表明,该文所提出的YACRFs模型能够显著提高短语情感倾向性判断结果的准确率。     

融合语料库特征与图注意力网络的短文本分类方法

短文本分类是自然语言处理（NLP）中的重要研究问题,广泛应用于新闻分类、情感分析、评论分析等领域。针对短文本分类中存在的数据稀疏性问题,通过引入语料库的节点和边权值特征,基于图注意力网络（GAT）,提出了一个融合节点和边权值特征的图注意力网络NE-GAT。首先,针对每个语料库构建异构图,利用引力模型（GM）评估单词节点的重要性,并通过节点间的点互信息（PMI）获得边权重;其次,为每个句子构建文本级别图,并将节点重要性和边权重融入节点更新过程。实验结果表明,所提模型在测试集上的平均准确率达到了75.48%,优于用于文本分类的图卷积网络（Text-GCN）、TL-GNN、Text-ING等模型;相较原始GAT,所提模型的平均准确率提升了2.32个百分点,验证了其有效性。     

基于语义网的高效信息查询方法

为了提高Web信息检索的准确率,提出一种基于语义网的高效信息查询方法。首先从本体库中提取目标资源与查询关键字之间的语义路径,通过分析语义路径所包含的属性的权重和识别能力,分别计算每个语义路径的权重;然后,根据资源与查询关键字之间的语义路径的权重、数量和特异性,分别计算每个资源与各关键字之间的语义相关性,并结合关键字的涵盖范围和识别能力综合计算每个资源与关键字集之间的语义相关性;最后,以该相关性为依据对所有资源进行排序和输出。实验结果表明,与OntoLook、tf*idf和TMSubtree三种语义网查询算法相比,基于语义网的高效信息查询方法的平均正确率分别提高了69.0、25.0和21.0个百分点;平均召回率分别提高了77.1、28.3和24.3个百分点;平均F测度值分别提高了72.4、26.4和22.4个百分点。实验结果表明:该方法不仅能够有效提升语义查询的准确率,而且对隐性信息也有很好的查询效果。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

融合语法规则的双通道中文情感模型分析

针对使用中文文本进行情感分析时,忽略语法规会降低分类准确率的问题,提出一种融合语法规则的双通道中文情感分类模型CB_Rule.首先设计语法规则提取出情感倾向更加明确的信息,再利用卷积神经网络(CNN)的局部感知特点提取出语义特征;然后考虑到规则处理时可能忽略上下文的问题,使用双向长短时记忆(Bi-LSTM)网络提取包含...     

基于双重检测的气门识别方法

针对目前工业中的气门识别方法存在重叠目标漏检率高、检测精度较低、目标包裹度差、圆心定位不准的问题,提出了一种基于双重检测的气门识别方法.首先,运用数据增强对样本进行轻量扩充;其次,以深度卷积网络为基础,加入空间金字塔池化层(SPP)和路径聚合网络(PAN),同时调整先验框,改进损失函数,从而提取气门预测框;最后,以霍夫...