融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

融合自注意力机制的诈骗电话分类模型

提出一种基于融合自注意力机制和卷积神经网络的诈骗电话识别模型CNN-SA(CNN-Self Attention Mechanism),采用卷积神经网络捕捉序列的局部特征,自注意力机制为每个单词分配一个权重,进一步获取句子的内部依赖关系,提高分类准确率。在电话文本数据集上的实验结果表明,所提模型的准确率可达92%,与单一的TextCNN模型相比,在精确率、召回率、F1值指标上分别有1.52%、1.75%、1.77%的提升。     

融合语义增强的中文短文本分类方法研究

中文短文本具有长度短以及上下文依赖强的特点。目前主流的基于词向量的双向循环神经网络分类方法依赖于词向量语义表达以及上下文特征提取能力,其分类准确率有待进一步改善。针对此问题,论文提出融合语义增强的中文短文本分类方法,该方法提出融合语义增强的思想,在词向量表示阶段,引入Bert生成融合字、文本以及位置的向量作为训练文本的词表征进行文本语义增强,接着输送到Bi-GRU网络中提取上下文关系特征,并通过多头注意力机制调整权值强化重要特征表达,最后使用softmax分类器进行文本分类。通过与其他主流方法进行对比论证,实验表明,论文提出的方法在短文本分类效果上有显著提升。     

用于短文本情感分类的多头注意力记忆网络

随着社交网络的发展,对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类,短文本情感分类需要挖掘隐含的情感语义特征,具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征,提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先,利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进,以对文本上下文内联关系进行充分提取,使模型可以获得更丰富的文本特征信息。然后,利用多头注意力机制对多跳记忆网络的结构进行优化,使得在拓展模型深度的同时,挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明,与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比,所提MAMN取得了较优的分类效果,验证了多跳结构对于性能改善的重要作用。     

融合多头自注意力机制的无接触心率估计模型

为了在光照变化和头部运动条件下实现准确稳定的无接触心率估计,基于U-Net模型提出一种融合多头自注意力机制的端到端心率估计模型rPPG-UNet。该模型通过使用U型编码器—解码器网络结构实现对生理特征的提取与重建,并使用Skip Connection连接编码器与解码器实现浅层时间特征的复用。该模型还融合多头自注意力机制来捕获生理特征的时间依赖性。最后,该模型采用多任务学习策略以提高心率估计的准确度,加速网络训练。在公开数据集上的实验结果表明,rPPG-UNet的性能优于其他基线模型,可以实现更准确的无接触心率估计。     

局部语义与上下文关系的中文短文本分类算法

短文本通常是由几个到几十个词组成,长度短、特征稀疏,导致短文本分类的准确率难以提升。为了解决此问题,提出了一种基于局部语义特征与上下文关系融合的中文短文本分类算法,称为Bi-LSTM_CNN_AT,该算法利用CNN提取文本的局部语义特征,利用Bi-LSTM提取文本的上下文语义特征,并结合注意力机制,使得Bi-LSTM_CNN_AT模型能从众多的特征中提取出和当前任务最相关的特征,更好地进行文本分类。实验结果表明,Bi-LSTM_CNN_AT模型在NLP＆CC2017的新闻标题分类数据集18个类别中的分类准确率为81.31%,比单通道的CNN模型提高2.02%,比单通道的Bi-LSTM模型提高1.77%。     

面向文本分类的多头注意力池化RCNN模型

针对经典循环卷积神经网络(RCNN)在池化层采用的最大池化策略较为单一,会忽略除最突出特征外的其他特征,影响分类精度的问题,提出基于多头注意力池化的循环卷积神经网络(MHAP-RCNN)模型.多头注意力池化可以充分考虑各特征对分类的贡献,且能在训练过程中动态优化,有效缓解最大池化的单一性问题.在三个公开的文本分类数据集...     

基于局部注意力机制的中文短文本实体链接

实体链接是加强语义理解和连接知识信息与文本的有效方法,但目前多数模型对上下文语境的精准理解受限于文本长度,面向短文本的实体链接任务存在实体边界识别错误和实体语义理解错误的问题。针对中文短文本的实体链接任务,构建基于局部注意力机制的实体链接模型。在实体消歧的过程中,通过对待消歧文本与实体的知识描述文本进行拼接,将短文本转换为长文本,同时引入局部注意力机制,缓解长距离依赖问题并强化局部的上下文信息。实验结果表明,相比于传统加入BIO标注方法的模型,该模型在CCKS2019和CCKS2020数据集上的F1值分别提升了4.41%和1.52%。     

融合多重注意力机制的卷积神经网络文本分类设计与实现

针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类....     

基于CP-CNN的中文短文本分类研究*

短文本具有长度短、特征稀疏以及上下文依赖强等特点,传统方法对其直接进行分类精度有限。针对上述问题,提出了一种结合字符和词的双输入卷积神经网络模型CP-CNN。该模型通过加入一种用拼音序列表征字符级输入的方法,构建字符级和词级的双输入矩阵,并在采样层使用k-max采样方法,增强模型特征的表达能力。利用豆瓣电影评论数据集对该模型进行识别精度评估,实验结果表明,与传统分类模型和标准卷积神经网络模型相比,该模型可有效提高短文本分类效果。     

结合注意力机制的长文本分类方法

新闻文本常包含几十至几百条句子,因字符数多、包含较多与主题无关信息,影响分类性能。对此,提出了结合注意力机制的长文本分类方法。首先将文本的句子表示为段落向量,再构建段落向量与文本类别的神经网络注意力模型,用于计算句子的注意力,将句子注意力的均方差作为其对类别的贡献度,进行句子过滤,然后构建卷积神经网络（CNN）分类模型,分别将过滤后的文本及其注意力矩阵作为网络输入。模型用max pooling进行特征过滤,用随机dropout防止过拟合。实验在自然语言处理与中文计算（NLP&CC）评测2014的新闻分类数据集上进行。当过滤文本长度为过滤前文本的82.74%时,19类新闻的分类正确率为80.39%,比过滤前文本的分类正确率超出2.1%,表明结合注意力机制的句子过滤方法及分类模型,可在句子级信息过滤的同时提高长文本分类正确率。     

基于自注意力机制时频谱同源特征融合的鸟鸣声分类

目前深度学习模型大都难以应对复杂背景噪声下的鸟鸣声分类问题。考虑到鸟鸣声具有时域连续性、频域高低性特点,提出了一种利用同源谱图特征进行融合的模型用于复杂背景噪声下的鸟鸣声分类。首先,使用卷积神经网络（CNN）提取鸟鸣声梅尔时频谱特征;然后,使用特定的卷积以及下采样操作,将同一梅尔时频谱特征的时域和频域维度分别压缩至1,得到仅包含鸟鸣声高低特性的频域特征以及连续特性的时域特征。基于上述提取频域以及时域特征的操作,在时域和频域维度上同时对梅尔时频谱特征进行提取,得到具有连续性以及高低特性的时频域特征。然后,将自注意力机制分别用于得到的时域、频域、时频域特征以加强其各自拥有的特性。最后,将这三类同源谱图特征决策融合后的结果用于鸟鸣声分类。所提模型用于Xeno-canto网站的8种鸟类音频分类,并在分类对比实验中取得了平均精确率（MAP）为0.939的较好结果。实验结果表明该模型能应对复杂背景噪声下的鸟鸣声分类效果较差的问题。     

CNN-BiGRU网络中引入注意力机制的中文文本情感分析

传统卷积神经网络（CNN）中同层神经元之间信息不能互传，无法充分利用同一层次上的特征信息，缺乏句子体系特征的表示，从而限制了模型的特征学习能力，影响文本分类效果。针对这个问题，提出基于CNN-BiGRU联合网络引入注意力机制的模型，采用CNN-BiGRU联合网络进行特征学习。首先利用CNN提取深层次短语特征，然后利用双向门限循环神经网络（BiGRU）进行序列化信息学习以得到句子体系的特征和加强CNN池化层特征的联系，最后通过增加注意力机制对隐藏状态加权计算以完成有效特征筛选。在数据集上进行的多组对比实验结果表明，该方法取得了91.93%的F1值，有效地提高了文本分类的准确率，时间代价小，具有很好的应用能力。     

基于时序和上下文特征的中文隐式情感分类模型

对社交网络上的海量文本信息进行情感分析可以更好地挖掘网民行为规律,从而帮助决策机构了解舆情倾向以及帮助商家改善服务质量。由于不存在关键情感特征、表达载体形式和文化习俗等因素的影响,中文隐式情感分类任务比其他语言更加困难。已有的中文隐式情感分类方法以卷积神经网络（CNN）为主,这些方法存在着无法获取词语的时序信息和在隐式情感判别中未合理利用上下文情感特征的缺陷。为了解决以上问题,采用门控卷积神经网络（GCNN）提取隐式情感句的局部重要信息,采用门控循环单元（GRU）网络增强特征的时序信息;而在隐式情感句的上下文特征处理上,采用双向门控循环单元（BiGRU）+注意力机制（Attention）的组合提取重要情感特征;在获得两种特征后,通过融合层将上下文重要特征融入到隐式情感判别中;最后得到的融合时序和上下文特征的中文隐式情感分类模型被命名为GGBA。在隐式情感分析评测数据集上进行实验,结果表明所提出的GGBA模型在宏平均准确率上比普通的文本CNN即TextCNN提高了3.72%、比GRU提高了2.57%、比中断循环神经网络（DRNN）提高了1.90%,由此可见, GGBA模型在隐式情感分析任务中比基础模型获得了更好的分类性能。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于多头注意力机制的端到端语音情感识别

针对语音情感数据集规模小且数据维度高的特点,为解决传统循环神经网络（RNN）长程依赖消失和卷积神经网络（CNN）关注局部信息导致输入序列内部各帧之间潜在关系没有被充分挖掘的问题,提出一个基于多头注意力（MHA）和支持向量机（SVM）的神经网络MHA-SVM用于语音情感识别（SER）。首先将原始音频数据输入MHA网络来训练MHA的参数并得到MHA的分类结果;然后将原始音频数据再次输入到预训练好的MHA中用于提取特征;最后通过全连接层后使用SVM对得到的特征进行分类获得MHA-SVM的分类结果。充分评估MHA模块中头数和层数对实验结果的影响后,发现MHA-SVM在IEMOCAP数据集上的识别准确率最高达到69.6%。实验结果表明同基于RNN和CNN的模型相比,基于MHA机制的端到端模型更适合处理SER任务。     

结合语义扩展和卷积神经网络的中文短文本分类方法

中文新闻标题通常包含一个或几十个词,由于字符数少、特征稀疏,在分类问题中难以提升正确率。为解决此问题,提出了基于Word Embedding的文本语义扩展方法。首先,将新闻标题扩展为（标题、副标题、主题词）构成的三元组,用标题的同义词结合词性过滤方法构造副标题,对多尺度滑动窗口内的词进行语义组合,提取主题词;然后,针对扩展文本构造卷积神经网络（CNN）分类模型,该模型通过max pooling及随机dropout进行特征过滤及防止过拟合;最后,将标题、副标题拼接为双词表示,与多主题词集分别作为模型的输入。在2017自然语言处理与中文计算评测（NLP&CC2017）的新闻标题分类数据集上进行实验。实验结果表明,用三元组扩展结合相应的CNN模型在18个类别新闻标题上分类的正确率为79.42%,比未经扩展的CNN模型提高了9.5%,且主题词扩展加快了模型的收敛速度,验证了三元组扩展方法及所构建CNN分类模型的有效性。     

基于门控机制和卷积神经网络的中文文本情感分析模型

针对中文数据的特殊性导致判别时容易产生噪声信息,使用传统卷积神经网络（CNN）无法深度挖掘情感特征信息等问题,提出了一种结合情感词典的双输入通道门控卷积神经网络（DC-GCNN-SL）模型。首先,使用情感词典的词语情感分数对句子中的词语进行标记,从而使网络获取情感先验知识,并在训练过程中有效地去除了输入句子的噪声信息;然后,在捕获句子深度情感特征时,提出了基于GTRU的门控机制,并通过两个输入通道的文本卷积运算实现两种特征的融合,控制信息传递,有效地得到了更丰富的隐藏信息;最后,通过softmax函数输出文本情感极性。在酒店评论数据集、外卖评论数据集和商品评论数据集上进行了实验。实验结果表明,与文本情感分析的其他模型相比,所提模型具有更好的准确率、精确率、召回率和F1值,能够有效地获取句子的情感特征。