双分支多注意力机制的锐度感知分类网络

基于卷积神经网络的图像分类方法的关键是提取有区分性的重点特征.为了提高重点特征的关注度，增强网络泛化能力，文中提出双分支多注意力机制的锐度感知分类网络(Double-Branch Multi-attention Mechanism Based Sharpness-Aware Classification Network, DAMSNet).该网络以ResNet-34残差网络为基础，首先，修改ResNet-34残差网络输入层卷积核尺寸，删除最大池化层，减小原始图像特征的损失.再者，提出双分支多注意力机制模块，嵌入残差分支中，从全局特征和局部特征上提取图像在通道域和空间域的上下文信息.然后，引入锐度感知最小化算法，结合随机梯度下降优化器，同时最小化损失值和损失锐度，寻找具有一致低损失的邻域参数，提高网络泛化能力.在CIFAR-10、CIFAR-100、SVHN数据集上的实验表明，文中网络不仅具有较高的分类精度，而且有效提升泛化能力.     

基于上下文感知的方面类别情感分类

由于一个评论往往会涉及多种方面类别及情感倾向,而传统注意力机制难以区分方面词和情感词的对应关系,从而影响评论同时存在多种方面类别时的情感极性分析.为了解决上述问题,提出了一种基于上下文感知的方面类别情感分类模型(MA-DSA).该模型通过重构方面向量捕获句子中更多样且有效的语义特征,并将其融入上下文向量,然后将上下文向量通过DiSA模块进一步捕捉句子内部情感特征,确定方面词与情感词的关系,进而对指定方面类别进行情感分类.在SemEval的三个数据集上的实验结果表明,MA-DSA模型在Restaurant-2014数据集上的三个指标值均优于基准模型,证明了该模型的有效性.     

基于层级注意力模型的无监督文档表示学习

许多自然语言应用需要将输入的文本表示成一个固定长度的向量,现有的技术如词嵌入（Word Embeddings）和文档表示（Document Representation）为自然语言任务提供特征表示,但是它们没有考虑句子中每个单词的重要性差别,同时也忽略一个句子在一篇文档中的重要性差别.本文提出一个基于层级注意力机制的文档表示模型（HADR）,而且考虑文档中重要的句子和句子中重要的单词因素.实验结果表明,在考虑了单词的重要和句子重要性的文档表示具有更好的性能.该模型在文档（IMBD）的情感分类上的正确率高于Doc2Vec和Word2Vec模型.     

结合多头注意力机制的旅游问句分类研究

旅游问句具有长度较短,不严格按照语法规则的特点,导致该文本数据信息容量过少、口语化严重。充分理解问句表达的语义是提高旅游问句分类器性能面临的重要挑战,基于此,提出一个融合Bi-GRU、CNN与MultiHead-Attention的旅游问句分类模型。该模型将预先训练的词向量和经Bi-GRU处理得到的语义信息进行融合,进行问句依赖关系学习,通过CNN和Multi-Head-Attention进行特征提取,以加强局部特征的学习,通过Softmax完成分类。实验结果表明,该模型在文本信息少、表述不规范的旅游问句分类任务中F1值达到了92.11%,优于现有的主流分类模型。     

上下文感知的树递归神经网络下隐式情感分析

针对现有的序列化模型对中文隐式情感分析中特征信息提取不准确以及对篇章级的文本信息提取存在的梯度爆炸或者梯度消失的问题,提出了双向长短时神经网络和上下文感知的树形递归神经网络(context-aware tree recurrent neutral network,CA-TRNN)的并行混合模型.该模型分别利用双向循环长...     

基于上下文门控残差和多尺度注意力的图像重照明网络

图像重照明普遍应用于图像编辑和数据增强等任务。现有图像重照明方法去除和重建复杂场景下的阴影时，存在阴影形状估计不准确、物体纹理模糊和结构变形等缺陷。针对以上问题，提出了基于上下文门控残差和多尺度注意力的图像重照明网络。上下文门控残差通过聚合局部和全局的空间上下文信息获取像素的长程依赖，保持阴影方向和照明方向的一致性。此外，利用门控机制有效提高网络对纹理和结构的恢复能力。多尺度注意力通过迭代提取和聚合不同尺度的特征，在不损失分辨率的基础上增大感受野，它通过串联通道注意力和空间注意力激活图像中重要的特征，并抑制无关特征的响应。文中还提出了照明梯度损失，它通过有效学习各方向照明梯度，获得了视觉感知效果更好的图像。实验结果表明，与现有的最优方法相比，所提方法在PSNR指标和SSIM指标上分别提升了7.47%和12.37%。     

基于局部注意力机制的弱监督长文档分类

自然语言处理中的文档分类任务需要模型从低层级词向量中抽取高层级特征.通常,深度神经网络的特征抽取会利用文档中所有词语,这种做法不能很好适应内容较长的文档.此外,训练深度神经网络需要大量标记数据,在弱监督情况下往往不能取得良好效果.为迎接这些挑战,本研究提出应对弱监督长文档分类的方法.一方面,利用少量种子信息生成伪文档以增强训练数据,应对缺乏标记数据造成的精度难以提升的局面.另一方面,使用循环局部注意力学习,仅基于若干文档片段抽取出摘要特征,就足以支撑后续类别预测,提高模型的速度和精度.实验表明,本研究提出的伪文档生成模型确实能够增强训练数据,对预测精度的提升在弱监督情况下尤为显著;同时,基于局部注意力机制的长文档分类模型在预测精度上显著高于基准模型,处理速度也表现优异,具有实际应用价值.     

融合知识图谱与注意力机制的短文本分类模型

针对短文本缺乏上下文信息导致的语义模糊问题,构建一种融合知识图谱和注意力机制的神经网络模型。借助现有知识库获取短文本相关的概念集,以获得短文本相关先验知识,弥补短文本缺乏上下文信息的不足。将字符向量、词向量以及短文本的概念集作为模型的输入,运用编码器-解码器模型对短文本与概念集进行编码,利用注意力机制计算每个概念权重值,减小无关噪声概念对短文本分类的影响,在此基础上通过双向门控循环单元编码短文本输入序列,获取短文本分类特征,从而更准确地进行短文本分类。实验结果表明,该模型在AGNews、Ohsumed和TagMyNews短文本数据集上的准确率分别达到73.95%、40.69%和63.10%,具有较好的分类能力。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

基于视觉关联与上下文双注意力的图像描述生成方法

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,本文提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法（visual relevance and context dual attention,简称VRCDA）.视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明本文所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.     

基于门控图注意力网络的归纳式文本分类

为了有效地整合文本中的复杂特征和提取不同的上下文信息,提出了基于门控图注意力网络的归纳式文本分类方法 (TextIGAT).该方法首先为语料库中的每个文档进行单独构图,并将其中所有的单词作为图中的节点,以此保留完整的文本序列.文本图中设计单向连接的文档节点,使词节点能与全局信息交互,并合并不同的上下文关系连接词节点,从而在单个文本图中引入更多的文本信息.然后,方法基于图注意力网络(GAT)和门控循环单元(GRU)来更新词节点的表示,并根据图中保留的文本序列应用双向门控循环单元(Bi-GRU)来增强节点的顺序表示. TextIGAT能灵活地整合来自文本本身的信息,因此能对包含新词和关系的文本进行归纳式学习.在4个基准数据集(MR、Ohsumed、R8、R52)上的大量实验和详细分析表明了所提出的方法在文本分类任务上的有效性.     

基于层次模型和注意力机制的文本分类算法

文本分类一直是自然语言处理任务的研究重点与热点,且被广泛应用到诸多实践领域。首先,该文针对文本分类过程中缺乏层次结构特征的问题,对NMF-SVM分类方法进行优化,利用优化后的分类标签构建树形层次模型,从特征树中提取层次特征;其次,针对关键词与非关键词对分类结果影响程度不同的问题,提出SEAN注意力机制,通过对时间、地点、人物和事件四要素的提取,得到不同词之间的注意力;最后,针对句子间亲和度不同的问题,考虑不同句子的四要素词和语义层面的影响提出句间亲和度计算模型。该文算法适用于四要素突出的数据集,如新闻、小说、阅读理解、微博,在新闻类数据集上与同类别的深度学习文本分类模型以及包含注意力机制的混合模型进行了对比,实验结果表明,该算法在分类效果上具有一定优势。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息。提出一种基于注意力交互机制的层次网络（HNAIM）模型。该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征。最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利用层次网络输出的针对用户或产品的关键文本特征进行训练和分类。三个公开数据集上对比结果表明,该模型较相关模型而言效果均有提升。     

面向文本结构的混合分层注意力网络的话题归类

针对目前话题归类模型中文本逻辑结构特征与文本组织结构特征利用不充分的问题,该文提出一种面向文本结构的混合分层注意力网络的话题归类模型(TSOHHAN)。文本结构包括逻辑结构和组织结构,文本的逻辑结构包括标题和正文等信息;文本的组织结构包括字—词语—句层次。TSOHHAN模型采用竞争机制融合标题和正文以增强文本逻辑结构特征在话题归类中的作用;同时该模型采用字-词语-句层次的注意力机制增强文本组织结构特征在话题归类中的作用。在4个标准数据集上的实验结果表明,TSOHHAN模型能够提高话题归类任务的准确率。     

多神经网络协作的电力文本类型识别

电力企业为实现数字资产管理, 提高行业运行效率, 促进电力信息化的融合, 需要实施有效的数据组织管理方法. 针对电力行业中的数据, 提出了基于字级别特征的高效文本类型识别模型. 在该模型中, 将字符通过BERT预训练模型生成电力客服文本动态的高效字向量, 字向量序列输入利用融合注意力机制的双向长短期记忆网络(BiLSTM), 通过注意力机制有效捕捉文本中帮助实现类型识别的潜在特征, 最终利用Softmax层实现对电力文本的类型识别任务. 本文提出的模型在电力客服文本数据集上达到了98.81%的准确率, 优于CNN, BiLSTM等传统神经网络识别方法, 增强了BERT模型的应用, 并有效解决了电力文本类型识别任务中语义的长距离依赖问题.     

基于依存树及距离注意力的句子属性情感分类

目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency tree and distance attention, DTDA).首先根据句子的依存树得到包含属性的依存子树,并利用双向GRU学习句子及属性的上下文特征表示;根据句子中单词和属性在依存树中的最短路径确定相应的语法距离及位置权重,同时结合相对距离构造包含语义信息和距离信息的句子特征表示,并进一步利用注意力机制生成属性相关的句子情感特征表示;最后,将句子的上下文信息与属性相关的情感特征表示合并后并通过softmax进行分类输出.实验结果表明：DTDA在国际语义评测SemEval2014的2个基准数据集Laptop和Restaurant上取得与目前最好方法相当的结果.当使用相关领域训练的词向量时,DTDA在Laptop上的精确率为77.01%,在Restaurant上的准确率为81.68%.     

融合BERT词嵌入和注意力机制的中文文本分类

文本分类是自然语言处理的一个重要领域.近年来,深度学习的方法被广泛应用于文本分类任务中.在处理大规模的数据时,为了兼顾分类的精度和处理效率,本文使用BERT训练词向量作为嵌入层,进一步优化输入语句的词向量,然后用双层的GRU网络作为主体网络,充分提取文本的上下文特征,最后使用注意力机制,将目标语句重点突出,进行文本分类...     

基于图模型的文本分类方法的研究

图模型是文本分类中一种比较新的方法,它可以很好地表达词与词之间的关联信息,弥补了传统的以向量空间为基础的文本分类方法的不足。本文介绍了图模型的定义、权值的计算、图的建立方法及分类方法。实验表明,这种方法是有效可行的。