融合BERT和图注意力网络的多标签文本分类

多标签文本分类问题是多标签分类的重要分支之一,现有的方法往往忽视了标签之间的关系,难以有效利用标签之间存在着的相关性,从而影响分类效果.基于此,本文提出一种融合BERT和图注意力网络的模型HBGA(hybrid BERT and graph attention):首先,利用BERT获得输入文本的上下文向量表示,然后用Bi-LSTM和胶囊网络分别提取文本全局特征和局部特征,通过特征融合方法构建文本特征向量,同时,通过图来建模标签之间的相关性,用图中的节点表示标签的词嵌入,通过图注意力网络将这些标签向量映射到一组相互依赖的分类器中,最后,将分类器应用到特征提取模块获得的文本特征进行端到端的训练,综合分类器和特征信息得到最终的预测结果.在Reuters-21578和AAPD两个数据集上面进行了对比实验,实验结果表明,本文模型在多标签文本分类任务上得到了有效的提升.     

一种基于BERT的自动文本摘要模型构建方法

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。     

基于图的多层次注意力事实验证算法

事实验证任务要求能够从大规模的文本语料库中抽取相关的证据,并通过推理对给定的声明得出事实性的判断.现有的研究通常将检索到的证据拼接,然后比较声明和证据嵌入的余弦相似度,这些方法忽视了长距离证据之间的联系,以及不同层次的语义相似度,而这些特征对于推理验证至关重要.设计了一种基于图的多层次注意力模型(Graph-aware...     

基于FA-TR模型的中文文本摘要生成

针对传统文本生成摘要方法在生成摘要时存在并行能力不足以及事实性错误问题,提出在Transformer框架基础上引入事实感知的FA-T R模型.提取源文本的事实性描述信息,对该信息进行编码后与源文信息编码相融合,加入源文的位置编码一起作为编码器的输入,通过解码器对语义向量进行解码生成目标摘要.该模型改善了生成的摘要歪曲或捏造源文本事实的现象,提高了摘要质量.通过在中文短文本摘要数据集LCSTS实验,采用ROUGE作为评价指标,与其它4种方法进行实验对比与分析,验证了该模型的可行性和算法的有效性.     

基于BERT与图像自注意力机制的文本匹配模型

为了提高文本匹配的准确率,针对BERT（Bidirectional Encoder Representations from Transformers）模型和MatchPyramid模型在文本匹配中存在的局限性,提出一种基于BERT与图像自注意力机制的文本匹配模型。首先,利用BERT模型将一对文本编码为单词级别的特征向量。其次,根据词向量构建2段文本之间的词与词相似性的匹配矩阵,并将其视为单通道的图像表示。然后,通过图像的自注意力机制生成匹配矩阵的自注意力特征矩阵。最后,将匹配矩阵与自注意力特征矩阵连接为多通道,利用卷积神经网络捕获图像中的文本匹配信号,并将匹配信号与BERT模型输出的［CLS］编码向量连接后,输入全连接层得到2段文本的相似度。实验结果表明,该模型在WikiQA数据集上相比于BERT模型、MatchPyramid模型和其他文本匹配模型,可以有效地提高MAP和ＭRR衡量指标,验证了该模型的有效性。     

基于词性软模板注意力机制的短文本自动摘要方法

任务中,带有直观主谓宾结构的摘要句语义完整性较强,但词性组合对该结构具有约束作用.为此文中提出基于词性软模板注意力机制的短文本自动摘要方法.首先对文本进行词性标记,将标记的词性序列视为文本的词性软模板,指导方法构造摘要句的结构规范,在编码端实现词性软模板的表征.再引入词性软模板注意力机制,增强对文中核心词性(如名词、动词等)的关注.最后在解码端联合词性软模板注意力与传统注意力,产生摘要句.在短文本摘要数据集上的实验验证文中方法的有效性.     

融合流注意力机制的中文摘要生成方法

针对现有文本摘要生成方法对源文全局语义信息提取不充分问题,提出了一种融合流注意力机制的并行编码器摘要生成算法模型.首先使用单颗粒的分词方法对源文进行分词;然后在编码阶段引入多头流注意力机制,从而更全面地提取源文的全局语义信息;其次运用并行编码器训练模型,使得输入序列中语义信息获得更大权重;最后将编码得到的全局语义信息送入到融合指针的解码器中,通过指针复制源文词汇,减少生成摘要中未登录词的出现,从而使得解码过程中生成的摘要更加全面准确地匹配源文语义.模型在CLTS和NLPCC两个数据集上进行实验,使用ROUGE-1、ROUGE-2和ROUGE-L作为评价指标.实验结果显示,与基准模型相比在CLTS数据集上分别有2.62%、1.44%和0.87%的提升,在NLPCC数据集上分别有2.82%、1.84%和1.64%的提升,表明所提算法模型在中文摘要生成任务上更加有效.     

DAPC：结合双注意力和指针覆盖的文本摘要模型

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC（Dual Attention and Pointer-Coverage based model）模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。     

结合多粒度信息的文本匹配融合模型

常规的文本匹配模型大致分为基于表示的文本匹配模型和基于交互的文本匹配模型.由于基于表示的文本匹配模型容易失去语义焦点,而基于交互的文本匹配模型会忽视全局信息,文中提出了结合多粒度信息的文本匹配融合模型.该模型通过交互注意力和表示注意力将两种文本匹配模型进行了融合,然后利用卷积神经网络提取了文本中存在的多个不同级别的粒度...     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

基于层次混合注意力机制的文本分类模型

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制....     

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足：一是不能较好地对文本特征进行提取;二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题,提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵,然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础,同时利用最大池化提取句子特定的目标向量,使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示,并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示,然后将其与文本的特征信息进行交互、融合,以减少原有特征损失,得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明,该模型的分类准确率明显优于其它主流基线模型的。     

融合上下文信息和关键信息的文本摘要

文本摘要的一个迫切需要解决的问题是如何准确地概括文本的核心内容.目前文本摘要的主要方法是使用编码器-解码器架构,在解码过程中利用软注意力获取所需的上下文语义信息.但是,由于编码器有时候会编码过多的信息,所以生成的摘要不一定会概括源文本的核心内容.为此,该文提出一种基于双注意指针网络的文本摘要模型.首先,该模型使用了双注...     

基于Graph Attention的双通道中文文本摘要生成

传统的中文生成式摘要方法未充分考虑中文文本字特征和词特征之间的不同含义,容易对原文内容的信息做出错误理解。提出一种基于Graph Attention的双通道中文文本摘要生成方法,采用双通道的编码器结构分别提取文本的字级和词级特征,并通过Graph Attention提取文本对应的三元组集合特征,进行融合之后输入到带copy机制的解码端进行解码,从而提升原始文本的信息提取能力。对比实验结果表明,该方法在两个数据集上都有较好的表现。     

基于自注意力与指针网络的自动摘要模型

针对生成式摘要方法中的序列到序列模型存在准确率不高、 词语重复、 训练时间长等问题,提出一个改进的模型.引入自注意力机制替代原有循环神经网络和卷积神经网络,实现并行训练和损失函数值的快速下降与稳定,减少训练时间;引入指针网络解决未登录词问题,将未登录词直接扩展到字典中,实现将未登录词从输入序列复制到生成序列中;引入输入...     

结合注意力与卷积神经网络的中文摘要研究

目前深度学习已经广泛应用于英文文本摘要领域，但是在中文文本摘要领域极少使用该方法进行研究。另外，在文本摘要领域主要使用的模型是编码-解码模型，在编码时输入的是原始的文本信息，缺乏对文本高层次特征的利用，导致编码的信息不够充分，生成的摘要存在词语重复、语序混乱等问题。因此，提出一种局部注意力与卷积神经网络结合的具备高层次特征提取能力的编码-解码模型。模型通过局部注意力机制与卷积神经网络结合的方式提取文本的高层次的特征，将其作为编码器输入，此后通过基于全局注意力机制的解码器生成摘要。实验结果证明，在中文文本数据集上该模型相对于其他模型有着较好的摘要效果。     

基于图像-文本语义一致性的文本生成图像方法

近年来,以生成对抗网络（generative adversarial network, GAN）为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域. 文本生成图像方法旨在通过提取更具表征力的文本及图像特征,提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模,忽略了初始文本特征的局限性,且没有充分利用具有语义一致性的生成图像对文本特征的指导作用,因而降低了文本生成图像中文本信息的表征性. 其次,由于没有考虑到生成目标区域间的动态交互,生成网络只能粗略地划分目标区域,且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题,提出了一种基于图像-文本语义一致性的文本生成图像方法ITSC-GAN. 该模型首先设计了一个文本信息增强模块（text information enhancement module, TEM）,利用生成图像对文本信息进行增强,从而提高文本特征的表征能力.另外,该模型提出了一个图像区域注意力模块（image regional attention module, IRAM）,通过挖掘图像子区域之间的关系,增强图像特征的表征能力. 通过联合利用这2个模块,使得图像局部特征与文本语义标签之间具有更高的一致性. 最后,该模型使用生成器与判别器损失函数作为约束,以提升生成图像的质量,促进图像与文本描述的语义一致. 实验结果表明,在CUB数据集上,与当前主流方法AttnGAN模型相比,ITSC-GAN模型的IS（inception score）指标增长了约7.42%,FID（Fréchet inception distance）减少了约28.76%,R-precision增加了约14.95%. 大量实验结果充分验证了ITSC-GAN模型的有效性及优越性.

     

基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。