基于改进TextRank的藏文抽取式摘要生成

目前,藏文抽取式文本摘要方法主要是提取文本自身的特征,对句子进行打分,不能挖掘句子中深层的语义信息。该文提出了一种改进的藏文抽取式摘要生成方法。该方法将外部语料库的信息以词向量的形式融入到TextRank算法,通过TextRank与词向量的结合,把句子中每个词语映射到高维词库形成句向量,进行迭代为句子打分,并选取分值最高的句子重新排序作为文本的摘要。实验结果表明,该方法能有效提升摘要质量。该文还在传统ROUGE评测方法的基础上,提出了一种采用句子语义相似度计算的方式进行摘要评测的方法。     

TSPT：基于预训练的三阶段复合式文本摘要模型

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可以生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型（TSPT）,结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。     

基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法

针对现有大多数面向查询的多文档抽取式摘要方法通常是将句子的内容显著性及查询相关性分开计算的，且对向量表示的建模不充分的问题，提出一种基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法.首先，通过训练层级BiGRU+Attention神经网络模型，获得具有丰富上下文语义信息的句子、文档向量表示；并在此过程中通过双线性变换注意力机制，使得文档向量表示不仅具有反映文档深层主旨信息的基本特性，还融入句子与用户查询的相关性信息，然后利用句向量与其进行相似度计算获得相应的句子重要性得分；其次，由句子重要性得分、句子中包含的关键词特征、句子的长度特征以及句子的时序权重系数加权组合得到最终的句子综合特征权重得分；最后，利用MMR算法来选择摘要句.实验结果表明，与其他方法相比本文提出的方法能在一定程度上提高面向查询的多文档抽取式摘要的质量，具有一定的有效性及优越性.     

案件要素异构图的舆情新闻抽取式摘要

是指从与司法案件相关的舆情信息中抽取与案件相关的句子作为摘要。在案件舆情文本中通常包含如涉案人员、案发地点等案件要素,这些案件要素对于摘要生成有着重要的指导意义。因此,针对案件舆情文本的特点,提出一种基于案件要素异构图的抽取式摘要模型。首先通过基于图注意力机制融入案件要素的方法,构建一个由句子节点、词节点和案件要素节点组成的异构图,来捕捉句子间的关联关系,最后对句子进行分类,生成摘要。在基于百度百科构建的案件舆情数据集上进行实验,结果表明,模型相比基于注意力机制融入案件要素的方法在ROUGE-L上取得14.22个百分点的提升。     

基于案件要素指导的涉案舆情新闻文本摘要方法

涉案舆情新闻文本摘要任务是从涉及特定案件的舆情新闻文本中,获取重要信息作为其简短摘要,因此对于相关人员快速掌控舆情态势具有重要作用。涉案舆情新闻文本摘要相比开放域文本摘要任务,通常涉及特定的案件要素,这些要素对摘要生成过程有重要的指导作用。因此,该文结合深度学习框架,提出了一种融入案件要素的涉案舆情新闻文本摘要方法。首先构建涉案舆情新闻摘要数据集并定义相关案件要素,然后通过注意力机制将案件要素信息融入新闻文本的词、句子双层编码过程中,生成带有案件要素信息的新闻文本表征,最后利用多特征分类层对句子进行分类。为了验证算法有效性,在构造的涉案舆情新闻摘要数据集上进行实验。实验结果表明,该方法相比基准模型取得了更好的效果,具有有效性和先进性。     

基于门控多层次注意机制的事件主体抽取

传统事件主体抽取方法着重依赖句子级信息进行抽取,不能完全解决事件的模糊性问题.提出一种基于门控多层次注意机制的ELMo-BiGRU深度学习模型对事件主体抽取进行研究.使用ELMo预训练模型生成上下文相关的动态词向量,在一定程度上缓解一词多义的问题;为了处理句子中存在事件模糊性的问题,采用门控多层次注意力机制动态融合每个词的句子级信息和文档级信息.实验结果表明,该方法的抽取效果明显优于传统抽取方法,可以有效解决事件主体抽取的问题.     

基于篇章主次关系的单文档抽取式摘要方法研究

抽取式自动文摘研究抽取文档中最能代表文档核心内容的句子作为摘要,篇章主次关系分析则是从篇章结构方面分析出篇章的主要内容和次要内容,因此,篇章主次关系分析和抽取式自动文摘存在较大关联,篇章主次关系可指导摘要的抽取。该文提出了一种基于篇章主次关系的单文档抽取式摘要方法,该方法基于神经网络模型构建了一个篇章主次关系和文本摘要联合学习的模型。该模型在考虑词组、短语等语义信息的基础上同时考虑了篇章的主次关系等结构信息,最终基于篇章内容的整体优化抽取出最能代表文档核心内容的句子作为摘要。实验结果表明,与当前主流的单文档抽取式摘要方法相比,该方法在ROUGE评价指标上有显著提高。     

基于BERT双向预训练的图模型摘要抽取算法

近年的自动摘要算法大多是基于监督学习机制,没有考虑到人工标记语料的烦琐,并且大多数摘要模型在句子嵌入时不能结合上下文来更充分表达语义信息,忽略了文本的整体信息.针对上述问题提出了一种基于改进的BERT双向预训练语言模型与图排序算法结合的抽取式摘要模型.根据句子的位置以及上下文信息将句子映射为结构化的句子向量,再结合图排序算法选取影响程度靠前的句子组成临时摘要;为了避免得到有较高冗余度的摘要,对得到的临时摘要进行冗余消除.实验结果表明在公用数据集CNN/DailyMaily上,所提模型能够提高摘要的得分,相对于其他改进的基于图排序摘要抽取算法,该方法效果更佳.     

融合多层注意力表示的中文新闻文本摘要生成

针对现有的文本摘要模型词向量表意不全面，且难以对远距离词句进行表征，提出一种融合多层注意力表示的中长文本摘要方法。通过抽取式技术将新闻文本进行分割，得到主体文本和辅助文本；将主体文本进行图卷积神经网络的学习和依存句法分析，得到词向量的图卷积表示和依存词对信息，同时对辅助文本进行高频主题词的挖掘；将这三种信息融合送入Transformer序列模型中，并对编码器和解码器的局部注意力稍作修改，使其能够更多地关注主题相关的部分和依存句法结构；生成文本摘要。在公共文本摘要数据集NLPCC 2017上的实验表明，该方法能够得到较高的ROUGE分数，生成质量更好的文本摘要。     

基于BERT的抽取式裁判文书摘要生成方法研究

针对民事裁判文书区别于新闻文本的文本结构和重要信息分布的特点,基于BERT提出了一种结合粗粒度和细粒度抽取方法的结构化民事裁判文书摘要生成方法。首先通过粗粒度抽取方法对裁判文书进行重要的模块信息抽取,以保留文本结构;然后采用基于BERT的序列标注方法构建细粒度的抽取式摘要模型,从句子级别对重要模块的信息进行进一步抽取,以构建最终摘要。实验表明,相比于单一的粗粒度抽取或者细粒度抽取,本文方法均获得了更好的摘要生成性能。