基于深度学习的开放域引导对话生成模型

针对在开放域对话生成中的回复往往具有高重复性的特点或缺乏实际意义,以及与上下文内容相关性低和弱同理心等问题,利用基于DialoGPT的改进预训练模型分别构建生成排序模型,将DialoGPT模型作为基干网络并引入情绪分类和句子分类模块,便于进行多任务训练.首先将抽取的特定情绪对话之间用特殊间隔符进行拼接,然后输入到在大量数据训练过的生成模型;通过训练特定数据集和编码上下文内容,模型可以在多轮对话过程生成通顺流畅且情感引导的候选文本;同时在生成时采用核采样算法以提高回复多样性;最后通过排序模型挑选与上下文信息相关性最高的回复作为输出.另外为了进一步提高模型生成的泛化能力和算法收敛速度,采用AdamW替换Adam进行梯度更新.实验结果表明,所设计的生成排序模型在Context、Fluency等指标相比基线模型都有一定提升,对话示例显示可以有来有回的对话交流,生成的回复文本内容通顺流畅且多样性高.     

基于预训练表示模型的英语词语简化方法

词语简化是将给定句子中的复杂词替换成意义相等的简单替代词,从而达到简化句子的目的. 已有的词语简化方法只依靠复杂词本身而不考虑其上下文信息来生成候选替换词, 这将不可避免地产生大量的虚假候选词. 为此, 提出了一种基于预语言训练表示模型的词语简化方法, 利用预训练语言表示模进行候选替换词的生成和排序. 基于预语言训练表示模型的词语简化方法在候选词生成过程中, 不仅不需要任何语义词典和平行语料, 而且能够充分考虑复杂词本身和上下文信息产生候选替代词. 在候选替代词排序过程中, 基于预语言训练表示模型的词语简化方法采用了5个高效的特征, 除了常用的词频和词语之间相似度特征之外, 还利用了预训练语言表示模的预测排名、基于基于预语言训练表示模型的上、下文产生概率和复述数据库PPDB三个新特征. 通过3个基准数据集进行验证, 基于预语言训练表示模型的词语简化方法取得了明显的进步, 整体性能平均比最先进的方法准确率高出29.8%.     

基于多视角对抗学习的开放域对话生成模型

近年来,随着智能家居的普及,对话系统在生活中发挥着越来越重要的作用,基于神经网络构建的生成式对话系统由于其灵活性高受到了许多研究者的关注。以提高生成模型对话的流畅性、上下文相关性为目的,提出基于多视角对抗学习的开放域对话生成模型。其中,模型生成器是基于检索到的相似对话进行改写得到生成的对话;模型的判别器是由两个二分类器共同组成的,该二元判别器分别从句子、对话两个层面多视角地对生成句子进行判别。在中文对话语料上进行实验,该模型在人工评价和自动评测上的得分都高于目前常用的对话生成模型。实验结果表明,利用二元判别器多视角训练可以同时提高生成回复的流畅度和上下文相关性。     

多模块联合的阅读理解候选句抽取

机器阅读理解作为自然语言理解的关键任务,受到国内外学者广泛关注。针对多项选择型阅读理解中无线索标注且涉及多步推理致使候选句抽取困难的问题,该文提出一种基于多模块联合的候选句抽取模型。首先采用部分标注数据微调预训练模型;然后通过TF-IDF递归式抽取多跳推理问题中的候选句;最后结合无监督方式进一步筛选模型预测结果降低冗余性。该文在高考语文选择题及RACE数据集上进行验证,在候选句抽取中,该方法相比于最优基线模型F₁值提升3.44%,在下游答题任务中采用候选句作为模型输入较全文输入时准确率分别提高3.68%和3.6%,上述结果证实该文所提方法的有效性。     

基于面上下文码匹配的CAD模型检索方法

为弥补现有的基于图的形状描述应用图匹配或子图匹配实现CAD模型检索时,存在着检索效率低下或检索结果不够准确的缺陷,提出一种基于面上下文码匹配的CAD模型检索方法。提取CAD模型的B-rep信息生成面属性邻接图;依据面的上下文邻接关系,将模型面属性邻接图转化为上下文层状面属性邻接图,生成面上下文码;由检索模型与数据库模型的面上下文码匹配排除筛选不匹配的面,得到与检索模型相匹配的面。实验结果表明,该方法能够实现CAD模型的整体和局部检索,并且检索效率和精准程度能够满足实际需要。     

基于位置感知的情感可控对话生成模型研究

基于序列到序列的对话生成在实现情感状态转移时大多采用外部情感词嵌入的方式,编码器很难捕获解码器的情感状态,解码器被强制嵌入的外部情感词干扰,造成生成回复情感词堆叠及缺乏情感信息上下文.为解决上述问题,该文提出基于位置感知的情感可控对话生成模型.在编码的过程中,当前输入词向量和位置向量共同参与编码,在不影响当前输入的情况...     

基于多头注意力和BiLSTM改进DAM模型的中文问答匹配方法

针对目前检索式多轮对话深度注意力机制模型(Deep Attention Matching Network,DAM)候选回复细节不匹配和语义混淆的问题,该文提出基于多头注意力和双向长短时记忆网络(BiLSTM)改进DAM模型的中文问答匹配方法,采用多头注意力机制,使模型有能力建模较长的多轮对话,更好地处理目标回复与上下文的匹配关系。此外,该文在特征融合过程中采用BiLSTM模型,通过捕获多轮对话中的序列依赖关系,进一步提升选择目标候选回复的准确率。该文在豆瓣和电商两个开放数据集上进行实验,实验性能均优于DAM基线模型,R₁₀@1指标在含有词向量增强的情况下提升了1.5%。     

基于检索结果融合机制的对话生成模型

对话生成模型是对话系统中十分重要的组件。传统的对话生成模型仅利用用户的输入信息生成回复,这导致在生成过程中常会出现无意义的万能回复。最近有工作尝试将检索的方法融入生成模型从而提高模型的生成质量,但这些方法往往将重点放在如何编辑检索结果上,没有考虑检索结果与用户查询之间的语义空间差别。为解决这一问题,该文提出了基于检索结果融合的对话生成模型。模型首先利用双向长短时记忆网络对检索结果进行编码,并提出了具有融合机制的长短时记忆网络(fusion-LSTM)。该机制将检索结果在模型内部与对话文本相结合,以更好地将检索到的信息融入到生成模型中。实验结果表明,该方法在自动评价指标和人工评价指标中都明显优于基线方法。     

一种融合关键词的生成式摘要方法

针对生成式文本摘要中模型对文本语义了解不够充分以及生成摘要缺乏关键信息的问题,提出一种融合关键词的中文摘要生成模型KBPM(Key-BERT-Pen model).首先使用TextRank方法将文本中关键词抽取出来,然后将抽取出的关键词与原文一起经过BERT预训练模型得到更加精确的上下文表示,最终将得到的词向量输入到带有双重注意力机制的指针模型中,指针模型从词汇表或原文中取出词汇来生成最终的摘要.实验结果表明,KBPM模型能够生成可读性更好、ROUGE分数更高的文本摘要.通过对比分析也验证了KBPM模型有效解决了生成摘要中缺乏关键信息的问题.     

基于场景与对话结构的摘要生成研究

对话摘要是从复杂的对话中提取关键信息以转化成简短的文本，供用户快速浏览对话内容。相比传统文本摘要，对话摘要数据具有篇幅较长、结构复杂等特点。传统的摘要模型难以充分地利用数据的长文本信息，并且无法考虑对话的结构信息。为此，结合抽取和生成模型，提出一种基于场景与对话结构的摘要生成方法，以对话中的场景、角色和对话内容为主要信息生成对话摘要。通过对话解析构建以角色、动作说明和会话为要素的对话结构图，并使用序列标注任务微调BERT预训练模型，生成以对话句子为单位的向量表示，利用图神经网络建模对话结构，筛选出包含关键信息的句子。在此基础上，将得到的抽取结果作为生成模型的输入，利用双向自回归变压器（BART）预训练模型作为基础框架，在编码端额外引入角色和场景信息，丰富生成模型的语义特征，使用加入多头注意力机制的解码器生成摘要。实验结果表明，相比BART、MV＿BART、HMNet等方法，该方法在ROUGE-1指标上最高可提升5.3个百分点。