基于双层记忆网络的多领域端到端任务型对话系统

为了将知识有效地融入到对话推理,提出了一种基于双层记忆网络的多领域端到端任务型对话系统。首先,该模型用知识行的形式代替三元组的形式表示知识,提升了知识定位的性能;其次,采用了双层记忆网络结构将知识和对话历史进行分别建模,提高了模型的推理能力;最后,使用了动态编码器对多种领域的数据进行编码,提升模型的泛化能力。通过实验分析,该模型的F₁和BLEU指标在InCar和CamRest数据集上相较于对比算法均有一定的提升,验证了该模型的有效性和先进性。     

一种基于多粒度循环神经网络与词注意力的多轮对话回答选择方法

随着大数据和人工智能的发展,多轮对话算法受到了越来越多的关注.多轮对话回答选择是多轮对话算法中的关键问题之一,其目标是选择与输入消息和对话内容最相关的回答作为应答.近年来,深度神经网络模型在多轮对话回答选择问题上取得了较大进展.然而,如何提取对话上下文和回答中的相关语义信息并从中提取丰富的多粒度语义匹配特征仍然是多轮对话回答选择问题面临的巨大挑战.针对上述问题,本文提出了一种结合词注意力机制的多粒度循环神经网络模型MRNA(MultiGranularity Recurrent Neural Netw ork w ith Word Attention).首先,M RNA使用双通道网络,融合字符级和词语级语义信息,从而获得更准确的语义表征.其次,为了在语义匹配过程中充分提取对话上下文和回答中的相关语义信息,MRNA使用词注意力机制,动态地学习注意力矩阵的权重,从而提取与对话上下文和回答最契合的关键信息.此外,为进一步增强对话上下文和回答的语义匹配度,MRNA采用AHRE(Attentive Hierarchical Recurrent Encoder)对句子进行分层编码后输出的句子进行了分...     

基于CoBERT-BiGRU的对话式机器阅读理解

基于现有模型不能有效处理多轮对话历史的不足,提出了CoBERT-BiGRU(concat bidirectional encoder representation from transformers-bidirectional gate recurrent unit)模型.对文章中的对话历史进行标记,将不同标记的文章及问题输入CoBERT模型,得到多个序列的向量化表示;通过历史注意力网络把多个结果融合成一个序列的向量化表示;将融合后的结果输入BiGRU,对答案及对话行为进行推理预测.真实数据集上的实验结果表明,CoBERT-BiGRU模型能够有效处理多轮对话历史,与基准模型和在该数据集上已公开的部分模型相比,HEQ-Q、HEQ-D和F1值都有提升.     

基于HRED模型的中文多轮对话任务方法研究

多轮对话任务是自然语言处理中最具有实用价值的技术之一,该任务要求系统在产生通顺回答语句的同时能够照顾到上下文信息。近年来,出现了一大批以HRED(hierarchical recurrent encoder-decoder)模型为基础的多轮对话模型,其运用多层级的循环神经网络来编码上下文信息,并在Movie-DiC等英文对话数据集上取得了不错的结果。在2018年京东举办的中文多轮对话大赛中,京东向参赛选手公布了一批高质量的真实客服对话语料。该文在此数据上进行实验,针对HRED模型的缺点以及在中文语料下的表现进行改进,提出基于注意力和跨步融合机制与HRED模型结合的方案,实验结果表明,该方案取得了较大的性能提升。     

基于记忆网络的知识感知医疗对话生成

为了解决就医过程中医疗资源短缺和患者时间不充裕、行程不便的问题,提出了结合外部知识的基于记忆网络的知识感知医疗对话生成模型(memory networks based knowledge-aware medical dialogue generation model, MKMed).该模型首先通过利用精确字匹配的方法在对话历史中进行实体追踪;随后在外部实体知识数据库里设计2阶段的实体预测,筛选出可能出现在回复中的医疗实体及对应知识,其中2阶段实体预测分别利用计算共现矩阵和余弦相似度的方法;模型接着用记忆网络来存储知识和对话历史的信息;最后整合记忆网络存储的信息,并使用注意力机制以及循环神经网络生成回复.在带有外部知识的大规模医疗对话数据集KaMed上进行了相关实验,该数据集为收集自在线平台的真实数据.实验结果表明提出的模型生成的回复在流畅性、多样性、正确性和专业性等方面均显著优于大部分基准模型.证明了合理引入外部知识的医疗对话模型能产生成更有医疗价值的回复.     

基于多头注意力和BiLSTM改进DAM模型的中文问答匹配方法

针对目前检索式多轮对话深度注意力机制模型(Deep Attention Matching Network,DAM)候选回复细节不匹配和语义混淆的问题,该文提出基于多头注意力和双向长短时记忆网络(BiLSTM)改进DAM模型的中文问答匹配方法,采用多头注意力机制,使模型有能力建模较长的多轮对话,更好地处理目标回复与上下文的匹配关系。此外,该文在特征融合过程中采用BiLSTM模型,通过捕获多轮对话中的序列依赖关系,进一步提升选择目标候选回复的准确率。该文在豆瓣和电商两个开放数据集上进行实验,实验性能均优于DAM基线模型,R₁₀@1指标在含有词向量增强的情况下提升了1.5%。     

自注意力机制的短文本分类方法

针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型.将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制...     

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.     

基于会话的多粒度图神经网络推荐模型

基于会话的推荐旨在根据当前用户的匿名会话的点击序列信息来预测用户的下一次点击行为。现有方法多数都是通过对用户会话点击序列的物品信息进行建模,并学习物品的向量表示,进而进行推荐。而作为一种粗粒度的信息,物品的类别信息对物品有聚合作用,可作为物品信息的重要补充。基于此,提出了基于会话的多粒度图神经网络推荐模型（SRMGNN）。首先,使用图神经网络（GNN）得到会话序列中的物品和物品类别的嵌入向量表示,并使用注意力网络捕捉用户的注意力信息;然后,将赋予了不同注意力权重值的物品和物品类别信息进行融合后,输入到门限循环单元（GRU）里;最后,通过GRU学习会话序列的物品时序信息,并给出推荐列表。在公开的Yoochoose数据集和Diginetica数据集上进行实验,实验结果验证了该模型在增加了物品类别信息后的优势,且实验结果表明了在Precision@20和MRR@20这2种评价指标上,该模型相较于短期注意力/记忆优先级（STAMP）模型、神经注意力（NARM）模型、GRU4REC等8种模型均有更好的效果。     

利用外部知识辅助和多步推理的选择题型机器阅读理解模型

选择题型机器阅读理解的答案候选项往往不是直接从文章中抽取的文本片段,而是对文章内容中相关片段的归纳总结、文本改写或知识推理,因此选择题型机器阅读理解的问题通常需要从给定的文本中甚至需要利用外部知识辅助进行答案推理.目前选择题型机器阅读理解模型大多数方法是采用深度学习方法,利用注意力机制对文章、问题和候选项这三者的信息进行细致交互,从而得到融合三者信息的表示进而用于答案的预测.这种方式只能利用给定的文本进行回答,缺乏融入外部知识辅助,因而无法处理需外部知识辅助推理的问题.为了解决需外部知识辅助推理的问题,本文提出了一个采用外部知识辅助多步推理的选择题型机器阅读理解模型,该模型首先利用注意力机制对文章、问题和候选项及与这三者相关的外部知识进行信息交互建模,然后采用多步推理机制对信息交互建模结果进行多步推理并预测答案.本文在2018年国际语义测评竞赛（SemEval）中任务11的数据集MCScript上进行对比实验,实验结果表明本文提出的方法有助于提高需要外部知识辅助的选择题型问题的准确率.     

基于双层解码的多轮情感对话生成模型

情感对话系统的成功取决于语言理解、情感感知和表达能力,同时面部表情和个性等也能提供帮助。然而,尽管这些信息对于多轮情感对话至关重要,但是现有系统既未能够充分利用多模态信息的优势,又忽略了上下文相关性的重要性。为了解决这个问题,提出了一种基于双层解码的多轮情感对话生成模型（MEDG-DD）。该模型利用异构的图神经网络编码器将历史对话、面部表情、情感流和说话者信息进行融合,以获得更加全面的对话上下文。然后,使用基于注意力机制的双层解码器,以生成与对话上下文相关的富含情感的言辞。实验结果表明,该模型能够有效地整合多模态信息,实现更为准确、自然且连贯的情感话语。与传统的ReCoSa模型相比,该模型在各项评估指标上均有显著的提升。     

基于DQN的开放域多轮对话策略学习

有效地进行多轮对话是开放域人机对话系统的主要目标之一。目前的神经网络对话生成模型在开放域多轮对话过程中存在着容易产生万能回复、很快陷入死循环的问题;而已有的多轮对话研究工作存在着没有考虑未来对话走向的问题。借鉴强化学习方法考虑全局的视角,该文利用深度强化学习算法DQN(deep Q-network),提出了使用深度价值网络对每一轮的候选句子进行评估,并选择未来收益最大的而非生成概率最大的句子作为回复的多轮对话策略学习方法。实验结果表明,该文提出的方法将多轮对话的平均对话轮数提高了两轮,同时在主观对比评价指标上获胜比例高出了45%。     

SPDR: 基于片段预测的多轮对话改写

对话系统对上文信息使用不充分是当前制约多轮对话效果的主要因素,基于上文信息对用户当前输入进行改写是该问题的一种重要解决方法。改写任务的核心在于指代消解(pronoun resolution)和省略补全(ellipsisrecovery)。该文提出了一种基于BERT的指针网络(Span Prediction for Dialogue Rewrite,SPDR),该模型会预测用户当前轮次输入语句中所有token前面需要填充的内容,在上文中对应的片段(span)起始和结束的位置,来实现多轮对话改写;该文还提出了一种新的衡量改写结果的评价指标sEMr。相较于基于指针生成网络的模型,该模型在不损失效果的前提下推理速度提升接近100%,基于RoBERTa-wwm的SPDR模型在5项指标上均有明显提升。     

基于混合多头注意力和胶囊网络的特定目标情感分析

特定目标情感分析旨在判断上下文语境在给定目标词下所表达的情感倾向。对句子语义信息编码时,目前大部分循环神经网络或注意力机制等方法,不能充分捕捉上下文中长距离的语义信息,同时忽略了位置信息的重要性。该文认为句子的语义信息、位置信息和多层次间的信息融合对该任务至关重要,从而提出了基于混合多头注意力和胶囊网络的模型。首先,使用多头自注意力分别在位置词向量基础上对上下文长句子和在双向GRU基础上对目标词进行语义编码;然后,使用胶囊网络在语义信息交互拼接基础上进行位置信息编码;最后,在融入原始语义信息基础上,使用多头交互注意力对上下文与目标词并行融合的方法得到情感预测结果。在公开数据集SemEval 2014 Task4和ACL 14 Twitter上的实验表明,该文模型性能较传统深度学习和标准注意力方法有显著提升,验证了模型的有效性和可行性。     

基于知识增强的开放域多轮对话模型

如何减轻安全回复和重复回复一直是开放域多轮对话模型的两大挑战性难题.然而,现有开放域对话模型往往忽略了对话目标的引导性作用,以及如何在对话历史和对话目标中引入和选择更精确的知识信息.鉴于此,提出基于知识增强的多轮对话模型.所提模型首先将对话历史中实词进行义原及领域词替换,达到消除歧义和丰富对话文本表示的效果.然后将经过知识增强后的对话历史、扩充的三元组世界知识、知识管理和知识拷贝加以集成,以融合知识、词汇、对话历史和对话目标多种信息,生成多样性回复.通过两个国际基准开放域汉语对话语料库上的实验结果及可视化验证所提模型同时在自动评测和人工评测上的有效性.     

基于注意力网络的属性级别情感分析

传统的属性级别情感分析方法缺乏对属性实体与前后文之间交互关系的研究,导致情感分类结果的正确率不高。为了有效提取文本特征,提出了一种利用多头注意力机制学习属性实体与前后文之间关系的属性级别情感分析模型（intra&inter multi-head attention network, IIMAN）,从而提高情感极性判断结果。该模型首先利用BERT预训练完成输入语句的词向量化;通过注意力网络中的内部多头注意力与联合多头注意力学习属性实体与前后文以及前后文内部间的关系;最后通过逐点卷积变换层、面向属性实体的注意力层和输出层完成情感极性分类。通过在三个公开的属性级别情感分析数据集Twitter、laptop、restaurant上的实验证明,IIMAN相较于其他基线模型,正确率和F₁值有了进一步的提升,能够有效提高情感极性分类结果。     

使用共指消解增强多轮任务型对话生成

指代是一种重要的语言现象,运用指代可以避免复杂的词语在句子中重复出现,使语句简洁连贯。在多轮口语对话中,使用代词指代实体可以提高沟通的效率,然而,对话中频繁出现的代词给计算机语言理解增加了难度,进而影响了机器生成回复的质量。该文提出通过消解代词提高对话生成质量,先通过端到端的共指消解模型识别出多轮对话中蕴含的表述同一实体的所有代词和名词短语,即指代簇(coreference clusters);然后使用两种不同的方法,利用指代簇信息增强对话模型: ①使用指代簇信息恢复问句的完整语义,以降低机器语言理解的难度; ②使用图卷积神经网络将指代簇信息编码融入对话生成模型,以提高机器理解对话的能力。该文所提的两个方法在RiSAWOZ公开数据集上进行了验证,实验结果表明,两个方法均可以显著提升对话生成的性能。     

面向交通流量预测的多头注意力时空卷积图网络模型

为了充分获取交通流量数据中隐藏的复杂动态时空相关性,提高交通流量预测精度,提出一种多头注意力时空卷积图网络模型MASCGN。首先,采用多头注意力机制为路网中的交通传感器节点自动分配注意力权重,实现对不同邻居节点的权值自适应匹配,充分获取空间相关性;其次,采用带有门控和注意力机制的时空卷积网络充分提取时间序列相关性,并使用残差块结构实现时空卷积层之间的连接,使得模型更具有泛化能力;最后,分别提取周相关、日相关、邻近时间的序列数据,输入三个并行的时空组件以挖掘周、日、邻近三个时间窗口间的时间周期相关性,并通过全连接层获取最终的交通流量预测结果。利用高速公路交通数据集PEMSO4、PEMSO8进行了15 min、30 min、45 min和60 min的交通流量预测实验。实验结果表明MASCGN模型与现有基线模型相比,在未来短期和长期的交通流量预测任务上都具有更优的建模能力。