知识感知的多类型对话推荐

智能推荐型对话系统通过丰富的交互方式与用户进行交流,首先收集用户兴趣和偏好,然后主动地向用户推荐其感兴趣的内容。因此,该类系统通常涵盖多种对话类型,如问答、闲聊、推荐等。目前的研究采用流水线模型,存在误差累积的问题。该文提出基于Transformer的具有知识感知能力的对话生成模型完成面向推荐的多类型对话任务。该模型使用Transformer解码器隐式地学习对话目标路径并生成回复。此外,该文通过引入知识编码器和基于知识词表的Copy机制,提升模型对知识的感知能力。在DuRecDial数据集上的实验表明,提出的模型和基线模型相比在自动评估中取得了显著的性能提升,其中F₁、BLEU与Distinct分别提升了59.08%、110%、66.14%。该模型在2020语言与智能技术竞赛: 面向推荐的对话任务中获得第三名。     

基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法: 锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.883 3和0.925 1的句子级准确率。     

基于BERT的强化语境与语义信息的对话幽默识别模型

幽默识别是自然语言处理的新兴研究领域之一。对话的特殊结构使得在对话中的幽默识别相较于短文本幽默识别更具有挑战性。在对话中,除了当前话语以外,上下文语境信息对于幽默的识别也至关重要。因此,该文在已有研究的基础上结合对话的结构特征,提出基于BERT的强化语境与语义信息的对话幽默识别模型。模型首先使用BERT对发言人信息和话语信息进行编码,其次分别使用句级别的BiLSTM、CNN和Attention机制强化语境信息,使用词级别的BiLSTM和Attention机制强化语义信息。实验结果表明,该文方法能有效提升机器识别对话中幽默的能力。     

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.     

基于异构二部图的对话情感分析

对话情感分析旨在分析识别一段对话中用户在发言终止时的情绪状态。与传统的文本情感分析不同,对话过程中的上下文语境和用户之间的交互会对用户的情绪产生重要影响,且对话文本的语法结构复杂,多存在较远距离的语法成分的依赖关系,因而是一项十分具有挑战性的任务。为解决上述问题,该文将文本的句法依存关系引入模型中,通过图卷积网络提取句法结构信息,并与文本情感分析模型相结合,提出了两种同时建模语义和句法结构的模型H-BiLSTM+HGCL和BERT+HGCL。在构建的中文对话情感分析数据集上的实验表明,与不采用依存关系的基线模型相比,该文所提出的模型取得了更好的实验性能。     

SPDR: 基于片段预测的多轮对话改写

对话系统对上文信息使用不充分是当前制约多轮对话效果的主要因素,基于上文信息对用户当前输入进行改写是该问题的一种重要解决方法。改写任务的核心在于指代消解(pronoun resolution)和省略补全(ellipsisrecovery)。该文提出了一种基于BERT的指针网络(Span Prediction for Dialogue Rewrite,SPDR),该模型会预测用户当前轮次输入语句中所有token前面需要填充的内容,在上文中对应的片段(span)起始和结束的位置,来实现多轮对话改写;该文还提出了一种新的衡量改写结果的评价指标sEMr。相较于基于指针生成网络的模型,该模型在不损失效果的前提下推理速度提升接近100%,基于RoBERTa-wwm的SPDR模型在5项指标上均有明显提升。     

基于BERT与柱搜索的中文释义生成

释义生成任务是指为一个目标词生成相应的释义。该文在中文释义生成任务中使用了目标词的上下文信息,并提出了一个基于BERT与柱搜索的释义生成模型。该文构建了包含上下文的CWN中文数据集,同时也在Oxford英文数据集上开展了实验。实验结果显示,该文模型在中英文数据集上性能均有显著提升,其中CWN数据集实验结果相比基线模型BLEU指标提升了10.47,语义相似度指标提升了0.105。语义相似度指标与人工评价结果相关性更高。最后,该文分析了中文释义生成任务仍存在的四个问题。     

基于场景与对话结构的摘要生成研究

对话摘要是从复杂的对话中提取关键信息以转化成简短的文本，供用户快速浏览对话内容。相比传统文本摘要，对话摘要数据具有篇幅较长、结构复杂等特点。传统的摘要模型难以充分地利用数据的长文本信息，并且无法考虑对话的结构信息。为此，结合抽取和生成模型，提出一种基于场景与对话结构的摘要生成方法，以对话中的场景、角色和对话内容为主要信息生成对话摘要。通过对话解析构建以角色、动作说明和会话为要素的对话结构图，并使用序列标注任务微调BERT预训练模型，生成以对话句子为单位的向量表示，利用图神经网络建模对话结构，筛选出包含关键信息的句子。在此基础上，将得到的抽取结果作为生成模型的输入，利用双向自回归变压器（BART）预训练模型作为基础框架，在编码端额外引入角色和场景信息，丰富生成模型的语义特征，使用加入多头注意力机制的解码器生成摘要。实验结果表明，相比BART、MV＿BART、HMNet等方法，该方法在ROUGE-1指标上最高可提升5.3个百分点。     

嵌入知识语义的医疗领域对话系统

由于领域知识图谱包含丰富的相应领域下实体及实体间关系的知识语义,能够为领域对话的回复提供重要参考,提出一种BERT融合BiLSTM的对话训练方法。基于医疗知识图谱,将知识语义的图谱信息融入对话系统,使用TransE模型将已有的医疗图谱数据融入多轮对话,通过扩充知识库的信息扩大对话系统的适用范围,对比GPT2和BERT模型在已有多轮对话数据集上的效果。实验结果表明,该方法F1值达到92.59%,满足了对话系统对回复严谨性的要求。     

QV-Electra:引入Query-Value注意力机制的预训练文本分类模型

预训练语言模型的作用是在大规模无监督语料上基于特定预训练任务获取语义表征能力，故在下游任务中仅需少量语料微调模型且效果较传统机器学习模型(如CNN、RNN、LSTM等)更优。常见的预训练语言模型如BERT、Electra、GPT等均是基于传统Attention机制搭建。研究表明，引入Query-Value计算的QV-Attention机制效果较Attention机制有所提升。该文模型QV-Electra将QV-Attention引入预训练模型Electra,该模型在保留Electra预训练模型参数的同时仅通过添加0.1%参数获得性能提升。实验结果表明，QV-Electra模型在同等时间的情况下，相较于传统模型以及同等参数规模预训练模型能取得更好的分类效果。     

An Evidential Model for Tracking Initiative in Collaborative Dialogue Interactions

In this paper, we argue for the need to distinguish between task initiative and dialogue initiative, and present an evidential model for tracking shifts in both types of initiatives in collaborative dialogue interactions. Our model predicts the task and dialogue initiative holders for the next dialogue turn based on the current initiative holders and the effect that observed cues have on changing them. Our evaluation across various corpora shows that the use of cues consistently provides significant improvement in the system's prediction of task and dialogue initiative holders. Finally, we show how this initiative tracking model may be employed by a dialogue system to enable the system to tailor its responses to user utterances based on application domain, system's role in the domain, dialogue history, and user characteristics.     

基于HRED模型的中文多轮对话任务方法研究

多轮对话任务是自然语言处理中最具有实用价值的技术之一,该任务要求系统在产生通顺回答语句的同时能够照顾到上下文信息。近年来,出现了一大批以HRED(hierarchical recurrent encoder-decoder)模型为基础的多轮对话模型,其运用多层级的循环神经网络来编码上下文信息,并在Movie-DiC等英文对话数据集上取得了不错的结果。在2018年京东举办的中文多轮对话大赛中,京东向参赛选手公布了一批高质量的真实客服对话语料。该文在此数据上进行实验,针对HRED模型的缺点以及在中文语料下的表现进行改进,提出基于注意力和跨步融合机制与HRED模型结合的方案,实验结果表明,该方案取得了较大的性能提升。     

An Intelligent Man-Machine Dialogue System Based on AI Planning

We describe the modular architecture of a generic dialogue system that assists a user/operator in performing a task with a tool. This coaching system is named CALLIOPE after the Greek goddess of eloquence. It aims at being an active partner in an intelligent man-machine dialogue. The intelligent dimension of the coaching system is reflected by its ability to adapt to the user and the situation at hand. The CALLIOPE system contains an explicit user model and world model to situate its dialogue actions. A plan library allows it to follow loosely predetermined dialogue scenarios.The heart of the coaching system is an AI planning module, which plans a series of dialogue actions. We present a coherent set of three dialogue or speech actions that will make up the physical form of the man-machine communication.The use of the AI planning paradigm as a basis for man-machine interaction is motivated by research in various disciplines, as e.g., AI, Cognitive Science and Social Sciences. Starting from the man-man communication metaphor, we can view the thinking before speaking of a human communication partner as constructing an underlying plan which is responsible for the purposiveness, the organisation and the relevance of the communication.CALLIOPE has been fully implemented and tested on theoretical examples. At present, also three tailored versions of CALLIOPE are in operational use in different industrial application domains: operator support for remedying tasks in chemical process industry, operator support for a combined task of planning, plan execution and process control in the area of chemical process development, and thirdly decision support in production scheduling.     

Exploring Mixed-Initiative Dialogue Using Computer Dialogue Simulation

This paper experimentally shows that mixed-initiative dialogue is not always more efficient than non-mixed initiative dialogue in route finding tasks. Based on the dialogue model proposed in Conversation Analysis and Discourse Analysis a lá the Birmingham school and Whittaker and Stenton's definition of initiative, we implement dialogue systems and obtain experimental results by making the systems interact with each other. Across a variety of instantiations of the dialogue model, the results show that with easy problems, the efficiency of mixed-initiative dialogue is a little better than or equal to that of non-mixed-initiative dialogue, while with difficult problems mixed-initiative dialogue is less efficient than non-mixed- initiative dialogue.     

对话管理中基于槽特征有限状态自动机的方法研究

对话系统的研究已经成为人机交互技术发展的新热点。而对话管理则是其中最重要的组成部分．该文在当前对话管理的各种实现方法的基础上，提出了一种基于槽特征的自动机设计方法，其中应用了状态压缩和状态集、动作集的子空间划分。并着重以确认过程为例，阐述了确认策略控制函数及其对对话过程的影响．文中还提出了一种树形的意图分层结构，并将这种分层结构应用于主题检测与主题切换，成功解决了多主题对话系统的主题切换问题．最后，实验表明该文提出的设计方案在策略控制、主题检测与主题切换等方面具有较好性能，同时也具有一定扩展性．     

智能熊猫口语对话系统

论文介绍一套应用于博物馆熊猫模型的口语对话系统。该系统利用大词汇量非特定人连续语音识别技术与口语对话模型实现了智能熊猫系统的人机知识问答。系统采用统计的正则语言模型和机器主导的口语对话策略提高系统的识别速度和识别率。由于采用基于子词的声学模型,系统的识别词表易于增加,不受限制。该系统自2001年7月起在北京自然博物馆正式运行,系统对环境噪声以及带有不同方言口音的普通话都表现出良好的稳健性。在实际环境下的测试表明系统语音识别率达到99.07%。     

A Statistical Dialogue Analysis Model Based on Speech Acts for Dialogue Machine Translation

In some cases, to make a proper translation of an utterance in a dialogue, different pieces of contextual information are needed. Interpreting such utterances often requires dialogue analysis including speech acts and discourse analysis. In this paper, a statistical dialogue analysis model for Korean–English dialogue machine translation based on speech acts is proposed. The model uses syntactic patterns and n-grams of speech acts. The syntactic patterns include surface syntactic features which are related to the language-dependent expressions of speech acts. Speech-act n-grams are used to approximate the context of utterances. The key feature is the use of speech-act n-grams based on hierarchical recency. Experimental results with trigrams show that the proposed model achieves an accuracy of 66.87% for the top candidate and 82.35% for the top three candidates. It indicates that the proposed model based on hierarchical recency outperforms the model based on linear recency.