基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法: 锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.883 3和0.925 1的句子级准确率。     

面向任务型的对话系统研究进展

基于人工智能技术的人机对话系统在人机交互、智能助手、智能客服、问答咨询等多个领域应用日益广泛,这极大地促进了自然语言理解及生成、对话状态追踪和端到端的深度学习模型构建等相关理论与技术的发展,并成为目前工业界与学术界共同关注的研究热点之一。该文聚焦特定场景下的任务型对话系统,在对其基本概念进行形式化定义的基础上,围绕着以最少的对话轮次来获得最佳用户需求相匹配的对话内容为目标,针对目前存在的复杂业务场景下基于自然语言的用户意图的准确理解和识别、针对训练数据的标注依赖及模型结果的可解释性不足,以及多模态条件下对话内容的个性化生成这三个重大的技术问题和挑战,对当前的技术与研究进展进行系统地对比分析和综述,为进一步的研究工作奠定基础。同时,对新一代的面向任务型的人机对话系统未来的关键研究方向与任务进行总结。     

人机对话系统中意图识别方法综述

口语理解是人机对话系统的重要组成部分,而意图识别是口语理解中的一个子任务,而且至关重要。意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人机对话系统中意图识别的困难,传统的机器学习方法无法理解用户话语的深层语义信息,主要对近些年应用在意图识别研究方面的深度学习方法进行分析、比较和总结,进一步思考如何将深度学习模型应用到多意图识别任务中,从而推动基于深度神经网络的多意图识别方法的研究。     

任务型对话系统中的自然语言生成研究进展综述

任务型对话系统中的自然语言生成模块(ToDNLG)旨在将系统的对话动作转换为 自然语言回复,其受到研究者的广泛关注.随着深度神经网络的发展和预训练语言模型的爆发,ToDNLG的研究已经获得了重大突破.然而,目前仍然缺乏对现有方法和最新趋势的全面调研.为了填补这个空白,该文全面调研了 ToDNLG的最新进展和前沿领域,包...     

汉语股票实时行情查询对话系统

介绍了一个用于股票实时行情查询的口语化的人机对话系统，该系统集成了语音识别、语言理解、对话控制等技术。文中定义了一个情景语义框架模型，较好地处理了口语理解系统的一些难点。     

口语对话系统中的语句主题提取

语句的主题提取是口语对话系统中话语分析部分的工作。目前的口语对话系统大多将自然语言处理的重点放在语法和语义平面,而忽视了对上下文语境的分析,该文提出一种基于规则的语句主题提取方法,通过自底向上与自顶向下两种分析器完成主题与用户意图的提取,为系统的自然语言生成提供更准确的领域知识,从而大大提高了系统的整体性能。     

面向特定领域人机对话模型研究与实现

通用的自然语言的理解技术当前并不是很成熟,但在面向特定领域的自然语言理解还是可能的。论文从特定领域自然语言的特点以及机器理解技术出发,给出一种适用于特定领域的自然语言理解技术。这种自然语言理解技术结合语音识别和语音合成技术,可以达到比较理想的人机对话效果。论文给出的这种处理模型可以在更多的人机交互场合中得到应用。     

面向自然语言推理的基于截断高斯距离的自注意力机制

在自然语言理解任务中,注意力机制由于可以有效捕获词在上下文语境中的重要程度并提高自然语言理解任务的有效性而受到了人们的普遍关注。基于注意力机制的非递归深度网络Transformer,不仅以非常少的参数和训练时间取得了机器翻译学习任务的最优性能,还在自然语言推理(Gaussian-Transformer)、词表示学习(Bert)等任务中取得了令人瞩目的成绩。目前Gaussian-Transformer已成为自然语言推理任务性能最好的方法之一。然而,在Transformer中引入Gaussian先验分布对词的位置信息进行编码,虽然可以大大提升邻近词的重要程度,但由于Gaussian分布中非邻近词的重要性会快速趋向于0,对当前词的表示有重要作用的非邻近词的影响会随着距离的加深消失殆尽。因此,文中面向自然语言推理任务,提出了一种基于截断高斯距离分布的自注意力机制,该方法不仅可以凸显邻近词的重要性,还可以保留对当前词表示具有重要作用的非邻近词的信息。在自然语言推理基准数据集SNLI和MultiNLI上的实验结果证实,截断高斯距离分布自注意力机制能够更有效地提取句子中词语的相对位置信息。     

基于深度学习的口语理解联合建模算法综述

口语理解是自然语言处理领域的研究热点之一,应用在个人助理、智能客服、人机对话、医疗等多个领域.口语理解技术指的是将机器接收到的用户输入的自然语言转换为语义表示,主要包含意图识别、槽位填充这两个子任务.现阶段,使用深度学习对口语理解中意图识别和槽位填充任务的联合建模方法已成为主流,并且获得了很好的效果.因此,对基于深度学习的口语理解联合建模算法进行总结分析具有十分重要的意义.首先介绍了深度学习技术应用到口语理解的相关工作,然后从意图识别和槽位填充的关联关系对现有的研究工作进行剖析,并对不同模型的实验结果进行了对比分析和总结,最后给出了未来的研究方向及展望.     

基于深度学习的情感对话响应综述

人机对话作为人工智能的重要领域,以其方便快捷的交互特点广泛应用于任务型和闲聊型机器人等诸多商业场景,并被视为新一代人机交互的主要形式.但情绪感知与表达能力的缺乏致使人机对话技术在复杂交互场景中难以满足人们对情感交流的强烈需求.为弥补人机对话技术中情感智能的缺失,基于深度学习的情感对话响应任务被提出且已发展为对话领域中一个重要的研究方向.本文首先回顾了基于深度学习的情感对话响应任务的发展历程,其次按照任务将情感对话响应分为可控情感对话生成、共情对话响应、情绪支持、多模态情感对话生成、新任务五类.随后本文也按照常用的结构将模型进行了归类与分析,以求更细致地阐述各种结构在情感对话响应任务中的具体用法,之后介绍了常用数据与评测指标.最后本文也对模型进行了总结,并在此基础上进一步展望了该任务未来的发展方向.     

深度学习算法在问句意图分类中的应用研究

在聊天机器人多轮对话中如何根据上下文理解用户的意图是多轮交互中的一个重点问题，也是一个难点问题。现有的问句理解方法大多是针对单句的，且侧重于某种句式结构的理解。如何根据上下文语境对当前用户的意图进行识别，而不仅仅是针对单轮进行一个个分析，使得对话在一个连续的语境下具备细粒度的理解能力，是一个亟待解决的问题。针对以上问题，提出了一种基于深度学习的自然语言问句多意图分类方法，其中涉及到的用户意图包含闲聊类、音乐类、新闻类、算术类、餐饮类、订票类、天气类、服务类等13类。首先使用自然语言处理的相关技术对多轮对话进行处理分析，识别出其中的关键词，然后使用深度学习方法和分层分类技术构建了二分类和多分类深度学习模型，学习上下文语境和语义关系，共同对用户意图进行识别。通过实验证明了构建的深度学习模型对用户意图识别的准确率分别为94.81%、93.49%。因此，所提方法基本能够解决自然语言问句意图识别的问题。     

A robust system for human-machine dialogue in telephony-based applications

This paper presents a real-time system for human-machine spoken dialogue on the telephone in task-oriented domains. The system has been tested in a large trial with inexperienced users and it has proved robust enough to allow spontaneous interactions even for people with poor recognition performance. The robust behaviour of the system has been achieved by combining the use of specific language models during the recognition phase of analysis, the tolerance toward spontaneous speech phenomena, the activity of a robust parser, and the use of pragmatic-based dialogue knowledge. This integration of the different modules allows the system to deal with partial or total breakdowns at other levels of analysis. We report the field trial data of the system with respect to speech recognition metrics of word accuracy and sentence understanding rate, time-to-completion, time-to-acquisition of crucial parameters, and degree of success of the interactions in providing the speakers with the information they required. The evaluation data show that most of the subjects were able to interact fruitfully with the system. These results suggest that the design choices made to achieve robust behaviour are a promising way to create usable spoken language telephone systems.     

智能电话查询系统

介绍了一个用于交通信息查询的交互式对话系统-ShanghaiQuest。该系统集成了语音识别、文语转换和自然语言理解等技术，用户可以同这样一个自动的交通代理对话以获取所需的交通信息。     

基于深度学习的隐式篇章关系识别综述

隐式篇章关系识别是自然语言处理中一项富有挑战性的任务,旨在判断缺少连接词的两个论元(子句或者句子)之间的语义关系(例如转折)。近年来,随着深度学习在自然语言处理领域的广泛应用,各种基于深度学习的隐式篇章关系识别方法取得了不错的效果,其性能全面超越了早期基于人工特征的方法。文中分三大类对最近的隐式篇章关系识别方法进行讨论:基于论元编码的方法、基于论元交互的方法和引入显式篇章数据的半监督方法。在PDTB数据集上的实验结果显示:1)通过显式地建模论元中词或文本片段之间的语义关系,基于论元交互的方法的性能明显好于基于论元编码的方法;2)引入显式篇章数据的半监督方法能有效地缓解数据稀疏问题,从而进一步提升识别的性能。最后,分析了当前面临的主要问题,并指出了未来可能的研究方向。     

面向自然语言处理的预训练技术研究综述

近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。     

一个自然语言理解系统的设计和实现

在自然语言理解系统的建立过程中,首要的工作是建立单词词典、语义词典,并建立句型规则和词义信息,利用这些词典和规则进行语义分析和词义的辨识。结合许多实例,详细探讨了解决这些问题的各种方法,它们的有机配合可以有效解决本NKZL自然语言理解系统的语义分析和词义辨识问题,这些方法已经在本系统中得支了运用和验证。     

An expert intermediary system for interactive document retrieval

Constructing natural language interfaces to computer systems often requires achievement of advanced reasoning and expert capabilities in addition to basic natural language understanding. In this paper the above issue is tackled in the frame of an actual application concerning the design of a natural language interface for interactive document retrieval. After a short discussion of the peculiarities of this application, which requires both natural language understanding and reasoning capabilities, the general architecture and fundamental design criteria of a system presently being developed at the University of Udine are presented. The system, named IR-NLI, is aimed at allowing non-technical users to directly access through natural language the services offered by online databases. Attention is later focused on the basic functions of IR-NLI, namely understanding, dialogue and reasoning. An example of interaction with IR-NLI is fully worked out to introduce the main features of the system. Knowledge representation methods and algorithms adopted are then illustrated. Perspectives and direction for future research are also discussed.