基于神经网络的端到端的事件指代消解研究

事件作为文本信息的关键语义组件,对篇章的理解具有重要意义。由于事件具有自身包含信息丰富、表达方式多样,以及在文本中分布稀疏等特点,使得事件指代消解成为自然语言处理领域的一个难点任务。在以往的事件指代消解任务中,多借助人工提取词匹配和句法结构等信息,再基于这些抽取的特征进行消解,然而这些特征并不能有效地处理具有复杂语义的事件任务。该文提出一种端到端的神经网络模型,通过多种词表征、双向循环神经网络和注意力机制来学习上下文的语义内容,从而完成事件的指代消解任务。在KBP2015、2016数据集上进行的事件指代消解实验验证了该文给出模型的有效性。实验结果表明,该神经网络模型能很好地理解文本语义信息,捕捉关键单词,提高事件指代消解任务的性能,最终端到端的事件指代消解性能在CoNLL评测标准下达到39.9%的F1值。     

限定领域口语对话系统中超出领域话语的协处理方法

领域外话语的开放性、口语化以及表达多样性,使得现有的限定领域口语对话系统不能很好地处理超出领域话语。该文提出了一种限定领域口语对话系统协处理方案,基于人工智能标记语言AIML,设计一套理解开放语义用户话语的理解模板,并对未匹配话语基于话语相似度进行理解模板分类,进而采用扩展有限状态自动机处理模式,结合对话流程上下文的状态及信息,实现理解模板到应答模板的转换,改变了单纯模板匹配方法在对话流程控制方面的相对缺失。中文手机导购领域的测试表明,该文所提出的协处理方法能有效地辅助口语对话系统完成限定领域完整对话流程,得到更好的用户满意度。
     

融合情感分析的隐式反问句识别模型

反问是现代汉语中一种常用的修辞手法，根据是否含有反问标记可分为显式反问句与隐式反问句。其中隐式反问句表达的情感更为丰富，表现形式也十分复杂，对隐式反问句的识别更具挑战性。该文首先扩充了汉语反问句语料库，语料库规模达到10 000余句，接着针对隐式反问句的特点，提出了一种融合情感分析的隐式反问句识别模型。模型考虑了句子的语义信息、上下文信息，并借助情感分析任务辅助识别隐式反问句。实验结果表明，该文提出的模型在隐式反问句识别任务上取得了良好的性能。     

SCT-CVAE: 基于分离Context机制与CVAE的Transformer对话模型

现有多轮对话生成的Encoder-Decoder模型容易产生单一的响应,虽然使用条件自动编码器(CVAE)可以有效改善响应的多样性问题,但是基于CVAE的模型大多不能够捕捉上下文中较长的依赖。同时,现有的模型也无法显式处理上下文话语和源语句之间的差异。该文将Transformer与CVAE结合,通过Transformer捕捉对话中的长依赖,使潜在变量可以学习到更丰富的对话分布。通过分离上下文语句的编码实现上下文的信息流向源语句,并使用门控机制来控制上下文话语和源语句的信息融合,捕捉对话中对响应影响更大的信息。实验表明,该模型产生的响应多样性更高,质量更好。     

端到端对话系统意图语义槽联合识别研究综述

目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势，在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法，对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比，并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限；阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势；重点介绍了基于BERT（Bidirectional Encoder Representations from Transformers）模型的联合识别方法，不仅能够并行处理而且可以解决一词多义的问题，是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。     

基于BERT的强化语境与语义信息的对话幽默识别模型

幽默识别是自然语言处理的新兴研究领域之一。对话的特殊结构使得在对话中的幽默识别相较于短文本幽默识别更具有挑战性。在对话中,除了当前话语以外,上下文语境信息对于幽默的识别也至关重要。因此,该文在已有研究的基础上结合对话的结构特征,提出基于BERT的强化语境与语义信息的对话幽默识别模型。模型首先使用BERT对发言人信息和话语信息进行编码,其次分别使用句级别的BiLSTM、CNN和Attention机制强化语境信息,使用词级别的BiLSTM和Attention机制强化语义信息。实验结果表明,该文方法能有效提升机器识别对话中幽默的能力。     

一种融合上下文特征的中文隐式情感分类模型

对网络上海量的文本数据进行情感分析,可以更好地挖掘网民行为规律、帮助决策机构了解舆情倾向和改善商家服务质量。在实际表达中,人们除了采用带有明显情感词的主观表达外,还采用含蓄的方式表达自己的主观倾向。带有显式情感词的文本情感分析作为自然语言处理领域的基础性研究任务,已经取得了丰富的研究成果。然而,针对隐式文本的情感分析技术还处于起步阶段。与显式情感分析任务相比,隐式情感分类任务更加困难。隐式表达文本具有中立性表达、缺乏情感词和上下文依赖的特点,使得传统的文本分类方法不再适用。针对以上问题,采用word2vec词嵌入技术提取文本特征,分别进行了基于TextCNN、LSTM和BiGRU分类模型的研究。在各个深度分类模型研究基础上,还进行了融合注意力机制的分类模型研究。针对隐式表达对上下文内容依赖的特点,设计了一种融合上下文语义特征和注意力机制的分类模型,增强了部分中立性隐式表达句的分类效果。最后在SMP2019公开数据集上进行了实验,取得了比上述几种基础深度网络模型与融合注意力机制分类模型更好的分类效果。     

基于听说知识融合网络的多模态对话情绪识别

多模态对话情绪识别旨在根据多模态对话语境判别出目标话语所表达的情绪类别,是构建共情对话系统的基础任务.现有工作中大多数方法仅考虑多模态对话本身信息,忽略了对话中与倾听者和说话者相关的知识信息,从而限制了目标话语情绪特征的捕捉.为解决该问题,提出一种基于听说知识融合网络的多模态对话情绪识别模型(LSKFN),引入与倾听者和说话者相关的外部常识知识,实现多模态上下文信息和知识信息的有机融合.LSKFN包含多模态上下文感知、听说知识融合、情绪信息汇总和情绪决策4个阶段,分别用于提取多模态上下文特征、融入听说知识特征、消除冗余特征和预测情绪分布.在两个公开数据集上的实验结果表明,与其他基准模型相比,LSKFN能够为目标话语提取到更加丰富的情绪特征,并且获得较好的对话情绪识别效果.     

基于主题森林结构的对话管理模型

现有许多对话系统都是面向任务的,但很少考虑对话过程涉及的多主题、主题切换、主 题间的信息共享,以及不同信息重要程度不同等问题.该文提出基于主题森林结构的对话管理 模型,较好地处理了上述问题,能实现对话过程的混合主导.该模型能保证交互过程中对话内容 的一致性,对上下文的理解、对话控制和应答决策灵活自然.其推理机应用了多种与领域无关的 策略,具有较好的可移植性.     

中文手机导购对话系统中的语义信息提取

语义信息提取是对话系统的核心问题之一。研究限定领域对话系统的语义信息提取方法及其在中文手机导购领域的应用。给出手机销售领域的语义信息,介绍语义提取的总体技术框图,详细介绍正则表达式匹配、单句消歧、上下文消歧等关键技术的实现。测试结果表明,该方法能较好地完成对话中用户输入句子的语义信息提取任务。     

A Statistical Dialogue Analysis Model Based on Speech Acts for Dialogue Machine Translation

In some cases, to make a proper translation of an utterance in a dialogue, different pieces of contextual information are needed. Interpreting such utterances often requires dialogue analysis including speech acts and discourse analysis. In this paper, a statistical dialogue analysis model for Korean–English dialogue machine translation based on speech acts is proposed. The model uses syntactic patterns and n-grams of speech acts. The syntactic patterns include surface syntactic features which are related to the language-dependent expressions of speech acts. Speech-act n-grams are used to approximate the context of utterances. The key feature is the use of speech-act n-grams based on hierarchical recency. Experimental results with trigrams show that the proposed model achieves an accuracy of 66.87% for the top candidate and 82.35% for the top three candidates. It indicates that the proposed model based on hierarchical recency outperforms the model based on linear recency.     

限定领域口语对话系统中超出领域话语的对话行为识别

由于领域外话语具有内容短小、表达多样性、开放性及口语化等特点,限定领域口语对话系统中超出领域话语的对话行为识别是一个挑战。该文提出了一种结合外部无标签微博数据的随机森林对话行为识别方法。该文采用的微博数据无需根据应用领域特点专门收集和挑选,又与口语对话同样具有口语化和表达多样性的特点,其训练得到的词向量在超出领域话语出现超出词汇表字词时提供了有效的相似性扩展度量。随机森林模型具有较好的泛化能力,适合训练数据有限的分类任务。中文特定领域的口语对话语料库测试表明,该文提出的超出领域话语的对话行为识别方法取得了优于最大熵、卷积神经网络等短文本分类研究进展中的方法的效果。     

人机对话系统中意图识别方法综述

口语理解是人机对话系统的重要组成部分,而意图识别是口语理解中的一个子任务,而且至关重要。意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人机对话系统中意图识别的困难,传统的机器学习方法无法理解用户话语的深层语义信息,主要对近些年应用在意图识别研究方面的深度学习方法进行分析、比较和总结,进一步思考如何将深度学习模型应用到多意图识别任务中,从而推动基于深度神经网络的多意图识别方法的研究。     

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.     

SPDR: 基于片段预测的多轮对话改写

对话系统对上文信息使用不充分是当前制约多轮对话效果的主要因素,基于上文信息对用户当前输入进行改写是该问题的一种重要解决方法。改写任务的核心在于指代消解(pronoun resolution)和省略补全(ellipsisrecovery)。该文提出了一种基于BERT的指针网络(Span Prediction for Dialogue Rewrite,SPDR),该模型会预测用户当前轮次输入语句中所有token前面需要填充的内容,在上文中对应的片段(span)起始和结束的位置,来实现多轮对话改写;该文还提出了一种新的衡量改写结果的评价指标sEMr。相较于基于指针生成网络的模型,该模型在不损失效果的前提下推理速度提升接近100%,基于RoBERTa-wwm的SPDR模型在5项指标上均有明显提升。     

An Evidential Model for Tracking Initiative in Collaborative Dialogue Interactions

In this paper, we argue for the need to distinguish between task initiative and dialogue initiative, and present an evidential model for tracking shifts in both types of initiatives in collaborative dialogue interactions. Our model predicts the task and dialogue initiative holders for the next dialogue turn based on the current initiative holders and the effect that observed cues have on changing them. Our evaluation across various corpora shows that the use of cues consistently provides significant improvement in the system's prediction of task and dialogue initiative holders. Finally, we show how this initiative tracking model may be employed by a dialogue system to enable the system to tailor its responses to user utterances based on application domain, system's role in the domain, dialogue history, and user characteristics.     

基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

自然语言理解作为医疗对话中的关键组成部分,包含意图识别和槽位填充两个重要的子任务。为建立意图和槽位的相互促进关系,实现语义层次上的建模,提出了基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法。首先,收集医疗信息网站上用户的医疗健康提问文本,基于医学知识归纳总结了24类医疗意图和5种槽位,构建了中文医疗健康咨询数据集（CMISD-UQS）;然后,引入槽位选通机制来建模意图和槽位向量之间的显式关系,设计了意图—槽位注意机制层,构建了意图上下文信息以意图标签向量方式嵌入到槽位的方式。在公共数据集ATIS和SNIPS上与八种代表性算法的对比实验结果表明,所提算法优于所比较的八种算法;在CMISD-UQS数据集上的测试结果表明,所提算法的医疗意图识别准确率、语义槽填充F1值、句子级语义框架准确率分别为78.1%、94.9%和73.2%,均优于其他对比算法。