融合实体信息和时序特征的意图识别模型

人机对话意图识别旨在通过人机之间简短的对话识别出用户意图,通过对话文本的分类进而实现意图的识别。针对人机对话中因篇幅短导致语境匮乏和因对话随意性导致意图模糊的问题,提出了一种融合实体信息和时序特征的人机对话意图识别模型。在文本表示阶段,通过捕捉对话中实体信息来增强文本语义表达,并利用双向注意力机制动态生成符合语境的文本表示;并利用双向GRU提取对话上下文的时序特征来获取上下文意图之间的关系;通过级联多层gMLP,利用其内部空间控制单元自适应融合实体信息和时序特征,从而提升意图识别的准确率。为验证所提模型在多种任务上的效果,在不同意图识别任务数据集CCKS2018和SMP2018上进行实验,分别取得了90.6%和93.7%的准确率,对比CLSTM、DBN、Attention-RNN等具有代表性的模型,均有3%以上性能的提升。     

意图识别与语义槽填充的双向关联模型

意图识别与语义槽填充联合建模正成为口语理解（Spoken Language Understanding,SLU）的新趋势。但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系。考虑到意图识别与语义槽填充的双向关联关系可以使两任务相互促进,提出了一种基于门控机制的双向关联模型（BiAss-Gate）,将两个任务的上下文信息进行融合,深度挖掘意图识别与语义槽填充之间的联系,从而优化口语理解的整体性能。实验表明,所提模型BiAss-Gate在ATIS和Snips数据集上,语义槽填充F1值最高达95.8%,意图识别准确率最高达98.29%,对比其他模型性能得到了显著提升。     

基于BERT-BiGRU模型的智慧医疗问答系统

针对医疗问答系统在处理复杂问题时面临上下文语义理解的局限,提出一种基于BERT-BiGRU的模型。通过预训练语言模型BERT和双向门控循环单元BiGRU建立医疗问答系统,其中BERT提取文本语义特征,BiGRU学习文本的顺序依赖信息,进而全面表示文本语义结构信息。在CBLUE医疗问答数据集上与基准方法相比,该模型在意图识别任务上的精确率提高到79.22%,召回率提高到81.23%,F1值(精确率和召回率的调和平均值)提高到79.82%。研究表明,结合BERT和BiGRU的模型可以更好地理解医疗问句的语义和结构信息,显著地提升了医疗问答系统的性能。     

基于BERT的意图分类与槽填充联合方法

口语理解是自然语言处理的一个重要内容,意图分类和槽填充是口语理解的两个基本子任务。最近的研究表明,共同学习这两项任务可以起到相互促进的作用。该文提出了一个基于BERT的意图分类联合模型,通过一个关联网络使得两个任务建立直接联系和共享信息,以此来提升任务效果。模型引入BERT来增强词向量的语义表示,有效解决了目前联合模型由于训练数据规模较小导致的泛化能力较差的问题。在ATIS和Snips数据集上的实验结果表明,该模型能有效提升意图分类和槽填充的性能。     

人机对话系统中意图识别方法综述

口语理解是人机对话系统的重要组成部分,而意图识别是口语理解中的一个子任务,而且至关重要。意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人机对话系统中意图识别的困难,传统的机器学习方法无法理解用户话语的深层语义信息,主要对近些年应用在意图识别研究方面的深度学习方法进行分析、比较和总结,进一步思考如何将深度学习模型应用到多意图识别任务中,从而推动基于深度神经网络的多意图识别方法的研究。     

一种基于窗口机制的口语理解异构图网络

口语理解(spoken language understanding, SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架, SLU通常包括两个子任务:意图检测(intent detection, ID)和槽位填充(slot filling, SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此...     

基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

自然语言理解作为医疗对话中的关键组成部分,包含意图识别和槽位填充两个重要的子任务。为建立意图和槽位的相互促进关系,实现语义层次上的建模,提出了基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法。首先,收集医疗信息网站上用户的医疗健康提问文本,基于医学知识归纳总结了24类医疗意图和5种槽位,构建了中文医疗健康咨询数据集（CMISD-UQS）;然后,引入槽位选通机制来建模意图和槽位向量之间的显式关系,设计了意图—槽位注意机制层,构建了意图上下文信息以意图标签向量方式嵌入到槽位的方式。在公共数据集ATIS和SNIPS上与八种代表性算法的对比实验结果表明,所提算法优于所比较的八种算法;在CMISD-UQS数据集上的测试结果表明,所提算法的医疗意图识别准确率、语义槽填充F1值、句子级语义框架准确率分别为78.1%、94.9%和73.2%,均优于其他对比算法。     

利用知识强化语言模型的口语理解方法

基于预训练的语言模型在口语理解（SLU）任务中具有优异的性能表现。然而,与人类理解语言的方式相比,单纯的语言模型只能建立文本层级的上下文关联,缺少丰富的外部知识来支持其完成更为复杂的推理。提出一种针对SLU任务的基于Transformer的双向编码器表示（BERT）的联合模型。引入单词级别的意图特征并使用注意力机制为BERT融合外部知识。此外,由于SLU包含意图检测和槽填充2个相互关联的子任务,模型通过联合训练捕捉2个子任务间的关联性,充分运用这种关联性增强外部知识对于SLU任务的性能提升效果,并将外部知识转化为可用于特定子任务的特征信息。在ATIS和Snips 2个公开数据集上的实验结果表明,该模型句子级别的语义准确率分别为89.1%和93.3%,与BERT模型相比,分别提升了0.9和0.4个百分点,能够有效利用外部知识提升自身性能,在SLU任务中拥有比BERT更为优秀的性能表现。     

基于上下文语义增强的实体关系联合抽取

基于span的联合抽取模型在实体和关系抽取（RE）任务中共享实体span的语义表示,能有效降低流水线模型带来的级联误差,但现有模型无法充分地将上下文信息融入实体和关系的表示中。针对上述问题,提出一个基于上下文语义增强的实体关系联合抽取（JERCE）模型。首先通过对比学习的方法获取句子级文本和实体间文本的语义特征表示;然后,将该表示加入实体和关系的表示中,对实体关系进行联合预测;最后,动态调整两个任务的损失以使联合模型的整体性能最优化。在公共数据集CoNLL04、ADE和ACE05上进行实验,结果显示JERCE模型与触发器感知记忆流框架（TriMF）相比,实体识别F1值分别提升了1.04、0.13和2.12个百分点,RE的F1值则分别提升了1.19、1.14和0.44个百分点。实验结果表明,JERCE模型可以充分获取上下文中的语义信息。     

基于对话结构和联合学习的情感和意图分类

在社交媒体中存在大量的对话文本,而在这些对话中,说话人的情感和意图通常是相关的。不仅如此,对话的整体结构也会影响对话的情感和意图,因此,需要对对话中的情感和意图进行联合学习。为此,该文提出了基于对话结构的情感、意图联合学习模型,考虑对话内潜在的情感与意图的关联性,并且利用对话的内在结构与说话人的情感和意图之间的关系,提升多轮对话文本的每一子句情感及其意图的分类性能。同时,通过使用注意力机制,利用对话的前后联系来综合考虑上下文对对话情感的影响。实验表明,联合学习模型能有效地提高对话子句情感及意图分类的性能。     

Information Seeking Spoken Dialogue Systems— Part I: Semantics and Pragmatics

In this paper, the semantic and pragmatic modules of a spoken dialogue system development platform are presented and evaluated. The main goal of this research is to create spoken dialogue system modules that are portable across applications domains and interaction modalities. We propose a hierarchical semantic representation that encodes all information supplied by the user over multiple dialogue turns and can efficiently represent and be used to argue with ambiguous or conflicting information. Implicit in this semantic representation is a pragmatic module, consisting of context tracking, pragmatic analysis and pragmatic scoring submodules, which computes pragmatic confidence scores for all system beliefs. These pragmatic scores are obtained by combining semantic and pragmatic evidence from the various sub-modules (taking into account the modality of input) and are used to rank-order attribute-value pairs in the semantic representation, as well as identifying and resolving ambiguities. These modules were implemented and evaluated within a travel reservation dialogue system under the auspices of the DARPA Communicator project, as well as for a movie information application. Formal evaluation of the semantic and pragmatic modules has shown that by incorporating pragmatic analysis and scoring, the quality of the system improves for over 20% of the dialogue fragments examined     

基于BERT的强化语境与语义信息的对话幽默识别模型

幽默识别是自然语言处理的新兴研究领域之一。对话的特殊结构使得在对话中的幽默识别相较于短文本幽默识别更具有挑战性。在对话中,除了当前话语以外,上下文语境信息对于幽默的识别也至关重要。因此,该文在已有研究的基础上结合对话的结构特征,提出基于BERT的强化语境与语义信息的对话幽默识别模型。模型首先使用BERT对发言人信息和话语信息进行编码,其次分别使用句级别的BiLSTM、CNN和Attention机制强化语境信息,使用词级别的BiLSTM和Attention机制强化语义信息。实验结果表明,该文方法能有效提升机器识别对话中幽默的能力。     

结合胶囊网络的领域适应意图识别

意图识别是口语理解中的重要任务,关乎整个对话系统的性能。针对新领域人机对话系统中训练语料较少,构建可训练语料十分昂贵的问题,提出一种利用胶囊网络改进领域判别器的领域适应方法。该方法利用领域对抗神经网络将源域的特征信息迁移至目标域中,此外,为了保证领域意图文本的特征质量,对源域和目标域的特征表示进行再次提取,充分获取意图文本的特征信息,捕捉不同领域的独有特征,提高领域的判别能力,保障领域适应任务的可靠性。在目标域仅包含少量样本的情况下,该方法在中文和英文数据集上的准确率分别达到了83.3%和88.9%。     

基于语义特征空间上下文的短文本表示学习

文本表示是自然语言处理中的基础任务,针对传统短文本表示高维稀疏问题,提出1种基于语义特征空间上下文的短文本表示学习方法。考虑到初始特征空间维度过高,通过计算词项间互信息与共现关系,得到初始相似度并对词项进行聚类,利用聚类中心表示降维后的语义特征空间。然后,在聚类后形成的簇上结合词项的上下文信息,设计3种相似度计算方法分别计算待表示文本中词项与特征空间中特征词的相似度,以形成文本映射矩阵对短文本进行表示学习。实验结果表明,所提出的方法能很好地反映短文本的语义信息,能对短文本进行合理而有效的表示学习。     

Handling Knowledge Sources in Human-Machine Interaction

This article describes the various knowledge sources that, in general, are required to handle multimodal human-machine interaction efficiently: these are called the task, user, dialogue, environment and system models. The first part discusses the content of these models. Special emphasis is given on problems that occur when speech is combined with other modalities. The second part focuses on spoken language characteristics and proposes an adapted semantic representation for the task model. It also describes a stochastic method to collect and process the information related to this model. The conclusion discusses an extension of such a stochastic method to multimodality.     

基于软参数共享的事件联合抽取方法

事件抽取是项重要的信息抽取任务,旨在抽取文本中的事件信息。目前基于多任务学习的事件联合抽取方法大多基于硬参数共享,此类方法往往会导致跷跷板现象的出现,即一项任务的性能往往通过损害另一项任务的性能来提高。为了解决这一问题,提出了一种基于软参数共享的事件联合抽取方法,该方法明确地分离了共享参数和任务特定参数,并通过双层门控网络增强模型提取和筛选语义知识的能力,使模型能同时为两个任务学习到合适的特征表示,实现了更高效的信息共享和联合表示学习。在DuEE1.0公共数据集上进行了实验,使用准确率、召回率、F1值作为评价指标,并通过对比实验和消融实验验证了方法的有效性。对比基于硬参数共享的联合抽取模型事件识别任务F1值提高了2.0%,论元角色分类任务F1值提高了0.9%,有效地缓解了跷跷板现象的出现,验证了方法的有效性。     

面向GIS多重表达的本体语义模型

多重表达是地理信息弹性存取和集成分析的一个内在要求,它实质上提供了一个多尺度、多应用主题的信息集成机制。多重表达的概念建模需要在高度抽象的地理概念层次上实现地理信息一体化的弹性表达,而不是局限于数据库中几何多样性的一致性描述。基于本体的地理信息建模更贴近于认知模型,还有助于模型语义的表达以及基于语义的信息集成和共享。论文探讨了基于本体的地理概念表达与GIS语义的形式化,并通过多重表达上下文的抽象以及本体逻辑基础的上下文扩展,给出一个支持GIS多重表达的本体语义模型,该模型能够为多重表达数据库的实现提供一个易于理解和共享的形式化基础。     

融合敏感词规则和字符级RCNN模型的用户意图识别

用户意图识别是基于用户对话用语识别用户的真实对话意图,是人机对话研究中的一项关键任务。针对现有用户意图识别方法的不足,提出融合敏感词规则和字符级RCNN模型的用户意图识别方法。构建敏感句子与敏感词词典,并通过规则及相似度匹配策略对特征明显的对话进行意图识别。针对类别特征不明显的对话提出深层语义分类模型,该模型以单字符串作为输入序列,利用RCNN模型构建意图分类框架,既可以避免分词结果不准确带来的错误传导问题,同时利用字符的分布向量表示方法还可以获取句子的深层语义信息。实验结果表明,该方法在两个数据集上都取得了较好的结果,明显优于传统的意图识别方法。