基于细粒度信息集成的意图识别和槽填充联合模型

意图识别和槽位填充是构建口语理解(SLU)系统的两项主要任务，两者相互联合的模型是对话系统的研究热点。这两个任务紧密相连，槽位填充通常高度依赖于意图信息。针对最近联合模型中：固定阈值很难在不同领域中选择出正向的投票，且复杂的意图信息不能充分地引导槽位填充的问题。提出了一种基于细粒度信息集成的意图识别和槽填充联合模型。其中，将由意图解码器获取的意图信息与各单词的编码表示拼接，形成意图引导的集成编码表示，从而为单词级槽位填充提供细粒度的意图信息。同时，通过计算最大意图得分和最小意图得分的中间值获得逻辑自适应阈值，并用其代替固定阈值。逻辑自适应阈值可随不同意图标签的得分分布而变化。通过在两个多标签数据集上的实验结果验证了提出的模型的性能。     

意图识别与语义槽填充的双向关联模型

意图识别与语义槽填充联合建模正成为口语理解（Spoken Language Understanding,SLU）的新趋势。但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系。考虑到意图识别与语义槽填充的双向关联关系可以使两任务相互促进,提出了一种基于门控机制的双向关联模型（BiAss-Gate）,将两个任务的上下文信息进行融合,深度挖掘意图识别与语义槽填充之间的联系,从而优化口语理解的整体性能。实验表明,所提模型BiAss-Gate在ATIS和Snips数据集上,语义槽填充F1值最高达95.8%,意图识别准确率最高达98.29%,对比其他模型性能得到了显著提升。     

面向任务口语理解研究现状综述

口语理解是对话系统重要的功能模块，语义槽填充和意图识别是面向任务口语理解的两个关键子任务。近年来，联合识别方法已经成为解决口语理解中语义槽填充和意图识别任务的主流方法，介绍两个任务由独立建模到联合建模的方法，重点介绍基于深度神经网络的语义槽填充和意图识别联合建模方法，并总结了目前存在的问题以及未来的发展趋势。     

中文口语语言理解中依赖引导的字特征槽填充模型

意图识别和槽信息填充的联合模型将口语语言理解(Spoken Language Understanding, SLU)技术提升到了一个新的水平,但由于存在出现频率低或未见过的槽指称项(0-shot slot mentions),模型的序列标注性能受限,而且这些联合模型往往没有利用输入序列存在的语法知识信息。已有研究表明,序列标注任务可以通过引入依赖树结构,辅助推断序列标注中槽的存在。由于中文话语由一串字序列组成,在中文口语语言理解中,输入话语的字和槽信息是一一对应的,因而槽信息填充模型往往是字特征模型。基于词的依赖树结构无法直接应用于基于字特征的槽填充模型。为了解决字词之间的矛盾,该文提出了一种基于字模型的依赖引导槽填充模型(Dependency-guided Character-based Slot Filling model, DCSF),提供一种简洁的方法用于解决将词级依赖树结构引入中文字特征模型的冲突,同时通过对话语中词汇内部关系进行建模,保留了词级上下文信息和分词信息。在公共基准语料库SMP-ECDT和CrossWOZ上的实验结果表明,该模型优于比较模型,特别是在未见过的槽指称...     

人机对话系统中意图识别方法综述

口语理解是人机对话系统的重要组成部分,而意图识别是口语理解中的一个子任务,而且至关重要。意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人机对话系统中意图识别的困难,传统的机器学习方法无法理解用户话语的深层语义信息,主要对近些年应用在意图识别研究方面的深度学习方法进行分析、比较和总结,进一步思考如何将深度学习模型应用到多意图识别任务中,从而推动基于深度神经网络的多意图识别方法的研究。     

结合边界预测和动态模板方法的槽填充模型

意图识别和槽填充的联合模型将口语语言理解(Spoken Language Understanding, SLU)提升到了一个新的水平，但是现有模型通过话语上下文信息判断位置信息，缺少对槽信息标签之间位置信息的考虑，导致模型在槽位提取过程中容易发生边界错误，进而影响最终槽位提取表现。此外，在槽信息提取任务中，槽指称项(Slot mentions)可能与正常表述话语并没有区别，特别是电影名字、歌曲名字等，模型容易受到槽指称项话语的干扰，因而无法在槽位提取中正确识别槽位边界。该文提出了一种面向口语语言理解的结合边界预测和动态模板的槽填充(Boundary-prediction and Dynamic-template Slot Filling, BDSF)模型。该模型提供了一种联合预测边界信息的辅助任务，将位置信息引入到槽信息填充中，同时利用动态模板机制对话语句式建模，能够让模型聚焦于话语中的非槽指称项部分，避免了模型被槽指称项干扰，增强模型区分槽位边界的能力。在公共基准语料库SMP-ECDT和CAIS上的实验结果表明，该模型优于对比模型，特别是能够为槽标签预测模型提供准确的位置信息。     

利用知识强化语言模型的口语理解方法

基于预训练的语言模型在口语理解（SLU）任务中具有优异的性能表现。然而,与人类理解语言的方式相比,单纯的语言模型只能建立文本层级的上下文关联,缺少丰富的外部知识来支持其完成更为复杂的推理。提出一种针对SLU任务的基于Transformer的双向编码器表示（BERT）的联合模型。引入单词级别的意图特征并使用注意力机制为BERT融合外部知识。此外,由于SLU包含意图检测和槽填充2个相互关联的子任务,模型通过联合训练捕捉2个子任务间的关联性,充分运用这种关联性增强外部知识对于SLU任务的性能提升效果,并将外部知识转化为可用于特定子任务的特征信息。在ATIS和Snips 2个公开数据集上的实验结果表明,该模型句子级别的语义准确率分别为89.1%和93.3%,与BERT模型相比,分别提升了0.9和0.4个百分点,能够有效利用外部知识提升自身性能,在SLU任务中拥有比BERT更为优秀的性能表现。     

基于深度学习的口语理解联合建模算法综述

口语理解是自然语言处理领域的研究热点之一,应用在个人助理、智能客服、人机对话、医疗等多个领域.口语理解技术指的是将机器接收到的用户输入的自然语言转换为语义表示,主要包含意图识别、槽位填充这两个子任务.现阶段,使用深度学习对口语理解中意图识别和槽位填充任务的联合建模方法已成为主流,并且获得了很好的效果.因此,对基于深度学习的口语理解联合建模算法进行总结分析具有十分重要的意义.首先介绍了深度学习技术应用到口语理解的相关工作,然后从意图识别和槽位填充的关联关系对现有的研究工作进行剖析,并对不同模型的实验结果进行了对比分析和总结,最后给出了未来的研究方向及展望.     

问答中的问句意图识别和约束条件分析

意图识别和约束条件分析是口语理解(SLU)中的两个重要过程。前者是分类问题,判断话语意图;后者可以看作序列标注问题,给关键信息标特定标签。该文提出了一种LSTM联合模型,同时结合了CRF和注意力机制。在ID问题上,将所有词语输出层向量的加权和用于分类;在SF问题上,考虑标签之间的转移,计算标签序列在全局的可能性。在中文数据集和ATIS英文数据集上的实验验证了该文所提方法的有效性。     

基于BLSTM-CNN-CRF模型的槽填充与意图识别

口语语言理解（SLU）中的槽填充和意图识别任务通常是分别进行建模，忽略了任务之间的关联性。基于深度学习优势提出一种BLSTM-CNN-CRF学习框架，为槽填充和意图识别任务构建联合模型。双向长短期记忆网络（BLSTM）对全句的单词标签进行标注，卷积神经网络（CNN）用以提取全句的语义特征，条件随机场（CRF）通过解码单词标签与语义特征，获得全句的最佳序列标签。在航空旅行信息系统（ATIS）数据集上的实验表明，联合模型在不依赖于任何人工特征的情况下获得较高性能。     

标签语义增强的弱监督文本分类模型

针对弱监督文本分类任务中存在的类别词表噪声和标签噪声问题,提出了一种标签语义增强的弱监督文本分类模型。首先,基于单词上下文语义表示对类别词表去噪,从而构建高度准确的类别词表;然后,构建基于MASK机制的词类别预测任务对预训练模型BERT进行微调,以学习单词与类别的关系;最后,利用引入标签语义的自训练模块来充分利用所有数据信息并减少标签噪声的影响,以实现词级到句子级语义的转换,从而准确预测文本序列类别。实验结果表明,与目前最先进的弱监督文本分类模型LOTClass相比,所提方法在THUCNews、AG News和IMDB公开数据集上,分类准确率分别提高了5.29、1.41和1.86个百分点。     

基于神经机器翻译编码器的语义学习分析

神经机器翻译凭借其良好性能成为目前机器翻译的主流方法,然而,神经机器翻译编码器能否学习到充分的语义信息一直是学术上亟待探讨的问题.为了探讨该问题,该文通过利用抽象语义表示(abstract meaning rep-resentation,AMR)所包含的语义特征,分别从单词级别、句子级别两种不同的角度去分析神经机器翻译...     

基于BERT的强化语境与语义信息的对话幽默识别模型

幽默识别是自然语言处理的新兴研究领域之一。对话的特殊结构使得在对话中的幽默识别相较于短文本幽默识别更具有挑战性。在对话中,除了当前话语以外,上下文语境信息对于幽默的识别也至关重要。因此,该文在已有研究的基础上结合对话的结构特征,提出基于BERT的强化语境与语义信息的对话幽默识别模型。模型首先使用BERT对发言人信息和话语信息进行编码,其次分别使用句级别的BiLSTM、CNN和Attention机制强化语境信息,使用词级别的BiLSTM和Attention机制强化语义信息。实验结果表明,该文方法能有效提升机器识别对话中幽默的能力。     

基于深度学习的篇章级事件抽取研究综述

事件抽取是信息抽取领域中一项十分重要且具有挑战性的任务,在事理图谱构建、舆情监控、态势感知等方面起着举足轻重的作用。目前研究较多的是句子级事件抽取,而面对“论元分散”和“多事件”的挑战,基于深度学习的篇章级事件抽取陆续展开。总结了篇章级事件抽取的定义、主要任务和面临的挑战,分别从获取词语、句子和文档三种不同粒度的语义信息,捕获文档结构特征建模不同的图结构,融合语义信息和结构特征,以及将事件抽取转化为阅读理解、智能问答等其他任务解决方案等四个不同的维度,详细讨论了近年来篇章级事件抽取相关的模型和方法,在此基础上归纳了常用数据集,并对典型方法的抽取效果进行了评估和对比。展望了篇章级事件抽取的研究趋势。     

基于图的多层次注意力事实验证算法

事实验证任务要求能够从大规模的文本语料库中抽取相关的证据,并通过推理对给定的声明得出事实性的判断。现有的研究通常将检索到的证据拼接,然后比较声明和证据嵌入的余弦相似度,这些方法忽视了长距离证据之间的联系,以及不同层次的语义相似度,而这些特征对于推理验证至关重要。设计了一种基于图的多层次注意力模型（Graph-aware Hierarchical Attention Networks for Fact Verification,GHAN）。该模型首先通过BERT（Bidirectional Encoder Representation from Transformers）筛选出所需的证据片段,再利用卷积神经网络提取不同长度的[N]-gram特征,构造不同粒度的相似度转移矩阵提取相似度特征。为了综合考虑字符级别和句子级别的语义信息,将证据信息构建成信息融合图,再利用基于核函数的注意力机制进行信息传递与证据推理。该算法在FEVER数据集上取得较好的效果,优于其他基于BERT的方法。     

双匹配焦点融合的开放域答案选择模型

开放域答案选择模型通过对同一问题的不同候选答案打分,寻找与问题最匹配的答案,是问答（QA）系统的重要组成部分。现有开放域QA系统中的答案选择模型较少关注词级与句子级的融合,导致在匹配关系上缺乏上下文的语义联系,或损失个别单词在语法语义上的细节信息。基于相邻相似原理,提出一种融合双匹配焦点的答案选择模型。根据问答任务多语句关联的特点,设计一种可以将词语的问答承接关系和问答语义关系嵌入进词向量的词嵌入方式,并利用该词向量直接计算词对的余弦相似度,得到词级匹配焦点。通过引入注意力机制的Encoder-Decoder模型提取句子级词对匹配焦点,以问题为基准对齐两个焦点分布矩阵,并使用焦点间的相对距离融合词级与句子级匹配矩阵,获得问题与答案的相关性得分。在Wiki-QA、TREC-QA两个公开问答数据集上的实验结果表明,该模型与多跳注意力模型、层级排序模型相比,平均准确率均值分别提高0.080 1和0.057 1,平均倒数排名分别提高0.017 6和0.006 6。     

基于MFE-BERT与FNNAttention的心理医学知识图谱构建

针对心理医学领域文本段落冗长、数据稀疏、知识散乱且规范性差的问题, 提出一种基于多层级特征抽取能力预训练模型(MFE-BERT)与前向神经网络注意力机制(FNNAttention)的心理医学知识图谱构建方法. MFE-BERT在BERT模型基础上将其内部所有Encoder层特征进行合并输出, 以获取包含更多语义的特征向量, 同时对两复合模型采用FNNAttention机制强化词级关系, 解决长文本段落语义稀释问题. 在自建的心理医学数据集中, 设计MFE-BERT-BiLSTM-FNNAttention-CRF和MFE-BERT-CNN-FNNAttention复合神经网络模型分别进行心理医学实体识别和实体关系抽取, 实体识别F1值达到93.91%, 实体关系抽精确率达到了89.29%, 通过融合文本相似度与语义相似度方法进行实体对齐, 将所整理的数据存储在Neo4j图数据库中, 构建出一个含有3652个实体, 2396条关系的心理医学知识图谱. 实验结果表明, 在MFE-BERT模型与FNNAttention机制的基础上构建心理医学知识图谱切实可行, 提出的改进模型所搭建的心理医学知识图谱可以更好地应用于心理医学信息管理中, 为心理医学数据分析提供参考.     

基于层次特征提取的文本分类研究

随着信息技术的发展,文本信息数据正在爆炸式增长,从众多的文本数据中有效地获取有用信息是一个值得研究的问题。针对该任务提出基于层次特征提取的文本分类模型,考虑文本中句子级别的语义内容以及文本级别的语义内容,依次使用两种神经网络模型建模句子级的语义内容和文本级的语义内容,从而得到关于文本的全面特征,进而基于此特征对文本进行分类。实验结果表明,该方法能够更加准确地提取文本的特征,具有更高的分类准确度。