基于BERT与Seq2Seq模型的智能情感对话机器人系统设计

随着人工智能的发展,机器人广泛应用于各行各业中,而学生在英语学习过程中也可以利用对话模拟机器人进行英语练习,培养英语语感,提升英语水平。因此,研究利用改进后的序列到序列(Sequen to Sequence, Seq2Seq)模型,结合基于Transformers模型的双向编码器(Bidirectional Encoder Representations from Transformers, BERT)模型设计具有情感属性的智能对话模拟机器人,模拟人类在不同情境下的自然情感语境对话,以提升学生的口语英语水平。研究结果表明,研究构建模型的对数损失随着预测概率的增大稳定在2左右,改进Seq2Seq-BERT模型的Distinct-1平均得分为0.068,Embedding Average平均得分为0.262,情感精确度平均得分为87.24%,人工评价的逻辑相关、上下文连贯的回复占总回复的50%,说明设计的英语语言对话机器人系统性能良好,能有效提供多元化的英语情感对话回复,进而满足实际应用中学生英语对话练习的需要,能够优化英语教学模式,改进教师的授课方式,最终改善学生的学习效果。     

基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法: 锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.883 3和0.925 1的句子级准确率。     

基于BERT的电子病历命名实体识别

针对传统模型在处理电子病历文本命名实体识别问题时,存在的无法表征字的多义性和分词错误传递最终识别效果等问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的命名实体识别模型,该方法引入BERT预训练语言模型增强词向量的语义表示;使用...     

基于多维潜在语义特征的幽默识别

幽默是人类独有的品质,在日常交际中发挥着重要作用.随着人工智能的快速发展,如何让计算机识别幽默成了自然语言处理研究领域的热门研究内容之一.该文针对幽默的自动识别问题,基于幽默理论和领域知识,系统地分析总结了幽默的五类显著特性,包括不一致特性、模糊特性、情感特性、语音特性和句法结构特性,并针对每一类特性构建了多种幽默特征...     

基于动态常识推理与多维语义特征的幽默识别

随着社交媒体的飞速发展,幽默识别任务受到研究者广泛关注。其目标是判断给定文本是否具有幽默表达。现有方法主要基于幽默产生理论,采用规则或神经网络模型提取多种幽默相关特征,如不一致性、情感和语音等。然而,这些方法未充分捕捉文本内部的情感特征,忽视了隐含在幽默文本中的情感表达,影响了幽默识别的准确性。为解决此问题,该文提出了CMSOR方法,以动态常识和多维语义特征为驱动。首先,利用外部常识信息从文本中动态推理说话者的隐式情感表达;然后,引入WordNet词典计算词级语义距离,捕捉不一致性,并计算模糊性特征;最后,基于这三个特征维度构建幽默语义,实现幽默识别。实验证明,CMSOR模型相对于当前基准模型在三个公开数据集上的识别性能均有显著提升。     

基于BERT的中文简历命名实体识别

为了充分发掘中文简历数据中所蕴含的信息,提高构建社交网络知识图谱和档案知识图谱的实体丰富度,提出了基于BERT的中文简历命名实体识别技术.该技术模型首先通过BERT网络将大规模未标注文本生成具有语义特征的字符向量,接着通过嵌入条件随机场(CRF)的双向长短时记忆(BiLSTM)神经网络模型获取输入文本序列的上下文特征,...     

基于藏文BERT的藏医药医学实体识别

藏医药文本字符嵌入对藏医药医学实体识别有着重要意义,但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型,并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习,增强字符嵌入对藏文字符及其上下文信息的表示能力,然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系,最后使用CRF层强化标注序列的合法性。实验结果表明,使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果,F1值达96.18%。     

基于BERT模型的知识库问答方法研究

基于知识库的问答是自然语言处理研究热点之一,在针对知识库问答的方法中,传统的字向量和词向量无法很好地表示问句上下文的语义信息、循环神经网络并行计算能力不足和没有考虑句子中周围词对当前词的影响、卷积神经网络不考虑字在问句中位置信息等问题。为了解决上述问题,论文提出了使用BERT模型结合循环神经网络和卷积神经网络模型的研究方法。在开源SimpleQuestion数据集上使用文中提出的方法,可使问句命名实体识别任务中f1-score提升了3%,问句关系分类任务准确率提升1%,最终答案生成任务准确率提升3.5%。实验表明,使用BERT模型可以增强这些传统模型的效果。     

基于BERT和CNN的基因剪接位点识别

随着高通量测序技术的发展,海量的基因组序列数据为了解基因组的结构提供了数据基础。剪接位点识别是基因组学研究的重要环节,在基因发现和确定基因结构方面发挥着重要作用,且有利于理解基因性状的表达。针对现有模型对脱氧核糖核酸（DNA）序列高维特征提取能力不足的问题,构建了由BERT(Bidirectional Encoder Representations from Transformer)和平行的卷积神经网络（CNN）组合而成的剪接位点预测模型——BERT-splice。首先,采用BERT预训练方法训练DNA语言模型,从而提取DNA序列的上下文动态关联特征,并且使用高维矩阵映射DNA序列特征;其次,采用人类参考基因组序列hg19数据,使用DNA语言模型将该数据映射为高维矩阵后作为平行CNN分类器的输入进行再训练;最后,在上述基础上构建了剪接位点预测模型。实验结果表明,BERT-splice模型在DNA剪接位点供体集上的预测准确率为96.55%,在受体集上的准确率为95.80%,相较于BERT与循环卷积神经网络（RCNN）构建的预测模型BERT-RCNN分别提高了1.55%和1.72%;同时,...     

基于Rule-BertAtten的中文小说对话人物识别方法

小说中的对话人物识别任务是将小说中对话的说话者归属识别为小说中某个具体的人物,是有声小说自动合成的基础。为了能够充分表示对话类型的区别以及表示文本前后的语义特征,该文提出了一种基于Rule-BertAtten的中文小说对话人物识别方法。首先将对话主要分成四类,即有明确人物名作为主语的对话、人称代词性别唯一匹配候选人作为主语的对话、人称代词性别多匹配候选人作为主语的对话以及其他无任何特征作为主语的对话,根据对话的类别,采用规则判断和加入注意力机制的BERT词向量语义表示的方法,实验表明,该方法具有更高的准确率。     

基于多粒度语义交互理解网络的幽默等级识别

幽默在人们日常交流中发挥着重要作用.随着人工智能的快速发展,幽默等级识别成为自然语言处理领域的热点研究问题之一.已有的幽默等级识别研究往往将幽默文本看作一个整体,忽视了幽默文本内部的语义关系.该文将幽默等级识别视为自然语言推理任务,将幽默文本划分为"铺垫"和"笑点"两个部分,分别对其语义和语义关系进行建模,提出了一种多...     

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.     

SPDR: 基于片段预测的多轮对话改写

对话系统对上文信息使用不充分是当前制约多轮对话效果的主要因素,基于上文信息对用户当前输入进行改写是该问题的一种重要解决方法。改写任务的核心在于指代消解(pronoun resolution)和省略补全(ellipsisrecovery)。该文提出了一种基于BERT的指针网络(Span Prediction for Dialogue Rewrite,SPDR),该模型会预测用户当前轮次输入语句中所有token前面需要填充的内容,在上文中对应的片段(span)起始和结束的位置,来实现多轮对话改写;该文还提出了一种新的衡量改写结果的评价指标sEMr。相较于基于指针生成网络的模型,该模型在不损失效果的前提下推理速度提升接近100%,基于RoBERTa-wwm的SPDR模型在5项指标上均有明显提升。     

面向对话的融入交互信息的实体关系抽取

实体关系抽取旨在从文本中抽取出实体之间的语义关系,是自然语言处理的一项基本任务.在新闻报道、维基百科等规范文本上,该任务的研究相对丰富且已取得了一定的效果,但面向对话文本的相关研究还处于起始阶段.相较于规范文本,对话是一个交互的过程,大量信息隐藏在交互中,这使得面向对话文本的实体关系抽取更具挑战性.依据对话的特点,该文...     

限定领域口语对话系统中超出领域话语的对话行为识别

由于领域外话语具有内容短小、表达多样性、开放性及口语化等特点,限定领域口语对话系统中超出领域话语的对话行为识别是一个挑战。该文提出了一种结合外部无标签微博数据的随机森林对话行为识别方法。该文采用的微博数据无需根据应用领域特点专门收集和挑选,又与口语对话同样具有口语化和表达多样性的特点,其训练得到的词向量在超出领域话语出现超出词汇表字词时提供了有效的相似性扩展度量。随机森林模型具有较好的泛化能力,适合训练数据有限的分类任务。中文特定领域的口语对话语料库测试表明,该文提出的超出领域话语的对话行为识别方法取得了优于最大熵、卷积神经网络等短文本分类研究进展中的方法的效果。     

汉语股票实时行情查询对话系统

介绍了一个用于股票实时行情查询的口语化的人机对话系统,该系统集成了语音识别、语言理解、对话控制等技术。文中定义了一个情景语义框架模型,较好地处理了口语理解系统的一些难点。     

基于BSTTC模型的中文命名实体识别

大多数中文命名实体识别模型中, 语言预处理只关注单个词和字符的向量表示, 忽略了它们之间的语义关系, 无法解决一词多义问题; Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果, 但全连接结构使得计算复杂度为输入长度的平方, 导致其在中文命名实体识别的效果不佳. 针对这些问题,...     

端到端对话系统意图语义槽联合识别研究综述

目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势，在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法，对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比，并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限；阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势；重点介绍了基于BERT（Bidirectional Encoder Representations from Transformers）模型的联合识别方法，不仅能够并行处理而且可以解决一词多义的问题，是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。     

基于深度神经网络的噪声环境下对话行为分类模型

对话行为可以在一定程度上表达说话人的意图,对话行为分类是机器翻译、人机交互设计等领域的基本要求,对于语音识别领域具有重要的意义.针对噪音环境下的对话行为分类提出了一种新的模型,通过快速噪声估计谱减法进行语音增强,采用长短期记忆网络对经过卷积神经网络语言嵌入后的词向量进行学习,从而得到具有抗噪性的对话行为分类模型.使用中文日常用语语料库的样本进行了多组对比试验,以测试新模型的抗噪声能力和对话行为分类的准确性.结果表明在0 dB的噪声环境下,模型的对话行为分类准确度达到95.5％,当噪声增加到5 dB时仍能保持94.1％,为噪音环境下的对话分类提供了一种新的模型.