嵌入知识语义的医疗领域对话系统

由于领域知识图谱包含丰富的相应领域下实体及实体间关系的知识语义,能够为领域对话的回复提供重要参考,提出一种BERT融合BiLSTM的对话训练方法。基于医疗知识图谱,将知识语义的图谱信息融入对话系统,使用TransE模型将已有的医疗图谱数据融入多轮对话,通过扩充知识库的信息扩大对话系统的适用范围,对比GPT2和BERT模型在已有多轮对话数据集上的效果。实验结果表明,该方法F1值达到92.59%,满足了对话系统对回复严谨性的要求。     

结合注意力机制与图卷积网络的汉语复句关系识别

复句的关系识别是为了区分句子语义关系的类别,是自然语言处理(NLP)中必不可少的基础研究任务。现有研究无法使机器在表层判别缺少显式句间连接词句子的语义关系类型。该文将Attention机制与图卷积神经网络(GCN)相结合应用到汉语复句语义关系识别中,通过BERT预训练模型获取单句词向量,输入到Bi-LSTM获取句子位置表示,经Attention机制得到各位置间权重构建图网络以捕获句子间的语义信息,通过图卷积抽取深层的关联信息。该文的方法对缺少显式句间连接词句子的关系识别达到了较好的识别效果,为进一步研究计算机自动分析、识别处理复句的基本方法奠定基础。实验结果表明,在汉语复句语料库(CCCS)和汉语篇章树库(CDTB)数据集上,与先前最好的模型相比,其准确率分别为77.3%和75.7%,提升约1.6%,宏平均F₁值分别为76.2%和74.4%,提升约2.1%,说明了该文方法的有效性。     

多神经网络协作的电力文本类型识别

电力企业为实现数字资产管理, 提高行业运行效率, 促进电力信息化的融合, 需要实施有效的数据组织管理方法. 针对电力行业中的数据, 提出了基于字级别特征的高效文本类型识别模型. 在该模型中, 将字符通过BERT预训练模型生成电力客服文本动态的高效字向量, 字向量序列输入利用融合注意力机制的双向长短期记忆网络(BiLSTM), 通过注意力机制有效捕捉文本中帮助实现类型识别的潜在特征, 最终利用Softmax层实现对电力文本的类型识别任务. 本文提出的模型在电力客服文本数据集上达到了98.81%的准确率, 优于CNN, BiLSTM等传统神经网络识别方法, 增强了BERT模型的应用, 并有效解决了电力文本类型识别任务中语义的长距离依赖问题.     

基于多头注意力和BiLSTM改进DAM模型的中文问答匹配方法

针对目前检索式多轮对话深度注意力机制模型(Deep Attention Matching Network,DAM)候选回复细节不匹配和语义混淆的问题,该文提出基于多头注意力和双向长短时记忆网络(BiLSTM)改进DAM模型的中文问答匹配方法,采用多头注意力机制,使模型有能力建模较长的多轮对话,更好地处理目标回复与上下文的匹配关系。此外,该文在特征融合过程中采用BiLSTM模型,通过捕获多轮对话中的序列依赖关系,进一步提升选择目标候选回复的准确率。该文在豆瓣和电商两个开放数据集上进行实验,实验性能均优于DAM基线模型,R₁₀@1指标在含有词向量增强的情况下提升了1.5%。     

基于BERT特征融合与膨胀卷积的汉语副词框架语义角色标注

汉语框架语义角色标注对汉语框架语义分析具有重要作用。目前汉语框架语义角色标注任务主要针对动词框架,但是汉语没有丰富的形态变化,很多语法意义都是通过虚词来表现的,其中副词研究是现代汉语虚词研究的重要部分,因此该文从副词角度出发构建了汉语副词框架及数据集,且对框架下的词元按照语义强弱进行了等级划分。目前的语义角色标注模型大多基于BiLSTM网络模型,该模型虽然可以很好地获取全局信息,但容易忽略句子局部特征,且无法并行训练。针对上述问题,该文提出了基于BERT特征融合与膨胀卷积的语义角色标注模型,该模型包括四层：BERT层用于表达句子的丰富语义信息,Attention层对BERT获取的每一层信息进行动态权重融合,膨胀卷积(IDCNN)层进行特征提取,CRF层修正预测标签。该模型在三个副词框架数据集上表现良好,F₁值均达到了82%以上。此外,将该模型应用于CFN数据集上,F₁值达到88.29%,较基线模型提升了4%以上。     

基于藏文BERT的藏医药医学实体识别

藏医药文本字符嵌入对藏医药医学实体识别有着重要意义,但目前藏文缺少高质量的藏文语言模型。本文结合藏文结构特点使用普通藏文新闻文本训练基于音节的藏文BERT模型,并基于藏文BERT模型构建BERT-BiLSTM-CRF模型。该模型首先使用藏文BERT模型对藏医药文本字符嵌入进行学习,增强字符嵌入对藏文字符及其上下文信息的表示能力,然后使用BiLSTM层进一步抽取藏医药文本中字符之间的依赖关系,最后使用CRF层强化标注序列的合法性。实验结果表明,使用藏文BERT模型初始化藏医药文本字符嵌入有助于提高藏医药医学实体识别效果,F1值达96.18%。     

基于注意力机制特征融合的中文命名实体识别

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息,但缺少全局语义信息。为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码,实现实体标注序列预测。此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果。实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%,相比ID-CNN、BiLSTM、CAN-NER等...     

基于社交媒体文本挖掘的个人事件检测方法

用户的社交媒体中蕴含着他们过去的个人经历和潜在的生活规律,研究其规律对预测用户未来的行为以及对用户进行个性化推荐有很大的价值。通过收集微博数据,定义了11种类型的事件,并提出了一个三阶段的Pipeline的系统,利用BERT预训练模型,分别在三个阶段使用BERT+BiLSTM+Attention、BERT+FullConnect、BERT+BiLSTM+CRF方法进行个人事件检测。从微博文本中抽取出该文本是否包含定义的事件、包含的事件类型、每种事件包含的元素等信息,具体元素为Subject（事件主语）、Object（事件元素）、Time（事件发生时间）、Place（事件发生的地点）和Tense（事件发生的时态）,从而探究用户个人时间轴上的事件变化规律来预测个人事件。在收集的真实用户微博数据集上进行实验,并与逻辑回归、朴素贝叶斯、随机森林、决策树等分类算法进行对比分析。实验结果表明,三个阶段中的BERT+BiLSTM+Attention、BERT+FullConnect和BERT+BiLSTM+CRF方法均取得了最高的F1值,验证了所提方法的有效性。最后根据所提方法抽取出的事件和其中的时间信息可视化地构建了用户的个人事件时间轴。     

融合注意力机制的电力集控安全隐患实体识别模型研究

针对电力集控安全隐患文本实体边界模糊、常用实体识别模型识别准确率低的问题，提出了一种融合注意力机制与基于Transformer的双向编码器表示(BERT)-双向长短时记忆(BiLSTM)-条件随机场(CRF)的电力集控安全隐患数据实体识别模型。首先，利用BERT层将安全隐患文本编码表示为融合上下文语义的字位置和句位置的向量表示组，以减少实体识别误差积累。然后，提出了BiLSTM网络层挖掘电力集控隐患文本的语义特征并进行标签概率预测，在此基础上加入注意力机制增加重要信息的权重，提高重要信息对安全隐患语义信息的影响程度。最后，利用CRF层为标注结果进行综合打分，得到全局最优标签序列。在不同的电力安全隐患实体信息类别上的对比试验显示，所提模型的准确率为97.54%、召回率为96.47%、F值为97.13%,与传统算法相比总体效果提升了5%～21%。该结果证明了电力集控安全隐患实体识别模型的有效性。     

基于BERT和BiLSTM-CRF的生物医学命名实体识别

在生物医学领域,以静态词向量表征语义的命名实体识别方法准确率不高.针对此问题,提出一种将预训练语言模型BERT和BiLSTM相结合应用于生物医学命名实体识别的模型.首先使用BERT进行语义提取生成动态词向量,并加入词性分析、组块分析特征提升模型精度;其次,将词向量送入BiLSTM模型进一步训练,以获取上下文特征;最后通过CRF进行序列解码,输出概率最大的结果.该模型在BC4CHEMD、BC5CDR-chem和NCBI-disease数据集上的平均F1值达到了89.45％.实验结果表明,提出的模型有效地提升了生物医学命名实体识别的准确率.     

基于深度多匹配网络的多轮对话回复选择模型

现有工作利用神经网络构建了各种检索模型,取得了一定的成功,但仍存在注入模型信息筛选不充分、引入噪声和对已知内容的潜在语义信息、时序关系挖掘不充分问题。针对上述问题,提出了基于深度多匹配网络的多轮对话回复模型（DMMN）。该模型将上下文与知识作为对候选回复的查询,在三者编码之后提出预匹配层,采用单向交叉注意力机制分别筛选出基于知识感知的上下文与基于上下文感知的知识,识别两者中重要的信息。将候选回复与以上两者交互作用之后,进行特征聚合阶段,一方面借助额外BiLSTM网络捕获基于回复的上下文对话信息间的时序信息,另一方面借助带门控的注意力机制挖掘基于回复的知识间的语义信息,增强匹配特征信息。最后,融合上述表示特征。在原始的和修改后的Persona-Chat数据集上性能评测结果显示,与现有方法相比,该模型召回率得到了进一步的提高,检索出的回复效果更好。     

Intent-Slot Correlation Modeling for Joint Intent Prediction and Slot Filling

Slot filling and intent prediction are basic tasks in capturing semantic frame of human utterances. Slots and intent have strong correlation for semantic frame parsing. For each utterance, a specific intent type is generally determined with the indication information of words having slot tags (called as slot words), and in reverse the intent type decides that words of certain categories should be used to fill as slots. However, the Intent-Slot correlation is rarely modeled explicitly in existing studies, and hence may be not fully exploited. In this paper, we model Intent-Slot correlation explicitly and propose a new framework for joint intent prediction and slot filling. Firstly, we explore the effects of slot words on intent by differentiating them from the other words, and we recognize slot words by solving a sequence labeling task with the bi-directional long short-term memory (BiLSTM) model. Then, slot recognition information is introduced into attention-based intent prediction and slot filling to improve semantic results. In addition, we integrate the Slot-Gated mechanism into slot filling to model dependency of slots on intent. Finally, we obtain slot recognition, intent prediction and slot filling by training with joint optimization. Experimental results on the benchmark Air-line Travel Information System (ATIS) and Snips datasets show that our Intent-Slot correlation model achieves state-of-the-art semantic frame performance with a lightweight structure.     

面向科技学术会议的命名实体识别研究

针对通用领域的命名实体识别算法难以充分挖掘到科技学术会议论文数据中语义信息的问题,提出一种结合关键词–字符长短期记忆网络和注意力机制的科技学术会议命名实体识别算法.首先对论文数据集中的关键词特征进行预训练,获得词汇层面的潜在语义信息,将其与字符级别的语义信息融合,解决错误的词汇边界影响识别准确率的问题.然后,将双向长短...     

基于神经主题模型的对话情感分析

对话情感分析旨在识别出一段对话中每个句子的情感倾向,其在电商客服数据分析中发挥着关键作用。不同于对单个句子的情感分析,对话中句子的情感倾向依赖于其在对话中的上下文。目前已有的方法主要采用循环神经网络和注意力机制建模句子之间的关系,但是忽略了对话作为一个整体所呈现的特点。建立在多任务学习的框架下,该文提出了一个新颖的方法,同时推测一段对话的主题分布和每个句子的情感倾向。对话的主题分布,作为一种全局信息,被嵌入到每个词以及句子的表示中。通过这种方法,每个词和句子被赋予了在特定对话主题下的含义。在电商客服对话数据上的实验结果表明,该文提出的模型能充分利用对话主题信息,与不考虑主题信息的基线模型相比,Macro-F1值均有明显提升。     

基于增强BiLSTM的网络文章核心实体识别

文章核心实体是文章主要描述或担任文章主要角色的实体词.随着互联网的发展与网络传媒平台的兴起,自媒体网络新闻传播严重影响着公众的价值导向,网络文章核心实体识别是情感分析、舆情监测等自然语言处理任务的重要基础步骤.相对于较易识别的传统命名实体,文章核心实体的识别难度更大,其抽取工作不仅需要基于篇章理解的复杂特征信息,还涉及...     

具有个人信息的对话生成模型研究

赋予聊天机器人个人信息对于提供自然的对话至关重要,对此提出具有个人信息的对话模型,包括问题分类、个人信息回复和开放域对话三个模块。在问题分类模块中,分析测试不同分类方法的效果;个人信息回复模块利用BiLSTM进行语义信息编码,训练采用对比损失函数,同时实验对比多种匹配模型;开放域对话模型以最大互信息为目标函数,减少无意义回复。实验表明该对话模型的自然性、逻辑性、多样性和一致性均优于传统模型。     

基于上下文信息的口语意图检测方法

近年来,随着人工智能的发展与智能设备的普及,人机智能对话技术得到了广泛的关注。口语语义理解是口语对话系统中的一项重要任务,而口语意图检测是口语语义理解中的关键环节。由于多轮对话中存在语义缺失、框架表示以及意图转换等复杂的语言现象,因此面向多轮对话的意图检测任务十分具有挑战性。为了解决上述难题,文中提出了基于门控机制的信息共享网络,充分利用了多轮对话中的上下文信息来提升检测性能。具体而言,首先结合字音特征构建当前轮文本和上下文文本的初始表示,以减小语音识别错误对语义表示的影响;其次,使用基于层级化注意力机制的语义编码器得到当前轮和上下文文本的深层语义表示,包含由字到句再到多轮文本的多级语义信息;最后,通过在多任务学习框架中引入门控机制来构建基于门控机制的信息共享网络,使用上下文语义信息辅助当前轮文本的意图检测。实验结果表明,所提方法能够高效地利用上下文信息来提升口语意图检测效果,在全国知识图谱与语义计算大会(CCKS2018)技术评测任务2的数据集上达到了88.1%的准确率(Acc值)和88.0%的综合正确率(F1值),相比于已有的方法显著提升了性能。     

语法和语义相结合的中文对话系统问题理解研究

针对中文口语问句的表达多样性对对话系统问题理解带来的挑战,该文采用“在语法结构之上获取语义知识”的设计理念,提出了一种语法和语义相结合的口语对话系统问题理解方法。首先人工编制了独立于领域和应用方向的语法知识库,进而通过句子压缩模块简化复杂句子,取得结构信息,再进行问题类型模式识别,得到唯一确定问题的语义组织方法、查询策略和应答方式的句型模式。另一方面,根据领域语义知识库,从源句子中提取相应的语义信息,并根据识别到的句型模式所对应的知识组织方法进行语义知识组织,完成对问句的理解。该文的方法被应用到开发的中文手机导购对话系统。测试结果表明,该方法能有效地完成对话流程中的用户问题理解。     

联合分层注意力网络和独立循环神经网络的地域欺凌识别

为提高对文本语境深层次信息的利用效率，提出了联合分层注意力网络（HAN）和独立循环神经网络（IndRNN）的地域欺凌文本识别模型——HACBI。首先，将手工标注的地域欺凌文本通过词嵌入技术映射到低维向量空间中；其次，借助卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）提取地域欺凌文本的局部及全局语义特征，并进一步利用HAN捕获文本的内部结构信息；最后，为避免文本层次结构信息丢失和解决梯度消失等问题，引入IndRNN以增强模型的描述能力，并实现信息流的整合。实验结果表明，该模型的准确率（Acc）、精确率（P）、召回率（R）、F1和AUC值分别为99.57%、98.54%、99.02%、98.78%和99.35%，相比支持向量机（SVM）、CNN等文本分类模型有显著提升。