基于预训练模型的中文电子病历实体识别

为提升传统中文电子病历实体识别预训练模型的语义特征提取能力并增强中文隐含特征表示,提出基于改进预训练语言模型的医疗命名实体识别方法。提出动态词长的逆向最大匹配算法对病历文本进行标注歧义处理,在此基础上构建用户自定义医疗实体字典辅助PKU分词,提高预训练模型掩码效果。输入向量层加入字向量,引入注意力机制学习字向量的全局语义特征。改进预训练模型mask策略和机制并去掉下一句预测,提升词向量语义表征能力。实验结果表明,该方法有效提高了医疗实体的识别效果,F1值达到90.57%。     

基于句内注意力机制多路CNN的汉语复句关系识别方法

复句的关系识别是对分句间语义关系的甄别,是复句语义分析的关键,旨在从文本中识别句间的关系类型。非充盈态汉语复句存在隐式关系的特点给语义关系识别造成了困难。为了深度挖掘复句中隐含的语义信息,正确地实现关系分类,该文提出了一种基于句内注意力机制的多路CNN网络结构Inatt-MCNN。其中句内注意力机制模型是基于Bi-LSTM的,使其能够学习到句子的双向语义特征以及分句间的关联特征。同时,为了充分利用文本特征,联合使用卷积神经网络(CNN)对复句表示再次建模获得句子局部特征。与其他基于汉语复句语料库(CCCS)和清华汉语树库(TCT)的实验结果相比,该文方法的宏平均F₁值为85.61%,提升约6.08%,平均召回率为84.87%,提升约3.05%。     

融合词性位置特征的多任务汉老双语短文本相似度计算方法

老挝语属于低资源语言,在有限的语料中获取更多的语义信息可以有效解决汉语和老挝语短文本相似度计算不准确的问题。多任务学习是有效获取语义信息的一种方法,该文对汉语和老挝语短文本特点进行研究后,提出一种融合词性位置特征的多任务汉老双语短文本相似度计算方法：首先,通过词性位置特征权重和TF-IDF权重加权表征双语短文本的同时,使用改进后的TextRank算法获取双语短文本的核心句;然后,通过带有自注意力机制的双向长短时记忆网络分别计算双语短文本的相似度与双语短文本对应核心句的相似度;最后,使用多任务学习方法,将双语短文本的核心句相似度计算作为辅助任务,获取更多的语义信息进行共享以提升汉老双语短文本相似度计算模型的性能。实验结果表明,该文提出的方法在有限的训练语料下取得了更好的效果,F₁值达76.16%。     

融合Graph state LSTM与注意力机制的跨句多元关系抽取

已有的跨句多元关系抽取工作将输入文本表示为集成句内和句间依赖关系的复杂文档图,但图中包含的噪声信息会影响关系抽取的效果。针对这种情况,该文利用Graph state LSTM获得上下文信息,再分别利用词级注意力机制或位置感知的注意力机制,自动聚焦在对关系抽取起到决定性作用的关键词上,降低噪声信息的影响。并且比较了两种注意力机制对使用Graph state LSTM进行关系抽取的影响。通过在一个重要的精确医学数据集上进行实验,验证了该文所提出模型的有效性。     

基于CSLSTM网络的文本情感分类

文本情感分类是自然语言处理领域的研究热点,更是产品评价领域的重要任务.考虑到词向量与句向量之间的语义关系和用户信息、产品信息对文本情感分类的影响,提出余弦相似度LSTM网络. 该网络通过在不同语义层级中引入用户信息和产品信息的注意力机制,并根据词向量和句向量之间的相似度初始化词层级注意力矩阵中隐层节点的权重. 在Yelp13、Yelp14和IMDB三个情感分类数据集上的实验结果表明文中方法的有效性.     

基于语义关系约束和词语关系信息的句向量研究

针对现有的句向量学习方法不能很好的学习关系知识信息、表示复杂的语义关系,提出了基于PV-DM模型和关系信息模型的关系信息句向量模型（RISV）,该模型是将PV-DM模型作为句向量训练基本模型,然后为其添加关系信息知识约束条件,使改进后模型能够学习到文本中词语之间的关系,并将关系约束模型（RCM）模型作为预训练模型,使其进一步整合语义关系约束信息,最后在文档分类和短文本语义相似度两个任务中验证了RISV模型的有效性。实验结果表明,采用RISV模型学习的句向量能够更好地表示文本。     

基于多粒度交互推理的答案选择方法研究

预训练语言模型已经广泛应用于不同自然语言处理任务，其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示，从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而，直接应用BERT等语言模型将面临两种局限性：(1)BERT并不侧重词块、短语和子句的独立语义信息表示，使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知；(2)BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题，该文提出一种基于BERT的多粒度交互推理网络，该方法将问题与候选答案的语言信息进行多粒度语义编码，丰富了句子间的语义信息与交互性。此外，该文提出句子级的编码损失策略，借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示，该方法有效提高了非事实性问题的答案选择性能。     

基于BERT＿Att的机器阅读理解模型

针对当前机器阅读理解模型中文本与问题的语义融合不够充分、缺乏考虑全局的语义信息的问题，提出一种基于BERT、注意力机制与自注意力机制的机器阅读理解模型BERT＿Att。该模型采用BERT将文本和问题分别映射进特征空间，通过Bi-LSTM、注意力机制与自注意力机制将文本与问题进行充分的语义融合，通过Softmax计算答案的概率分布。在公共数据集DuReader上的实验结果表明，该模型的BLEU-4值与ROUGE-L值较现有的模型均有进一步的提升，并且分析了影响模型表现的因素，验证了该模型设计的有效性。     

RoBERTa融合BiLSTM及注意力机制的隐式情感分析

隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。     

基于多重注意力机制的中文医疗实体识别

医疗实体识别是从医疗文本中识别疾病、症状、药物等多种类型的医疗实体，能够为知识图谱、智慧医疗等下游任务的发展提供支持。针对现有命名实体识别模型提取语义特征较单一、对医疗文本语义理解能力不足的问题，提出一种基于多重注意力机制的神经网络模型MANM。为捕获文本中更丰富的语义特征，在模型输入中引入医疗词汇先验知识，通过自注意力机制获取医疗文本的全局语义特征，并利用双线性注意力机制获取词汇和字符层面的潜在语义特征，得到包含字词间依赖关系的特征向量。为提高模型的上下文信息捕捉能力，采用改进的长短时记忆网络提取文本时序特征，同时设计多头自注意力机制获取词语间隐含的关联语义特征。最后融合上述多层次语义特征，利用条件随机场进行实体识别。在公开数据集CMeEE、CCKS2019、CCKS2020上进行对比实验，实验结果表明，MANM模型在3个数据集上的F1值分别达到64.29%、86.12%、90.32%，验证了所提方法在医疗实体识别中的有效性。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。     

基于强化学习与自注意力机制的朝鲜语重要句子结构识别

针对构建朝鲜语语料库的人工标注工作过于费时费力,少数民族语言难以与各家资源融合的这一问题,该文从表征学习的角度,意图构建有效的朝鲜语句子结构表示,用来提升后续自然语言处理任务的效果。我们将深度强化学习与自注意力机制相结合,提出了一种分层结构的自注意力模型(Hierarchically Structured Korean,HS-K)。模型利用强化学习中的Actor-Critic思想,将文本分类效果作为强化学习的标签反馈信息,把文本的结构划分任务转化为序列决策任务。实验结果表明,模型可以识别出接近人工标注的朝鲜语重要句子结构,对朝鲜语信息化与智能化有着良好的辅助作用。     

基于MAC-LSTM的问题分类研究

针对问句文本通常较短、语义信息与词语共现信息不足等问题,提出一种多层级注意力卷积长短时记忆模型（multi-level attention convolution LSTM neural network,MAC-LSTM）的问题分类方法。相比基于词嵌入的深度学习模型,该方法使用疑问词注意力机制对问句中的疑问词特征重点关注。同时,使用注意力机制结合卷积神经网络与长短时记忆模型各自文本建模的优势,既能够并行方式提取词汇级特征,又能够学习更高级别的长距离依赖特征。实验表明,该方法较传统的机器学习方法和普通的卷积神经网络、长短时记忆模型有明显的效果提升。     

基于层次混合注意力机制的文本分类模型

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制....     

基于上下文信息的口语意图检测方法

近年来,随着人工智能的发展与智能设备的普及,人机智能对话技术得到了广泛的关注。口语语义理解是口语对话系统中的一项重要任务,而口语意图检测是口语语义理解中的关键环节。由于多轮对话中存在语义缺失、框架表示以及意图转换等复杂的语言现象,因此面向多轮对话的意图检测任务十分具有挑战性。为了解决上述难题,文中提出了基于门控机制的信息共享网络,充分利用了多轮对话中的上下文信息来提升检测性能。具体而言,首先结合字音特征构建当前轮文本和上下文文本的初始表示,以减小语音识别错误对语义表示的影响;其次,使用基于层级化注意力机制的语义编码器得到当前轮和上下文文本的深层语义表示,包含由字到句再到多轮文本的多级语义信息;最后,通过在多任务学习框架中引入门控机制来构建基于门控机制的信息共享网络,使用上下文语义信息辅助当前轮文本的意图检测。实验结果表明,所提方法能够高效地利用上下文信息来提升口语意图检测效果,在全国知识图谱与语义计算大会(CCKS2018)技术评测任务2的数据集上达到了88.1%的准确率(Acc值)和88.0%的综合正确率(F1值),相比于已有的方法显著提升了性能。     

基于异构图分层学习的细粒度多文档摘要抽取

抽取的目标是在多个文档中提取共有关键信息,其对简洁性的要求高于单文档摘要抽取。现有的多文档摘要抽取方法通常在句子级别进行建模,容易引入较多的冗余信息。为了解决上述问题,提出一种基于异构图分层学习的多文档摘要抽取框架,通过层次化构建单词层级图和子句层级图来有效建模语义关系和结构关系。针对单词层级图和子句层级图这2个异构图的学习问题,设计具有不同层次更新机制的两层学习层来降低学习多种结构关系的难度。在单词层级图学习层,提出交替更新机制更新不同的粒度节点,以单词节点为载体通过图注意网络进行语义信息传递;在子句层级图学习层,提出两阶段分步学习更新机制聚合多种结构关系,第一阶段聚合同构关系,第二阶段基于注意力聚合异构关系。实验结果表明,与抽取式基准模型相比,该框架在Multinews数据集上取得了显著的性能提升,ROUGE-1、ROUGE-2和ROUGE-L分别提高0.88、0.23和2.27,消融实验结果也验证了两层学习层及其层次更新机制的有效性。     

基于位置降噪和丰富语义的电子病历实体关系抽取

当前的电子病历实体关系抽取方法存在两个问题:忽视了位置向量噪声和语义表示匮乏.该文提出一种基于位置降噪和丰富语义的实体关系抽取模型.模型首先利用位置信息和专业领域语料训练的词向量信息获取每个词的注意力权重,然后将此权重与通用领域语料训练的词向量结合,实现位置向量降噪和丰富语义引入,最后根据加权后的词向量判断实体关系类型...     

融合ERNIE和注意力机制的中文关系抽取模型

关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ERNIE预训练模型和注意力机制的TEXTCNN中文关系抽取模型.ERNIE词向量针对中文的特点以词组为单位做掩盖进行模型训练,实现了对中文文本更好的语义表达,再通过TEXTCNN模型对输入数据进行特征提取,融合注意力机制聚焦于影响最终结果的关键特征,从而实现特征优化提取.本文在百度发布的SKE数据集上进行实验,重点探索ERNIE模型结合注意力机制对中文文本的特征表达效果,结果表明本文模型可以更好地学习中文文本中的特征并用于关系抽取,有效提高关系抽取任务的准确率.     

层级标签语义引导的极限多标签文本分类策略

极限多标签文本分类任务具有标签集大、类间关系复杂、数据分布不平衡等特点,是具有挑战性的研究热点。现有模型对标签语义信息利用不足,性能有限。对此,该文提出一种利用层级标签语义信息引导的极限多标签文本分类模型提升策略,在训练和预测过程中给予模型层级标签引导的弱监督语义指导信息,利用这种弱监督信息规约多标签文本分类任务中要对应的多标签语义边界。在标准数据集上的实验结果表明,该文所提策略能够有效提升现有模型性能,尤其在短文本数据集中增效显著,宏精准率最高提升21.23%。