基于局部注意力机制的中文短文本实体链接

实体链接是加强语义理解和连接知识信息与文本的有效方法,但目前多数模型对上下文语境的精准理解受限于文本长度,面向短文本的实体链接任务存在实体边界识别错误和实体语义理解错误的问题。针对中文短文本的实体链接任务,构建基于局部注意力机制的实体链接模型。在实体消歧的过程中,通过对待消歧文本与实体的知识描述文本进行拼接,将短文本转换为长文本,同时引入局部注意力机制,缓解长距离依赖问题并强化局部的上下文信息。实验结果表明,相比于传统加入BIO标注方法的模型,该模型在CCKS2019和CCKS2020数据集上的F1值分别提升了4.41%和1.52%。     

结合注意力机制的BERT-BiGRU-CRF中文电子病历命名实体识别

为了改善中文电子病历命名实体识别模型的性能，本文提出了基于BERT、双向门控循环单元(Bidirectional Gate Recurrent Unit, BiGRU)与条件随机场CRF相结合的中文电子病历命名实体识别模型，并在此基础上引入了注意力机制.利用BERT(Bidirectional Encoder Representation from Transformers)预训练模型得到结合语境信息的动态字向量，通过双向门控循环单元(Bidirectional Gate Recurrent Unit, BiGRU)提取全局语义特征，利用注意力机制获得增强语义特征，最后通过CRF(Conditional Random Field)解码输出概率最大的全局最优标签序列.利用含有解剖部位、手术、疾病和诊断、药物、实验室检验、影像检查6类实体的CCKS19中文电子病历数据集训练模型.对比实验表明了本文提出的命名实体识别模型的有效性，本文模型在CCKS19数据集上获得了84.11%的F1值.     

融合多特征及协同注意力的医学命名实体识别

针对当前中文医疗命名实体识别中未融合医学领域文本独有的特征信息导致实体识别准确率无法有效提升的情况,及单注意力机制影响实体分类效果的问题,提出一种基于多特征融合和协同注意力机制的中文医疗命名实体识别方法。利用预训练模型得到原始医学文本的向量表示,再利用双向门控循环神经网络（BiGRU）获取字粒度的特征向量。结合医疗领域命名实体鲜明的部首特征,利用迭代膨胀卷积神经网络（IDCNN）提取部首级别的特征向量。使用协同注意力网络（co-attention network）整合特征向量,生成<文字-部首>对的双相关特征,再利用条件随机场（CRF）输出实体识别结果。实验结果表明,在CCKS数据集上,相较于其他的实体识别模型能取得更高的准确率、召回率和F1值,同时虽然增加了识别模型的复杂程度,但性能并没有明显的降低。     

基于多特征融合的双通道医疗实体识别

针对医疗实体识别中词向量特征单一和忽略文本中局部特征的问题，提出一种基于多特征融合的双通道医疗实体识别模型。对医疗文本字形特征和卷积神经网络进行研究，发现构造的外部特征和挖掘的内部特征进行差异融合能够丰富词向量的特征信息；利用注意力机制改进的卷积神经网络实现特征优化选择，区分不同特征的重要性；设计CNN和BiLSTM并行的双通道神经网络，充分考虑文本的局部特征和上下文特征。在CCKS2017数据集上的实验结果表明，该模型能有效提高医疗实体识别的准确率。     

融合实体信息和时序特征的意图识别模型

人机对话意图识别旨在通过人机之间简短的对话识别出用户意图,通过对话文本的分类进而实现意图的识别。针对人机对话中因篇幅短导致语境匮乏和因对话随意性导致意图模糊的问题,提出了一种融合实体信息和时序特征的人机对话意图识别模型。在文本表示阶段,通过捕捉对话中实体信息来增强文本语义表达,并利用双向注意力机制动态生成符合语境的文本表示;并利用双向GRU提取对话上下文的时序特征来获取上下文意图之间的关系;通过级联多层gMLP,利用其内部空间控制单元自适应融合实体信息和时序特征,从而提升意图识别的准确率。为验证所提模型在多种任务上的效果,在不同意图识别任务数据集CCKS2018和SMP2018上进行实验,分别取得了90.6%和93.7%的准确率,对比CLSTM、DBN、Attention-RNN等具有代表性的模型,均有3%以上性能的提升。     

基于标签混淆的院前急救文本分类模型

针对院前急救文本专业词汇丰富、特征稀疏和标签混淆程度大等问题，提出一种基于标签混淆模型（LCM）的文本分类模型。首先，利用BERT获得动态词向量并充分挖掘专业词汇的语义信息；然后，通过融合双向长短期记忆（BiLSTM）网络、加权卷积和注意力机制生成文本表示向量，提高模型的特征提取能力；最后，采用LCM获取文本与标签间的语义联系、标签与标签间的依赖关系，从而解决标签混淆程度大的问题。在院前急救文本和公开新闻文本数据集THUCNews上进行实验，所提模型的F1值分别达到了93.46%和97.08%，相较于TextCNN(Text Convolutional Neural Network)、BiLSTM、BiLSTM-Attention等模型分别提升了0.95%～7.01%和0.38%～2.00%。实验结果表明，所提模型能够获取专业词汇的语义信息，更加精准地提取文本特征，并能有效解决标签混淆程度大的问题，同时具有一定的泛化能力。     

结合部首特征和BERT-Transformer-CRF的中文电子病历实体识别方法研究

在中文电子病历命名实体识别(CNER)中,中文文本缺乏划分单词边界的分隔符,一些现有的方法难以捕捉长距离相互依赖的特征。因此,文章提出一种利用预训练模型(BERT-Transformer-CRF,BTC)实现CNER的命名实体识别方法。首先,运用BERT(Bidirectional Encoder Representations from Transformers)提取文本特征。其次,使用Transformer捕捉字符之间的依赖关系,此过程不需要考虑字符间的距离;此外,由于汉字的术语字典信息和部首信息包含更深层次的语义信息,所以将术语字典和部首的特征纳入模型以提高模型的性能。最后,运用CRF解码预测标签。实验结果表明所提模型在CCKS2017和CCKS2021数据集上的F1值分别达到了96.22%和84.65%,优于当前主流的命名实体识别模型,具有更好的识别效果。     

基于BILSTM-CRF的高校政策语义角色标注研究

采用融合自注意力机制的双向长短期记忆模型（SelfAtt-BILSTM）和条件随机场模型（CRF）,构建一种SelfAtt-BILSTM-CRF模型,对政策文本进行语义角色标注,以提取政策主要内容。采用某高校政策文件为实验数据集,利用BILSTM模型自动学习序列化语句上下文特征,融合自注意力机制增加重要特征元素的权重,通过CRF层利用特征进行序列标注,提取语义角色,以实现政策文件的主要内容挖掘。经过对比验证,该模型能够有效地提取政策文本内容,在标注数据集上F1值达到78.99%。实验结果同时表明,自注意力机制能够有效提高神经网络模型的语义角色标注效果。     

基于注意力机制特征融合的中文命名实体识别

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息,但缺少全局语义信息。为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码,实现实体标注序列预测。此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果。实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%,相比ID-CNN、BiLSTM、CAN-NER等...     

结合特殊领域实体识别的远监督话语领域分类

近年来,基于注意力(attention)机制的循环神经网络在文本分类中表现出显著的性能。然而,当训练集数据有限时,测试集数据中许多领域实体指称项在训练集中处于低频,甚至从未出现,如中文话语领域分类任务。该文提出结合特殊领域实体识别的远监督话语分类模型。首先,通过远监督(distant supervision)的方式获取数据集中的领域知识,显著地减少了人工操作;其次,利用特殊领域实体识别和本地构建的补充性知识库去补全远监督获取的领域知识,旨在为模型提供更加全面的领域知识;最后,对基于上下文的语义特征和知识特征这两种异构信息提出了细粒度拼接机制,在词级上融合了预训练词汇语义表达和领域知识表达,有效提升了分类模型的性能。通过与研究进展的文本分类模型的对比实验表明,该文模型在中文话语领域分类基准数据集的实验上取得了较高的正确率,特别是在知识敏感型领域,较研究进展方法具有显著优势。     

基于深度学习的网购评论命名实体识别方法

针对网购评论命名实体识别中重要词汇被忽略的问题,在评论短文本处理基础上,借鉴多头注意力机制、词汇贡献度和双向长短时记忆条件随机场提出一种基于MA-BiLSTM-CRF模型的网购评论命名实体识别方法。首先,用词向量和词性向量的组合来表示评论文本语义信息;其次,用BiLSTM提取文本特征;然后,引入多头注意力机制从多层面、多角度提升模型性能;最后,用条件随机场（CRF）识别命名实体。实验结果表明,该方法能提升网购评论实体识别效果。     

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。     

融合多语义特征的命名实体识别方法

针对语言普遍存在的字符间非线性关系，为捕获更丰富的语义特征，提出了一种基于图卷积神经网络（GCN）和自注意力机制的命名实体识别（NER）方法。首先，借助深度学习方法有效提取字符特征的能力，采用GCN学习字符间的全局语义特征，并且采用双向长短时记忆网络（BiLSTM）提取字符的上下文依赖特征；其次，融合以上特征并引入自注意力机制计算其内部重要度；最后，使用条件随机场（CRF）从融合特征中解码出最优的编码序列，并以此作为实体识别的结果。实验结果表明，与单一采用BiLSTM和CRF的方法相比，所提方法在微软亚洲研究院（MSRA）数据集和BioNLP/NLPBA 2004数据集上的精确率分别至少提高了2.39%和15.2%。可见该方法在中文和英文数据集上都具备良好的序列标注能力，且泛化能力较强。     

融合ERNIE和注意力机制的中文关系抽取模型

关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ERNIE预训练模型和注意力机制的TEXTCNN中文关系抽取模型.ERNIE词向量针对中文的特点以词组为单位做掩盖进行模型训练,实现了对中文文本更好的语义表达,再通过TEXTCNN模型对输入数据进行特征提取,融合注意力机制聚焦于影响最终结果的关键特征,从而实现特征优化提取.本文在百度发布的SKE数据集上进行实验,重点探索ERNIE模型结合注意力机制对中文文本的特征表达效果,结果表明本文模型可以更好地学习中文文本中的特征并用于关系抽取,有效提高关系抽取任务的准确率.     

基于知识增强的命名实体识别方法研究

命名实体识别作为自然语言处理中一项十分基础的任务，其目的是从一段用自然语言描述的文本中识别出相应的实体及类型。知识图谱作为以三元组形式存在的外部知识，已经在很多自然语言处理任务中得以应用并取得了良好效果。文中提出了一种基于知识图谱信息增强的注意力对齐命名实体识别方法，首先通过嵌入层和注意力机制嵌入知识图谱信息，获取知识图谱三元组信息的表示；其次通过BERT-BiLSTM获取句子的上下文表示；然后通过一种注意力对齐模块分配三元组权重融合知识图谱信息与句子信息的表示；最后通过softmax控制融合后的表示向量的预测输出，进而获取实体的标签。该方法有效避免了因知识图谱的融合而改变原句子的语义信息，同时也使得句子中的词向量具有丰富的外部知识。所提方法在中文通用数据集MSRA和医疗领域专用数据集Medicine上的F1值分别达到了95.73%和93.80%,相比基线模型提升了1.21%和1.3%。     

基于混合卷积网络的短文本实体消歧

因短文本实体消歧具有不能完整地表达语义关系、上下文提供的信息较少等局限性。针对以上难点,该文提出了一种新的方法,混合卷积网络(Mixed Convolution Network,MCN)。该方法的核心思想是首先对数据集进行预处理;其次,采用Google提出的BERT模型进行特征提取,并通过注意力机制将特征进一步抽取后作为CNN模型的输入,通过CNN模型获得句子的依赖特征。同时,该文使用GCN模型获取语义特征,将二者提取到的语义信息融合,输出得到结果。在CCKS2019评测数据集上的实验结果表明,该文提出的混合卷积网络取得了86.57%的精确率,验证了该模型的有效性。     

融合外部语义知识的中文文本蕴含识别

基于神经网络的文本蕴含识别模型通常仅从训练数据中学习推理知识,导致模型泛化能力较弱。提出一种融合外部语义知识的中文知识增强推理模型(CKEIM)。根据知网知识库的特点提取词级语义知识特征以构建注意力权重矩阵,同时从同义词词林知识库中选取词语相似度特征和上下位特征组成特征向量,并将注意力权重矩阵、特征向量与编码后的文本向量相结合融入神经网络的模型训练过程,实现中文文本蕴含的增强识别。实验结果表明,与增强序列推理模型相比,CKEIM在15%、50%和100%数据规模的CNLI训练集下识别准确率分别提升了3.7%、1.5%和0.9%,具有更好的中文文本蕴含识别性能和泛化能力。     

基于多任务学习的电子病历实体识别方法

中文电子病历NER是医疗信息抽取的难点。本文提出一种多任务学习的实体识别方法,联合实体识别和分词训练模型,使用基于Bi-LSTM的私有层提取专有信息,融合注意力网络作为共享层并增加通用特征增强机制来筛选全局信息,降低过拟合风险并增强模型的泛化能力。此外提出均衡样本过采样方法扩充数据集,有效解决实体类别不平衡所带来的问题。使用CCKS2017/CCKS2020电子病历实体识别语料和Medicine医药分词语料联合训练,实验结果显示本文提出的模型整体性能提升明显,同时也显著提高了Medicine语料的分词实验效果,F1值较基线提升了3个百分点。实验表明本文提出的模型能够有效改善因电子病历中数据不规范、无结构或专有名词等原因造成的实体切分错误等问题。     

融合注意力机制的电力集控安全隐患实体识别模型研究

针对电力集控安全隐患文本实体边界模糊、常用实体识别模型识别准确率低的问题，提出了一种融合注意力机制与基于Transformer的双向编码器表示(BERT)-双向长短时记忆(BiLSTM)-条件随机场(CRF)的电力集控安全隐患数据实体识别模型。首先，利用BERT层将安全隐患文本编码表示为融合上下文语义的字位置和句位置的向量表示组，以减少实体识别误差积累。然后，提出了BiLSTM网络层挖掘电力集控隐患文本的语义特征并进行标签概率预测，在此基础上加入注意力机制增加重要信息的权重，提高重要信息对安全隐患语义信息的影响程度。最后，利用CRF层为标注结果进行综合打分，得到全局最优标签序列。在不同的电力安全隐患实体信息类别上的对比试验显示，所提模型的准确率为97.54%、召回率为96.47%、F值为97.13%,与传统算法相比总体效果提升了5%～21%。该结果证明了电力集控安全隐患实体识别模型的有效性。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。