基于预训练模型的医疗命名实体识别

文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型BERT与跨度标签网络的命名实体识别模型。该模型利用BERT获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于CCKS2019评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。     

基于对抗迁移学习的军事科技领域命名实体识别

当前通用领域命名实体识别模型可移植性差,在军事科技领域不具备普遍性和适应性,实际效果不佳。针对军事科技领域的独特性、标注语料规模小、实体识别任务多样等特点,将迁移学习的方法应用于军事科技领域命名实体识别,并进行了领域适配与任务适配。通过预训练掩码语言模型的方法对BERT预训练模型进行了领域适配,通过对抗迁移学习的方法对BiLSTM-CRF模型行了任务适配。模型中加入了虚拟对抗训练,通过训练减少虚拟对抗损失以提高模型的鲁棒性。在军事科技领域文本上验证了该方法,实验结果表明,领域适配与任务适配对提高识别效果都有显著的积极作用。     

基于XLNet-BiLSTM的中文电子病历命名实体识别方法

中文临床电子病历命名实体识别是实现智慧医疗的基本任务之一.本文针对传统的词向量模型文本语义表示不充分,以及循环神经网络(RNN)模型无法解决长时间依赖等问题,提出一个基于XLNet的中文临床电子病历命名实体识别模型XLNet-BiLSTM-MHA-CRF,将XLNet预训练语言模型作为嵌入层,对病历文本进行向量化表示,解决一词多义等问题;利用双向长短时记忆网络(BiLSTM)门控制单元获取句子的前向和后向语义特征信息,将特征序列输入到多头注意力层(multi-head attention,MHA);利用MHA获得特征序列不同子空间表示的信息,增强上下文语义的关联性,同时剔除噪声;最后输入条件随机场CRF识别全局最优序列.实验结果表明,XLNet-BiLSTM-Attention-CRF模型在CCKS-2017命名实体识别数据集上取得了良好的效果.     

增强实体边界检测的医学命名实体识别

针对中文电子病历报告中专业词汇较多导致的边界识别困难问题,文章提出了一种增强实体边界检测方法来更好地识别医学命名实体,即以实体边界预测为辅助任务,增强模型对实体边界的检测能力,提高模型性能。该文从两个方面增强了实体边界,一是通过在BERT与训练语言模型底层添加自制医学词典,增强模型对词汇边界信息的学习;二是以实体头尾预测作为辅助任务,进一步增强模型对实体边界的识别能力。在1个医学领域的公共数据集上进行了实验,相较于基线模型,F1值得到了1.96%的提升,说明该方法能有效检测实体边界,提升模型性能,验证了该模型的在医学领域的适用性。     

基于BERT的施工安全事故文本命名实体识别方法

为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名实体识别方法。以自建的施工安全事故领域实体标注语料数据集为研究对象,首先利用BERT预训练模型获取动态字向量,然后采用双向长短时记忆网络-注意力机制-条件随机场(BiLSTM-Attention-CRF)对前一层输出的语义编码进行序列标注和解码以获取最优文本标签序列。实验结果表明,该模型在自建数据集上的F1值分数为92.58%,较基准模型BiLSTM-CRF提升了4.19%;该方法对事故时间等5类实体识别F1值均可达到91%以上,验证了该方法对施工安全事故实体识别的有效性,说明模型可用于实际施工知识管理中并指导建筑安全管理的安全培训。     

面向纵向联邦学习的对抗样本生成算法

为了适应纵向联邦学习应用中高通信成本、快速模型迭代和数据分散式存储的场景特点,提出了一种通用的纵向联邦学习对抗样本生成算法VFL-GASG。具体而言,构建了一种适用于纵向联邦学习架构的对抗样本生成框架来实现白盒对抗攻击,并在该架构下扩展实现了L-BFGS、FGSM、C&W等不同策略的集中式机器学习对抗样本生成算法。借鉴深度卷积生成对抗网络的反卷积层设计,设计了一种对抗样本生成算法VFL-GASG以解决推理阶段对抗性扰动生成的通用性问题,该算法以本地特征的隐层向量作为先验知识训练生成模型,经由反卷积网络层产生精细的对抗性扰动,并通过判别器和扰动项控制扰动幅度。实验表明,相较于基线算法,所提算法在保持高攻击成功率的同时,在生成效率、鲁棒性和泛化能力上均达到较高水平,并通过实验验证了不同实验设置对对抗攻击效果的影响。     

一种RNN-T与BERT相结合的端到端语音识别模型

端到端语音识别模型由于结构简单且容易训练,已成为目前最流行的语音识别模型。然而端到端语音识别模型通常需要大量的语音-文本对进行训练,才能取得较好的识别性能。而在实际应用中收集大量配对数据既费力又昂贵,因此其无法在实际应用中被广泛使用。本文提出一种将RNN-T(Recurrent Neural Network Transducer,RNN-T)模型与BERT(Bidirectional Encoder Representations from Transformers,BERT)模型进行结合的方法来解决上述问题,其通过用BERT模型替换RNN-T中的预测网络部分,并对整个网络进行微调,从而使RNN-T模型能有效利用BERT模型中的语言学知识,进而提高模型的识别性能。在中文普通话数据集AISHELL-1上的实验结果表明,采用所提出的方法训练后的模型与基线模型相比能获得更好的识别结果。     

基于BERT-AWC的文本分类方法研究

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺...     

基于掩模提取的SAR图像对抗样本生成方法

合成孔径雷达（synthetic aperture radar,SAR）图像的对抗样本生成在当前已经有很多方法,但仍存在对抗样本扰动量较大、训练不稳定以及对抗样本的质量无法保证等问题。针对上述问题,提出了一种SAR图像对抗样本生成模型,该模型基于AdvGAN模型架构,首先根据SAR图像的特点设计了一种由增强Lee滤波器和最大类间方差法（OTSU）自适应阈值分割等模块组成的掩模提取模块,这种方法产生的扰动量更小,与原始样本的结构相似性（structural similarity,SSIM）值达到0.997以上。其次将改进的相对均值生成对抗网络（relativistic average generative adversarial network,RaGAN）损失引入AdvGAN中,使用相对均值判别器,让判别器在训练中同时依赖于真实数据和生成的数据,提高了训练的稳定性与攻击效果。在MSTAR数据集上与相关方法进行了实验对比,实验表明,此方法生成的SAR图像对抗样本在攻击防御模型时的攻击成功率较传统方法提高了10%～15%。     

基于BERT-BiLSTM的短文本情感分析

传统的神经网络模型主要是以词向量的形式处理短文本的分类任务,造成模型过度依赖分词的精度,而短文本又具有语料短、特征发散的特点,针对这一系类问题提出一种基于BERT和BiLSTM相融合的短文本情感分类模型。首先,利用BERT模型将训练的文本转换成以字为单位的向量表示形式;随后,将生成的字向量作为双向长短期记忆网络输入,获取到相关字的上下文的语义表示;并通过加入随机Dropout机制防止模型发生过拟合;最后,将提取的特征向量输入到全连接层,经过Softmax函数计算出文本所属的情感类别。经实验表明,在处理短文本方面,基于BERT-BiLSTM的算法模型比传统的利用词向量的神经网络模型分类更加精准可靠。     

一种基于混合神经网络的命名实体识别与共指消解联合模型

命名实体识别与共指消解均依赖于对实体相邻文本信息的学习,本文提出一种基于混合神经网络的命名实体识别与共指消解联合模型,共用双向长短时记忆模型LSTM编码层对输入序列中每个词前后方向上下文信息进行编码,并通过训练学习得到上下文信息传递到前馈神经网络FFNN模型以提高共指消解精度,通过将领域文档及篇章语义向量加入FFNN,改进共指消解算法并优化共指消解模型.基于领域文本数据集进行联合模型训练,实验结果表明该联合模型可以有效地提高共指消解精度.     

融合知识的中文医疗实体识别模型

从医疗文本中抽取知识对构建医疗辅助诊断系统等应用具有重要意义.实体识别是其中的核心步骤.现有的实体识别模型大都是基于标注数据的深度学习模型,非常依赖高质量大规模的标注数据.为了充分利用已有的医疗领域词典和预训练语言模型,本文提出了融合知识的中文医疗实体识别模型.一方面基于领域词典提取领域知识,另一方面,引入预训练语言模型BERT作为通用知识,然后将领域知识和通用知识融入到模型中.此外,本文引入了卷积神经网络来提高模型的上下文建模能力.本文在多个数据集上进行实验,实验结果表明,将知识融合到模型中能够有效提高中文医疗实体识别的效果.     

融合TextCNN与TextRNN模型的谣言识别方法

传统的谣言识别方法耗费人力物力并且准确率较低。为了有效识别社交网络中的谣言,提出一种基于融合模型的谣言识别方法.该方法首先通过BERT预训练模型构建文本句向量;其次构建TextCNN模型挖掘文本的语义特征,构建TextRNN模型用于挖掘文本的时序特征;最后,对两种模型进行加权融合,实现对谣言的识别.此外,还对原始主流模...     

解决嵌套问题的中文命名实体识别

作为众多任务的子任务，命名实体识别的发展较为迅速，但在中文命名实体识别领域，还存在不少问题，嵌套实体就是其中一个难点。文中根据结点的传入和传出，使用了图卷积神经网络提取图特征，改善了嵌套实体的准确度，并通过使用图神经网络处理中文命名实体识别的问题，更好地融合了词典信息。另外，文中分别对两类数据集进行了实验验证，结果显示，相比其他模型，该模型有所提高。     

基于MPNet与BiLSTM的COVID-19临床文本命名实体识别方法

随着生物医学研究与信息化技术的迅速发展,临床医学文献数量呈指数级增长,利用文本挖掘技术自动提取医学知识逐渐成为当前研究热点。针对目前新型冠状病毒肺炎(Corona Virus Disease 2019,COVID-19)临床文本研究匮乏、语料不足与标注质量不高等问题,本文结合UMLS医学语义网络和专家定义方式,制定医学实体标注规则,建立命名实体识别语料库,明确实体识别任务。其次,提出了一种基于MPNet与BiLSTM的COVID-19临床文本命名实体识别模型。通过预训练语言模型获得文本的向量化表示,解决了一词多义问题;采用双向长短期记忆网络,捕捉文本的长距离依赖;最后引入条件随机场,实现句子级序列注释,输出完整的最优标签序列。实验结果表明,MPNet-BiLSTM-CRF模型在COVID-19临床命名实体识别数据集上取得了较好的表现。     

基于不同模型的中文命名实体识别方法研究

目的:比较条件随机场、长短期记忆模型、BiLSTM-CRF和使用Bert预训练字符向量的BiLSTM-CRF四种命名实体识别模型.方法:分析比较四种模型在人民日报数据集和MSRA数据集上对人名、地点和机构三类实体的识别性能.结果:单一神经网络LSTM在缺乏训练数据支持的结果表现不如CRF,而使用了Bert预训练字符向量...     

一种面向自然语言问题的命名实体识别模型

在诸如电力客户问题等此类专业技术领域的自然语言问题命名实体识别任务中,由于专业性及用语的地域性导致难以实现大规模标注数据。而采用传统基于有监督学习模型的命名实体识别方法,则较易陷入过拟合。针对上述问题,文中对关系网络中的嵌入模块和关系模块及样本采样、元训练集构建等方面进行了面向命名实体识别任务特点的设计,提出了一种基于关系网络小样本学习方法的实体识别模型。在电力客户问题实体识别数据集上的实验结果表明,该模型的F1等重要指标比常用的有监督识别模型提高了大约10%～40%。     

基于改进神经网络的医疗大数据智能处理算法设计

针对电子病历中包含着大量的非结构化数据,而计算机难以处理且无法挖掘其潜在信息的问题,文中提出了一种基于改进神经网络的医疗大数据智能处理算法,以实现对医疗命名实体的识别。该算法利用迁移学习来预训练模型,并使用双向长短期记忆网络来提取特征。通过改进自注意力机制将多个特征向量与BiLSTM模型的隐式输出相结合,对不同的电子病历命名实体给出不同的权重,可有效提取命名实体中隐藏的解码信息,进而提升模型的识别率。在CCKS公开数据集上进行的实验测试结果表明,所提算法取得了较为理想的结果,具有良好的应用价值。     

基于混合神经网络的自然语言处理技术研究

针对当前电网运营数据指标查询便捷性较差的问题,提出了基于BERT的电力指标查询统计专家库模型。该模型采用BERT语言建模方法对电力指标查询统计文本进行了处理,并将其转化为由词向量、句向量及位置向量叠加形成的输入文本向量。同时引入BERT预训练过程来实现上下文依赖关系,以进行初步挖掘。利用基于Transformer模型的深度语义识别模型,通过BERT精调过程深入挖掘输入文本与语义识别结果之间的内在联系。构建了涵盖准确率、召回率的评价指标来评估算法的性能。算例分析结果表明,相比于RNN-LSTM和BiLSTM-Attention模型,所提模型的评价指标更高且计算时间较少,故在准确性与计算速度方面均存在优势;同时将该文所提BERT模型应用于实际电力指标查询文本中,结果发现工作人员对线损率指标尤为关注,应将其作为电力企业运营评估的重要工程指标。     

基于生成对抗网络的无监督域适应分类模型

生成适应模型利用生成对抗网络实现模型结构,并在领域适应学习上取得了突破.但其部分网络结构缺少信息交互,且仅使用对抗学习不足以完全减小域间距离,从而使分类精度受到影响.为此,提出一种基于生成对抗网络的无监督域适应分类模型（Unsupervised Domain Adaptation classification model based on GAN,UDAG）.该模型通过联合使用生成对抗网络和多核最大均值差异度量准则优化域间差异,并充分利用无监督对抗训练及监督分类训练之间的信息传递以学习源域分布和目标域分布之间的共享特征.通过在四种域适应情况下的实验结果表明,UDAG模型学习到更优的共享特征嵌入并实现了域适应图像分类,且分类精度有明显提高.