基于自注意力深度学习的微博实体识别研究

命名实体识别是自然语言处理的重要基础,随着神经网络的快速发展,深度学习的各种方法被应用于文本处理的各个方向。引入自注意力机制,结合深度学习方法,提出一种基于自注意力的双向长短期记忆条件随机场(SelfAtt-BiLSTM-CRF)方法来识别微博中的实体,利用自注意力机制,获取词与词之间的依赖关系,进一步提高模型的识别能力。实验表明,所提出的方法取得了较好的识别效果。     

基于注意力机制的包装命名实体识别

目的 为了解决包装行业相关文本命名实体识别困难问题,提出在BiLSTM（Bidirectional Long Short-Term Memory）神经网络中加入注意力机制（Attention）和字词联合特征,构建一种基于注意力机制的BiLSTM深度学习模型（简称Attention-BiLSTM）,以识别包装命名实体。方法 首先构建包装领域词典匹配包装语料中词语的类别特征,同时将包装语料转换为字特征和词特征联合的向量特征,并且在过程中加入POS（词性）信息。然后将以上特征联合馈送到BiLSTM网络,以获取文本的全局特征,并利用注意力机制获取局部特征。最后根据文本的全局特征和局部特征使用CRF（Conditional Random Field）解码整个句子的最优标注序列。结果 通过对《中国包装网》新闻数据集的实验,获得了85.6%的F值。结论 所提方法在包装命名实体识别中优于传统方法。     

基于Attention-BiLSTM的中文命名实体识别

提出一种基于Attention-BiLSTM(attention-bidirectional long short-term memory)深度神经网络的命名实体识别方法。应用BiLSTM神经网络自动学习文本的隐含特征,可以解决传统识别方法存在长距离依赖等问题;引入注意力机制(attention mechanism)对文本全局特征做重要度计算,获取文本局部特征,解决了传统深度学习方法不能充分提取特征的问题;在预训练过程中加入维基百科知识,进一步提升了命名实体识别系统的性能。实验表明,所提方法在SIGHAN 2006 Bakeoff-3评测数据集上获得了优良的识别性能。     

基于医疗类别的电子病历命名实体识别研究

基于电子病历命名实体识别对智慧医疗和医疗知识图谱的构建具有重要意义,提出一种基于医疗类别的命名实体识别方法。首先,针对电子病历语料中实体特点进行深度挖掘,将电子病历分为4类医疗类别;然后,对各医疗类别分别构建特征集,并使用条件随机场模型对身体部位、症状和体征、检查与检验、疾病与诊断、治疗等5类命名实体进行命名实体识别;最后,将基于医疗类别特征集识别效果和通用特征集的识别结果进行对比。实验结果表明,基于医疗类别的电子病历命名实体识别效果显著提升,可以满足应用需求。     

基于BERT的医疗电子病历命名实体识别

针对中文医疗电子病历命名实体识别中,传统的字或词向量无法很好地表示上下文语义以及传统RNN并行计算能力不足等问题,提出了一个基于BERT的医疗电子病历命名实体识别模型。该模型中的BERT预训练语言模型可以更好地表示电子病历句子中的上下文语义,迭代膨胀卷积神经网络(IDCNN)对局部实体的卷积编码有更好的识别效果,多头注意力(MHA)多次计算每个字和所有字的注意力概率以获取电子病历句子的长距离依赖。实验结果表明,BERT-IDCNN-MHA-CRF模型能够较好地识别电子病历中的医疗实体,模型的精确率、召回率和F_1值相比于基线模型分别提高了1.80%,0.41%,1.11%。     

反馈式K近邻语义迁移学习的领域命名实体识别

领域命名实体识别是构建领域知识图谱的重要基础。针对专业领域语料匮乏的特点,构建基于深度学习的BiLSTM-CNN-CRFs网络模型,并提出一种反馈式K近邻语义迁移学习的领域命名实体识别方法。首先,对专业领域语料和通用领域语料分别训练得到语料文档向量,使用马哈拉诺比斯距离计算领域语料与通用语料的语义相似性,针对每个专业领域样本分别取K个语义最相似的通用领域样本进行语义迁移学习,构建多个迁移语料集。然后,使用BiLSTM-CNN-CRFs网络模型对迁移语料集进行领域命名实体识别,并对识别结果进行评估和前馈,根据反馈结果选取合适的K值,作为语义迁移学习的最佳阈值。以包装领域和医疗领域为例进行实验验证,结果表明:本文方法取得了很好的识别效果,可以有效解决专业领域语料匮乏问题。     

基于BERT和TextRank关键词提取的 实体链接方法

提出一种基于BERT(bidirectional encoder representations from transformers)和TextRank关键词提取的实体链接方法。将BERT预训练语言模型引入实体链接任务,进行实体指称上下文和候选实体相关信息的关联度分析,通过提升语义分析的效果来增强实体链接的结果。采用TextRank关键词提取技术增强目标实体综合描述信息的主题信息,增强文本相似度度量的准确性,从而优化模型效果。使用CCKS2019评测任务二的数据集对模型效果进行验证,实验结果表明,所提方法的实体链接效果明显优于其他实体链接方法,能有效解决实体链接问题。     

基于门控多层次注意机制的事件主体抽取

传统事件主体抽取方法着重依赖句子级信息进行抽取,不能完全解决事件的模糊性问题.提出一种基于门控多层次注意机制的ELMo-BiGRU深度学习模型对事件主体抽取进行研究.使用ELMo预训练模型生成上下文相关的动态词向量,在一定程度上缓解一词多义的问题;为了处理句子中存在事件模糊性的问题,采用门控多层次注意力机制动态融合每个词的句子级信息和文档级信息.实验结果表明,该方法的抽取效果明显优于传统抽取方法,可以有效解决事件主体抽取的问题.