基于顺序遗忘编码和Bi-LSTM的命名实体识别算法

为了使长短时记忆网络(Long Short-Term Memory,LSTM)更精确地提取句子较远的特征信息,提出一种融合顺序遗忘编码(Fixed-size Oradinally Forgetting Encoding,FOFE)结合循环神经网络的命名实体识别算法。利用FOFE可以保留任意长度句子信息的编码方式来增强LSTM对句子特征的提取能力。利用Bi-LSTM和FOFE编码分别对向量化表示的文本进行特征提取和编码表示。结合得到的两个特征向量,通过注意力机制对Bi-LSTM的输入与输出之间的相关性进行计算,最后利用条件随机场学习标签序列的约束。该算法分别在英文和中文两种语言的数据集中进行了对比实验,F1值分别达到了91.30和91.65,验证了该方法的有效性。     

基于深度神经网络的维吾尔文命名实体识别研究

现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识。针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示。首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;最后,用Bi-LSTM-CRF深度神经网络模型进行命名实体标注。实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13%。     

基于多注意力的中文命名实体识别

笔者在基于神经网络的命名实体识别基础上,提出了改进的中文命名实体识别方法,通过调整网络中间的部分架构,引入Transformer编码模型,在没有添加文本外部信息的情况下,研究学习文本语句自身含义的方法,通过多注意力的学习增强文本的特征表示,捕捉更多字符间的关系,同时解决了长短期记忆网络不能并行计算的问题,并在企业舆情数据集上进行了实验和测试。与传统方法进行对比,验证了该方法可有效提高中文命名实体识别的准确率。     

基于交互式特征融合的嵌套命名实体识别

现有命名实体识别模型在字嵌入过程中多采用字符向量、字向量等不同单词表示向量的拼接或累加方式提取信息,未考虑不同单词表示特征之间的相互依赖关系,导致单词内部特征信息获取不足。提出一种基于交互式特征融合的嵌套命名实体识别模型,通过交互的方式构建不同特征之间的通信桥梁,以捕获多特征之间的依赖关系。采用交互机制得到包含不同单词表示信息的字嵌入向量,基于双向长短时记忆网络提取单词的表示特征,并对不同单词的表示特征进行交互,捕获特征之间的相互依赖关系。为进一步提取序列特征的上下文信息,采用基于特征交互的多头注意力机制捕获句子上下文的依赖关系。在此基础上,采用二元序列标记法过滤非实体区域,得到粗粒度候选区间,并对其进行细粒度划分以判断实体类别。实验结果表明,该模型的召回率和F1值为72.4%和71.2%,相比现有的嵌套命名实体识别模型,F1值平均提高了1.72%。     

基于多重注意力机制的中文医疗实体识别

医疗实体识别是从医疗文本中识别疾病、症状、药物等多种类型的医疗实体,能够为知识图谱、智慧医疗等下游任务的发展提供支持。针对现有命名实体识别模型提取语义特征较单一、对医疗文本语义理解能力不足的问题,提出一种基于多重注意力机制的神经网络模型MANM。为捕获文本中更丰富的语义特征,在模型输入中引入医疗词汇先验知识,通过自注意力机制获取医疗文本的全局语义特征,并利用双线性注意力机制获取词汇和字符层面的潜在语义特征,得到包含字词间依赖关系的特征向量。为提高模型的上下文信息捕捉能力,采用改进的长短时记忆网络提取文本时序特征,同时设计多头自注意力机制获取词语间隐含的关联语义特征。最后融合上述多层次语义特征,利用条件随机场进行实体识别。在公开数据集CMeEE、CCKS2019、CCKS2020上进行对比实验,实验结果表明,MANM模型在3个数据集上的F1值分别达到64.29%、86.12%、90.32%,验证了所提方法在医疗实体识别中的有效性。     

基于依存关系的命名实体识别

现有的命名实体识别方法主要是将句子看作一个序列进行处理,忽略了句子中潜在的句法信息,存在长距离依赖问题.为此,该文提出一种基于依存关系的命名实体识别模型,通过在输入数据中增加依存树信息,改变双向长短时记忆网络的层间传播方式,以获得单词在依存树中的子节点和父节点信息,并通过注意力机制动态选择两者的特征,最后将特征输入到C...     

基于自注意力和Lattice-LSTM的军事命名实体识别

军事命名实体识别能够为情报分析、指挥决策等环节提供自动化辅助支持,是提升指挥信息系统智能化程度的关键技术手段。由于中文文化和英文文化的不同,中国语言文字中实体识别第1步是对文章字句进行分词,分词的不准确则会直接造成命名实体识别上的精度损失。此外,一段字句中命名实体的识别是与上下文信息相关的,不同字词对实体识别的贡献度不一定是正向的,多余的字词信息只会对命名实体识别起到负面作用。针对上述挑战,提出了 Lattice长短时记忆神经网络 (LSTM) 结合自注意力机制（self-attention) 的融合网络模型。Lattice-LSTM 结构可以实现对字句中特殊字词的识别,并将深层的字词信息聚合到基于字符的 LSTM-CRF 模型中。Self-attention结构可以发现同一句子中词之间的关系特征或语义特征。使用人工标注的小规模样本集进行实验,结果表明该模型相较于几种基线模型取得了更理想的效果。     

基于深度学习的网购评论命名实体识别方法

针对网购评论命名实体识别中重要词汇被忽略的问题,在评论短文本处理基础上,借鉴多头注意力机制、词汇贡献度和双向长短时记忆条件随机场提出一种基于MA-BiLSTM-CRF模型的网购评论命名实体识别方法。首先,用词向量和词性向量的组合来表示评论文本语义信息;其次,用BiLSTM提取文本特征;然后,引入多头注意力机制从多层面、多角度提升模型性能;最后,用条件随机场（CRF）识别命名实体。实验结果表明,该方法能提升网购评论实体识别效果。     

基于两段高速网络的命名实体识别

命名实体识别作为自然语言处理领域的基础问题一直备受关注.中文命名实体特别是组合命名实体,由于其内部结构复杂,故长度可以很长,已有的研究还存在以下两个问题:一是字和词之间的关联信息未能充分挖掘,无法将组合实体和简单实体做统一处理;二是组合实体加大了实体序列长短的差异,文本自身信息的捕获不充分.针对问题一,该文借助融合了双...     

基于深度学习的医疗命名实体识别

医疗命名实体识别指从海量的非结构化的医疗数据中提取关键信息,为医学研究的发展和智慧医疗系统的普及提供了基础.深度学习运用深层非线性的神经网络结构能够学习到复杂、抽象的特征,可实现对数据更本质的表征.医疗命名实体识别采用深度学习模型可明显提升效果.首先,本文综述了医疗命名实体识别特有的难点以及传统的识别方法;其次,总结了基于深度学习方法的模型并介绍了较为流行的模型改进方法,包括针对特征向量的改进,针对数据匮乏、复杂命名实体识别等问题的改进;最后,通过综合论述对未来的研究方向进行展望.     

面向机加工艺规程文本的实体识别模型

为实现非结构化工艺规程文本中关键信息的高效识别,建立一种基于机加工领域词典和神经网络的命名实体识别模型.首先,结合机加工领域词典与jieba分词技术进行数据集的自动标注,并在对工艺参数信息进行标注的过程中将数字和标志字母划分为一个分词单位以增强后续特征提取效果;其次,在word2vec词嵌入的基础上,采用双向长短时记忆网络对文本进行特征提取;最后,采用条件随机场综合上下文逻辑以提高关键工艺信息的识别准确率.在包含431条工步内容的数据集上,对所提模型的识别效果进行实验,结果表明,所提模型的准确率、召回率和F₁值分别为90.20%,93.88%和92.00%,在与领域内传统模型的对比上具有一定优势,并使用3个不同工艺规程数据集验证了该模型的鲁棒性.     

机场不正常事件实体检测与识别方法研究

民航安全自愿报告系统收集的海量故障报告以非结构化文本形式存储,不便于相关人员针对大量不正常事件加以分析并采取控制措施;命名实体识别技术可以将海量非结构化文本中的关键要素进行检测和识别,抽取成类别分明的结构化信息,作为进一步分析不正常事件并加以控制的基础工作;将机场不正常事件报告作为研究对象,提出了一种基于神经网络的中文命名实体识别模型,对文本进行了结构化处理;针对随机选用的训练样本一些实体类别分布比较稀疏和人工标注费时费力的问题,提出了基于模型预测分数的样本选择策略,实现了预标注样本的高效筛选;经过实验验证,该模型与BiLSTM_CRF模型、BiLSTM_self-attention_CRF模型相比F1值均提高了约6个百分点,该样本选择策略明显提高了人工标注效率,筛选出足够多的含有稀疏实体的样本。     

基于注意力机制和长短期记忆神经网络的流量预测研究

准确的流量预测提升通信网络技能、改善通信网络管理具有重要意义.考虑到长短期记忆(Long Short-Term Memory,LSTM)神经网络可解决长序列数据在训练过程中的存在梯度消失问题,采用LSTM作为长期流量预测的基准模型,为提高模型准确性,在LSTM模型的基础上,引入Attention机制(Attention...     

简要案情的命名实体识别技术

简要案情是公安机关为提高\"协同办案系统\"录入信息质量,确保信息检索与案件串并工作高效开展而对案情记载的简要描述,其中各类实体间包含了大量与受害者和作案人相关的案情信息.因此,对简要案情文本的深度挖掘是掌握案件始末和分析案情的有效手段之一.简要案情文本中的实体稠密分布、实体间相互嵌套以及实体简称,给准确捕捉案件实体带来了...     

面向感应电机故障诊断的深度学习方法研究

振动信号能够有效地反映出电机运行的状态,因此被视为诊断感应电机故障的重要依据。然而,原始振动信号存在特征单一、时序过长的问题,已有研究通常基于专家经验提取特征,成本较高。近年来,故障数据的积累推动了基于深度学习方法在故障诊断中的运用。针对上述问题提出了一种基于多头注意力机制和一维卷积神经网络的特征工程方法（multi-attention with 1D convolutional neural network,MAC-LSTM）用于感应电机的故障诊断,该方法无须任何先验知识。多头注意力机制被用来拓展特征的维度,使得原始特征的表示更加丰富;卷积神经网络从时间维度上提取特征并降维,有效解决原始信号时序过长的问题;LSTM捕获信号的时序依赖性,用于感应电机的故障诊断。实验结果表明,MAC-LSTM在基于振动信号的感应电机故障诊断中取得了优异的性能,并且具有很高的泛化能力。     

基于多任务学习的电子病历实体识别方法

中文电子病历NER是医疗信息抽取的难点。本文提出一种多任务学习的实体识别方法,联合实体识别和分词训练模型,使用基于Bi-LSTM的私有层提取专有信息,融合注意力网络作为共享层并增加通用特征增强机制来筛选全局信息,降低过拟合风险并增强模型的泛化能力。此外提出均衡样本过采样方法扩充数据集,有效解决实体类别不平衡所带来的问题。使用CCKS2017/CCKS2020电子病历实体识别语料和Medicine医药分词语料联合训练,实验结果显示本文提出的模型整体性能提升明显,同时也显著提高了Medicine语料的分词实验效果,F1值较基线提升了3个百分点。实验表明本文提出的模型能够有效改善因电子病历中数据不规范、无结构或专有名词等原因造成的实体切分错误等问题。     

基于多流CNN-LSTM网络的群体情绪识别

群体情绪识别是人机交互领域的前言课题,针对群体情绪识别准确率的问题,结合卷积神经网络（CNN）与长短期记忆网络（LSTM）,提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习。最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果。实验结果表明,本文模型可有效地识别4种典型的群体情绪,且识别率高于已有算法,准确度（ACC）和宏平均精度（MAP）分别最高可达82.6%、84.1%。     

基于多阶段注意力机制的多种导航传感器故障识别研究

导航传感器在使用过程中容易发生故障, 针对传统方法对其间歇性和渐变性故障识别率低的问题提出了一种基于多阶段注意力机制的多传感器故障识别算法. 该算法采用基于长短期记忆神经网络和注意力机制的编码器−解码器结构, 根据多类导航传感器数据之间的空间相关性和时间相关性来进行多传感器的故障互判. 经验证, 该算法对多种类传感器的故障识别率高达97.5%, 可以高效地实现故障的检测和分类. 该方法可以准确识别出故障传感器和故障类型, 具有很强的工程应用价值.     

融合空洞卷积神经网络与层次注意力机制的中文命名实体识别

该文针对现有的命名实体识别(named entity recognition,NER)模型未考虑到文本层次化结构对实体识别的重要作用,以及循环神经网络受其递归性的限制导致计算效率低下等问题,构建了IDC-HSAN模型(Iterated Dilated Convolutions Neural Networks and Hierarchical Self-attention Network)。该模型通过迭代的空洞卷积神经网络(ID-CNN)充分利用GPU的并行性大大降低了使用长短时记忆网络的时间代价。然后,采用层次化注意力机制捕获重要的局部特征和全局上下文中的重要语义信息。此外,为了丰富嵌入信息,加入了偏旁部首信息。最后,在不同领域数据集上的实验结果表明,IDC-HSAN模型能够从文本中获取有用的实体信息,和传统的深度网络模型、结合注意力机制的命名实体识别模型相比识别效果有所提升。