基于深度强化学习的文本实体关系抽取方法

从文本大数据中快速准确地抽取文本的实体关系信息是构建知识图谱的关键.针对目前主流的远程监督关系抽取方法常常忽略实体对的类型信息和句子语法信息的问题,该文提出了一种基于深度强化学习的文本实体关系抽取方法.首先,利用结合实体周围词注意力机制的双向长短期记忆网络作为句子编码的第一个模块;然后,在此基础上加入实体类型嵌入模块,...     

基于Attention-BiLSTM的中文命名实体识别

提出一种基于Attention-BiLSTM(attention-bidirectional long short-term memory)深度神经网络的命名实体识别方法。应用BiLSTM神经网络自动学习文本的隐含特征,可以解决传统识别方法存在长距离依赖等问题;引入注意力机制(attention mechanism)对文本全局特征做重要度计算,获取文本局部特征,解决了传统深度学习方法不能充分提取特征的问题;在预训练过程中加入维基百科知识,进一步提升了命名实体识别系统的性能。实验表明,所提方法在SIGHAN 2006 Bakeoff-3评测数据集上获得了优良的识别性能。     

基于事件模式及类型的事件检测模型

针对触发词定义标准模糊、语料标注成本高等问题,提出一种基于事件模式及类型的事件检测深度学习模型(PTNN)。首先基于实体的语法及语义特征获取潜在论元;其次将潜在论元抽象为角色,结合语法、语义、角色特征构建嵌入表示,增强输入对事件模式的体现;最后利用Bi-LSTM和基于事件类型的注意力机制,完成事件及类型判定。模型在不识别触发词的前提下,通过强化事件模式特征实现事件检测,避免了触发词标注困难的问题,证明了事件模式在神经网络上对事件检测的积极作用,将同类方法的最优效果提升了3%,且达到了基于触发词的检测效果。     

基于深度学习的中文零代词识别

针对中文零代词识别任务,提出了一种基于深度神经网络的中文零代词识别模型. 首先,通过注意力机制利用零代词的上下文来帮助表示缺省的语义信息. 然后,利用Tree-LSTM挖掘零代词上下文的句法结构信息. 最后,利用语义信息和句法结构信息的融合特征识别零代词. 实验结果表明,相对于以往的零代词识别方法,该方法能够有效提升识别效果,在中文OntoNotes5.0数据集上的F1值达到63.7%.     

基于深度学习的中文命名实体识别综述

命名实体识别作为信息抽取的核心任务,能够从文本中识别出各类命名实体。近年来,深度学习技术在字词表示、特征提取等方面上的应用,使中文命名实体识别任务取得了较为丰富的研究成果。目前,基于深度学习的中文命名实体识别技术,在特征提取的深度和模型的精确度上已逐渐超过了传统的基于规则的方法、基于特征工程的有监督方法和基于无监督的方法。围绕深度学习的识别框架,将现有基于深度学习的中文命名实体识别方法分嵌入层、编码层和标签解码层三部分进行介绍,并对未来可能的研究方向进行探讨和展望。     

融合预训练模型与注意力机制的军事实体关系抽取方法

军事实体关系抽取是军事信息抽取的主要任务之一,目的在于识别非结构化军事文本中两个命名实体的关系类别.传统的军事关系抽取方法难以解决人工特征不充分、军事领域中文分词不准确以及未能充分利用句子间的实体关系特征等问题.因此,提出了一种融合预训练语言模型(BERT)和注意力机制的军事关系识别方法.该方法能够有效学习上下文语义特...     

基于Bi-LSTM和注意力机制的命名实体识别

命名实体识别是自然语言处理中一项重要的基础任务,本文提出一种简单、新颖的深层循环神经网络的命名实体识别(Named Entity Recognition,NER)方法。使用一种稠密连接的方式(Dense connection,DC)在多层的双向长短期记忆神经网络(bi-directional long short-term memory, Bi-LSTM)之间传递信息,称这种网络结构为DC-BiLSTM。利用DC-BiLSTM来学习句子特征,并采用自注意力机制(self-attention)来捕捉任意两个标记之间的关系,最后使用条件随机场(CRF)对整个句子进行解码预测。实验表明结果,该方法在MSRA语料上平均F1值能达到91.81%,最高F1值能达到92.05%。     

基于图神经网络的零件机加工特征识别方法

针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%.     

基于BERT的医疗电子病历命名实体识别

针对中文医疗电子病历命名实体识别中,传统的字或词向量无法很好地表示上下文语义以及传统RNN并行计算能力不足等问题,提出了一个基于BERT的医疗电子病历命名实体识别模型。该模型中的BERT预训练语言模型可以更好地表示电子病历句子中的上下文语义,迭代膨胀卷积神经网络(IDCNN)对局部实体的卷积编码有更好的识别效果,多头注意力(MHA)多次计算每个字和所有字的注意力概率以获取电子病历句子的长距离依赖。实验结果表明,BERT-IDCNN-MHA-CRF模型能够较好地识别电子病历中的医疗实体,模型的精确率、召回率和F_1值相比于基线模型分别提高了1.80%,0.41%,1.11%。     

本体和深度学习融合的在线评论细粒度情感分析

为了解决细粒度情感识别效果欠佳和深度学习方法可解释性差等问题，提出一种将本体与深度学习融合的细粒度情感分析模型。在模型中，将领域本体与卷积神经网络相融合，以识别文本中的显式和隐式主题。同时，将情感词典、双向长短时记忆网络和注意力机制相结合，用于分析在线评论文本的细粒度情感。实验结果表明，与其他方法相比，所提的细粒度情感分析方法在准确率、召回率和F1值等方面均具有一定的优势。     

判别分析字典在行为识别中的算法研究

近年来,字典学习已成功运用到模式识别领域中,但是作为字典学习里的重要分支,分析字典却极少能得到应用,主要原因是分析字典的判别力较弱。该文提出了一种新的具有鲁棒性和判别性的分析字典学习法,该字典学习法从带噪数据中寻求数据的低秩表达,并联合Fisher准则从恢复出的干净数据中学习分析字典,由于引入了监督学习的机制,因此增强了字典的判别特性。最后将该算法应用于人体行为识别任务中,通过实验验证得出,相比于其他经典的字典学习方法,该方法在行为识别数据集上取得了较好的分类精度。     

基于深度学习的行为识别算法综述

人体行为识别一直是计算机视觉研究中的热点.随着近几年人体行为识别在虚拟现实、短视频等方面的广泛应用, 以及深度学习算法的快速发展, 基于深度学习的行为识别算法层出不穷.相较于传统方法, 基于深度学习的行为识别算法具有鲁棒性强、准确率高的优点.基于此, 本文对近年来提出的基于深度学习的行为识别算法进行了梳理, 并对由双流卷积网络和3D卷积网络结构发展而来的行为识别的系列算法进行了重点介绍, 并总结了各种算法的性能和成果, 最后对该领域进行了展望.     

基于深度学习的行为识别算法综述

人体行为识别一直是计算机视觉研究中的热点.随着近几年人体行为识别在虚拟现实、短视频等方面的广泛应用, 以及深度学习算法的快速发展, 基于深度学习的行为识别算法层出不穷.相较于传统方法, 基于深度学习的行为识别算法具有鲁棒性强、准确率高的优点.基于此, 本文对近年来提出的基于深度学习的行为识别算法进行了梳理, 并对由双流卷积网络和3D卷积网络结构发展而来的行为识别的系列算法进行了重点介绍, 并总结了各种算法的性能和成果, 最后对该领域进行了展望.     

基于CycleGAN的非配对人脸图片光照归一化方法

针对人脸识别过程中光照对识别结果的影响问题,提出了一种基于CycleGAN的光照归一化方法.使用了生成对抗式的网络结构,利用图像翻译的原理,将较亮图片的光照风格迁移至较暗图片,同时保持原人脸表面平滑且结构基本不变.使用非配对的数据集,无需人工标注标签,简化了数据准备阶段的工作,达到了利用无监督的深度学习方法去除图片光照影响的目的.最后用训练好的模型处理CroppedYale测试集,比较处理前后的人脸识别准确率.实验证明,本文方法具有较强的降低人脸光照对识别率影响的能力且基本不改变人脸结构,有利于提高人脸识别的准确率.     

基于半监督学习的脑电信号特征提取及识别

针对有监督学习容易造成未标记样本的浪费和手动特征提取容易导致信息丢失的问题,提出一种基于深层堆叠网络（DSN）的半监督特征学习方法,无监督特征学习的过程由多个受限玻尔兹曼机（RBM）的并行训练完成,将训练得到的参数用于DSN的输入权值初始化,再采用批量模式的梯度下降法进行监督微调。将所提方法用于运动想象脑电信号特征提取及识别,实验结果表明本文方法能够充分利用未标记样本中的隐含信息,有效提取脑电信号特征,识别结果优于共同空间模式（CSP）和深度信念网络（DBN）等算法,该方法可用于提高BCI系统中脑电信号的识别准确率。     

基于深度学习的变压器图像识别系统

针对变压器型号多、图像复杂,以及传统基于机器学习的人工设计特征的方法不能对大规模变压器图像准确分类等问题提出了基于深度学习的变压器图像识别系统直接对原始图像进行"端对端"的学习。为实现变压器图像的准确分类,提出了改进VGG-16卷积神经网络的变压器图像识别模型。在VGG-16模型的基础上,重新构建了全连接层,针对原有的SoftMax分类器,采用3标签的SoftMax分类器进行替换,以实现网络结构优化,并通过迁移学习共享V GG-16模型卷积层和降采样层的权值参数。通过构建变压器图像的训练集和测试集对改进模型进行了训练,并进行性能测试。结果表明,与深度神经网络、卷积神经网络模型相比,改进VGG-16模型具有更好的效果,识别误差达到了9.17%,并实现了对3种变压器的准确区分。     

基于卷积神经网络的多类运动想象脑电信号识别

针对传统多类运动想象（MI）脑电信号的识别方法须进行繁琐的预处理以及特征提取问题,提出基于深度学习的MI信号自动分类方法.在样本表示方面,提出将多通道脑电（EEG）信号转化为一维序列信号处理,在增加样本数量的同时又能够忽略与通道位置相关的空间信息的影响;根据输入信号的特点,采用多层一维卷积神经网络学习不同运动想象状态时脑电信号中的时频信息,自动完成特征提取和分类工作. 将所提出的方法在公共数据集上与多种方法进行比较,并完成对实际采集数据集的分类. 利用所提方法在不需要先验知识的条件下,对脑电信号进行端到端的学习. 结果表明该方法可以获得更高的多分类准确率以及降低个体差异对分类的影响. 所提出的方法有利于促进基于MI 的脑机接口系统的开发.     

基于稀疏滤波神经网络的智能调制识别

针对传统调制识别中特征提取依赖人工经验的问题,该文提出了一种基于抗噪预处理及稀疏滤波卷积神经网络的智能通信调制识别算法。该算法将调制信号的循环谱作为卷积神经网络的输入图像,并引入低秩表示算法去除循环谱图中的噪声及干扰。在有监督训练卷积神经网络之前,该文设计了一种新型的稀疏滤波准则对网络进行无监督的逐层预训练,从而提升了泛化性能。仿真表明算法在信噪比为0 dB时仍可达94.2%的识别准确率,优于传统方法及相关深度学习方法。     

基于数据增强视觉Transformer的细粒度图像分类

近来,视觉Transformer (vision transformer, ViT)在图像识别领域取得突破性进展,其自我注意力机制(self-attention mechanism, MSA)能够提取不同像素块的判别性标记信息进而提升图像分类精度,但其深层中的分类标记容易忽略层级之间的局部特征,此外,嵌入层将固定大小的像素块输入网络,不可避免地引入额外的图像噪声。为此,本文研究了一种基于数据增强的视觉 Transformer（data augmentation vision transformer, DAVT）,并提出注意力裁剪的数据增强方法,以注意力权重为指导裁剪图像,提高网络学习关键特征的能力。其次,本文还提出层级注意力选择方法（hierarchical attention selection, HAS）,它通过对层级之间标记进行筛选并融合,提升网络学习层级之间判别性标记的能力。实验结果表明,该方法在CUB-200-2011和Stanford Dogs两个通用数据集上的准确率优于现有的主流方法,其准确率比原始ViT分别提高1.4%和1.6%。