结合注意力及胶囊网络的多通道关系抽取模型

远程监督关系抽取是自然语言处理领域的重要任务之一.由于识别实体关系的任务是在句子级别进行的,注意力机制分配权重可能存在误差,且现有深度学习模型常采用卷积神经网络进行最终关系分类,并不能充分利用标记实体的位置信息.本文提出了一种结合注意力及胶囊网络的多通道关系抽取模型(BG-AMC),该模型首先通过双向GRU神经网络对句子词向量进行编码以获取句子的高维语义,接着利用注意力机制辅助生成句子的多通道表示,最后采用胶囊网络进行关系分类.多通道中的每个通道在递归传播时互不影响,可以使神经网络学习到同一句子的多种表示形式,以减轻句子歧义,胶囊网络可获取到句子实体的位置信息.实验表明,BG-AMC与其他基线模型对比能够提高远程监督关系抽取的效果.     

基于BiLSTM和ResCNN的实体关系抽取方法

当前大多数实体关系抽取方法无法获取较长句子中的远距离依赖信息,并且由于远程监督数据噪声的干扰导致关系抽取性能下降。因此本文提出一种基于双向长短期记忆网络（BiLSTM）和残差卷积神经网络（ResCNN）的实体关系抽取模型,该模型在向量表示阶段采用BiLSTM获取词语的上下文信息向量,利用残差网络将卷积神经网络中低层的特征传递到高层,有效解决梯度消失问题。同时将挤压-激励块嵌入残差网络中,能大幅降低数据噪声,强化特征传递,在池化阶段采用分段最大化池化方法来捕捉实体对的结构信息。设计在NYT-Freebase数据集上的验证实验,实验结果表明,该模型能够充分学习特征,显著提升实体关系抽取的效果。     

融合GRU和注意力机制的图卷积关系抽取

实体关系抽取在自然语言处理中十分重要,针对图卷积网络中特征提取不准确,循环神经网络梯度模糊等问题,提出了一种融合门控循环单元（GRU）和注意力机制的图卷积关系抽取模型。通过加入双向GRU对输入的上下文信息进行处理,获得更为细致的特征以此对长期依赖信息进行学习,并进一步利用多头注意力机制对不同类型的边与节点进行权重分配,过滤多余信息,增强节点间的关联性,最后利用图卷积得到最终的关系抽取结果。针对SemEval-2010Task8和SemEval-2010Task4数据集中对其进行测试,实验表明该方法提高了其F1值,能够实现关系的有效提取。     

基于滑动窗口注意力网络的关系分类模型

实体关系抽取是构建知识图谱过程中至关重要的一步。将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的BERT模型在多项自然语言处理任务中都取得了非常好的效果。为了充分融合局部信息和全局信息,并提高处理效率,该文提出了滑动窗口注意力网络模型(Sliding Window Attention Network, SWAN)。该模型首先通过预训练的word2vec生成词向量,加入位置表示并使用TransE模型对实体进行表征以充分突出实体信息,再采用基于BERT的SBERT模型对句子进行表征,在此基础上采用多种滑动窗口注意力机制捕获局部信息,然后在聚集层对抽取到的局部信息进行聚合,最后利用softmax函数来实现实体关系的分类。实验结果表明,提出的SWAN模型在SemEval2010 Task 8数据集上取得了较高的准确率,优于对比的现有关系抽取模型,同时模型训练效率也得到极大提升。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

基于GRU和注意力机制的远程监督关系抽取

随着深度学习的发展,越来越多的深度学习模型被运用到了关系提取的任务中,但是传统的深度学习模型无法解决长距离依赖问题;同时,远程监督将会不可避免地产生错误标签。针对以上两个问题,提出一种基于GRU（gated recurrent unit）和注意力机制的远程监督关系抽取方法,首先通过使用GRU神经网络来提取文本特征,解决长距离依赖问题;接着在实体对上构建句子级的注意力机制,减小噪声句子的权重;最后在真实的数据集上,通过计算准确率、召回率并绘出PR曲线证明该方法与现有的一些方法相比,取得了比较显著的进步。     

基于多通道卷积神经网的实体关系抽取

针对实体关系抽取任务中,传统基于统计学习的方法构建特征费时费力、现有深度学习方法依赖单一词向量的表征能力的问题,提出多通道卷积神经网模型。首先使用不同的词向量将输入语句进行映射,作为模型不同通道的输入;然后使用卷积神经网自动提取特征;最后通过softmax分类器输出关系类型,完成关系抽取任务。和其他模型相比,该模型可以获取输入语句更丰富的语义信息,自动学习出更具有区分度的特征。在SemEval-2010 Task 8 数据集上的实验结果表明提出的多通道卷积神经网模型较使用单一词向量的模型更适合处理关系抽取任务。     

基于混合神经网络的实体关系抽取方法研究

实体关系抽取是信息抽取领域的重要研究内容,对知识库的自动构建起着至关重要的作用。针对非结构化文本实体关系抽取存在上下文环境信息难以准确表征,致使现有抽取模型准确率不能满足实际应用需求的问题,该文提出了一种新型的实体关系抽取模型BiGRU-Att-PCNN。该模型是基于混合神经网络,首先,构建双向门控循环单元(BiGRU)以更好地获取文本序列中的上下文语序的相关信息;然后,采用注意力(Attention)机制来达到自动关注对关系影响力高的序列特征的目的;最后,通过采用分段卷积神经网络(PCNN),从调整后的序列中较好地学习到了相关的环境特征信息来进行关系抽取。该模型在公开的英文数据集SemEval 2010 Task 8上取得了86.71%的F₁值,实验表明,该方法表现出了较好的性能,为信息抽取领域实体关系的自动获取提供了新的方法支持。     

基于跨度和特征融合的实体关系联合抽取模型

实体关系联合抽取模型在实体关系抽取中具有重要作用,针对现有的实体关系联合抽取模型无法有效识别重叠关系中的实体关系三元组问题,提出一种新型的基于跨度和特征融合的实体关系联合抽取模型SFFM。将文本输入BERT预训练模型转变为词向量,根据跨度进行词向量划分形成跨度序列,并基于卷积神经网络过滤跨度序列中不包含实体的跨度序列,使用双向长短时记忆提取剩余跨度序列融合文本信息后的特征并通过Softmax回归实现实体识别,将文本中的实体和关系映射到不同的跨度序列中,当重叠关系中的实体和距离较远的实体之间存在关系时,按照跨度进行划分使可能存在关系的实体对划分到同一个跨度序列中,以更好地利用文本中的重叠关系。在此基础上,通过注意力机制获取跨度序列中的依赖关系,运用Softmax回归对跨度序列中的关系进行分类。实验结果表明,与基线模型相比,该模型在CoNLL04数据集上的微平均和宏平均分别提升了1.87和1.73个百分点,在SciERC数据集上的微平均提升了5.95个百分点。     

基于卷积神经网络和关键词策略的实体关系抽取方法*

针对传统的实体关系抽取方法在定义特征过程中费时且容易造成错误传播,及现有深度学习方法依靠单一词向量学习特征的不足,文中提出基于卷积神经网络和关键词策略的实体关系抽取方法.在原始词向量的基础上,通过基于句子级的关键词抽取算法(TP-ISP)获得类别关键词特征.类别关键词的加入提高类别区分度,同时弥补网络自动学习特征的不足.在网络训练阶段,采用分段最大池化策略,减少传统最大池化策略的信息丢失.实验表明,文中方法有利于提升实体关系抽取结果.     

用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术.句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中.但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足.本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neu...     

基于深度学习的网络流时空特征自动提取方法

流量异常检测是网络入侵检测的主要途径之一,也是网络安全领域的一个热门研究方向。通过对网络流量进行实时监控,可及时有效地对网络异常进行预警。目前,网络流量异常检测方法主要分为基于规则和基于特征工程的方法,但现有方法需针对网络流量特征的变化需重新人工收集规则或 构造特征,工作量大且繁杂。为解决上述问题,该文提出一种基于卷积神经网络和循环神经网络的深度学习方法来自动提取网络流量的时空特征,可同时提取不同数据包之间的时序特征和同一数据包内字节流的空间特征,并减少了大量的人工工作。在 MAWILab 网络轨迹数据集上进行的验证分析结果表明,该文所提出的网络流时空特征提取方法优于已有的深度表示学习方法。     

基于CNN和双向LSTM融合的实体关系抽取

实体关系抽取旨在识别网络文本中的实体,并提取出文本中实体之间隐含的关系。研究表明,深度神经网络在实体关系抽取任务上具有可行性,并优于传统关系抽取方法。目前的关系抽取方法大都使用卷积神经网络（CNN）和长短期记忆神经网络（LSTM）,然而CNN只考虑连续词之间的相关性而忽略了非连续词之间的相关性。另外,LSTM虽然考虑了长距离词的相关性,但提取特征不够充分。针对这些问题,提出了一种CNN和LSTM结合的实体关系抽取方法,采用3种结合方法进行了实验,验证了该方法的有效性,在F1值上有一定的提升。     

基于卷积神经网络的中文医疗弱监督关系抽取

随着医疗领域受到越来越多的关注,自然语言处理的理论和应用逐渐拓展到该领域,其中信息抽取技术在该领域的应用成为研究热点。针对信息抽取技术在医疗领域实体关系抽取中的应用,提出一种基于卷积神经网络的弱监督关系抽取方法。该方法通过添加人工规则使训练语料带有实体关系标签,然后将该弱关系训练语料转换为向量特征矩阵,并输入到卷积神经网络进行分类模型训练,最终实现实体关系抽取。实验结果表明,该方法比常规机器学习方法更加准确高效。     

基于带噪观测的远监督神经网络关系抽取

远监督关系抽取的最大优势是通过知识库和自然语言文本的自动对齐生成标记数据.这种简单的自动对齐机制在将人从繁重的样本标注工作中解放出来的同时,不可避免地会产生各种错误数据标记,进而影响构建高质量的关系抽取模型.针对远监督关系抽取任务中的标记噪声问题,提出“最终句子对齐的标签是基于某些未知因素所生成的带噪观测结果”这一假设.并在此假设的基础上,构建由编码层、基于噪声分布的注意力层、真实标签输出层和带噪观测层的新型关系抽取模型.模型利用自动标记的数据学习真实标签到噪声标签的转移概率,并在测试阶段,通过真实标签输出层得到最终的关系分类.随后,研究带噪观测模型与深度神经网络的结合,重点讨论基于深度神经网络编码的噪声分布注意力机制以及深度神经网络框架下不均衡样本的降噪处理.通过以上研究,进一步提升基于带噪观测远监督关系抽取模型的抽取精度和鲁棒性.最后,在公测数据集和同等参数设置下进行带噪观测远监督关系抽取模型的验证实验,通过分析样本噪声的分布情况,对在各种样本噪声分布下的带噪观测模型进行性能评价,并与现有的主流基线方法进行比较.结果显示,所提出的带噪观测模型具有更高的准确率和召回率.     

利用结构化SVM结合CNN的层次化目标检测与人体姿态估计方法

针对现有姿态估计方法不能准确提取特征参数的问题,提出了一种基于结构化支持向量机（SSVM）与卷积神经网络（CNN）的层次化模型。首先,展示了一个基于PS部件模型的SSVM如何实现为一个两层的神经网络,其中第一层是卷积层,另一层是损失增强推理层;通过将模型的结构化形式转换为模型中的一个神经网络,提出方法可以同时学习结构模型和外观模型,同时反向传播误差以学习底层的可学习参数,这些参数可从外观模型特征中提取出来;最后,将SSVM模型转换为神经网络模型,将误差反向传播到较低层,并计算确切的SSVM损失,同时通过基于次梯度的方法来学习原始SSVM。将该模型与当前较为先进的识别模型进行了对比,结果证明提出的层次化模型的识别成功率比对比方法平均高6%,具有更强的识别性能。     

基于时域建模的自动语音识别

端到端神经网络能够根据特定的任务自动学习从原始数据到特征的变换,解决人工设计的特征与任务不匹配的问题。以往语音识别的端到端网络采用一层时域卷积网络作为特征提取模型,递归神经网络和全连接前馈深度神经网络作为声学模型的方式,在效果和效率两个方面具有一定的局限性。从特征提取模块的效果以及声学模型的训练效率角度,提出多时间频率分辨率卷积网络与带记忆模块的前馈神经网络相结合的端到端语音识别模型。实验结果表明,所提方法语音识别在真实录制数据集上较传统方法字错误率下降10%,训练时间减少80%。     

基于深度学习网络模型的端到端航迹关联

为提高雷达数据处理中航迹关联的智能性,充分利用目标的特征信息,并简化系统处理流程,提出了一种基于深度学习网络模型的端到端航迹关联算法。首先分析了基于神经网络的航迹关联存在样本细节少、处理流程繁杂的问题,然后提出了端到端的深度学习模型。该模型根据航迹关联数据的处理特征,改进了卷积神经网络结构用于特征提取,充分利用了长短期记忆网络对历史信息和将来信息的处理能力,并分析了前后航迹的关联性。在对原始数据进行卡尔曼滤波后,将全部航迹信息特征作为输入,并由基于卷积神经网络特征提取的长短期记忆深度神经网络模型直接输出航迹关联结果。仿真结果表明,提出的模型可以充分学习推演目标的多个特征信息,具有较高的航迹关联准确率,对航迹关联的智能化分析具有一定的参考价值。