基于双向GRU神经网络和注意力机制的中文船舶故障关系抽取方法

随着深度学习的发展,越来越多的深度学习模型被应用到了关系抽取任务中.传统的深度学习模型不能解决长距离的学习任务,且当抽取文本的噪声较大时表现更差.针对以上两个问题,提出了一种基于双向GRU(Gated Recurrent Unit)神经网络和注意力机制的深度学习模型来对中文船舶故障语料库进行关系抽取.首先,通过使用双向GRU神经网络来提取文本特征,解决了文本的长依赖问题,同时减少了模型运行的时间损耗和迭代次数;其次,通过建立句子级别的注意力机制,提高模型对有效语句的关注度,降低噪声句子给整体关系提取效果带来的负面影响;最后,在训练集上进行训练,并在真实的测试集上计算精确率、召回率、F1的值来将该模型与现有的方法对比.     

基于循环卷积神经网络的实体关系抽取方法研究

针对目前大多数关系抽取中对于文本语料中较长的实体共现句,往往只能获取到局部的特征,并不能学习到长距离依赖信息的问题,提出了一种基于循环卷积神经网络与注意力机制的实体关系抽取模型。将擅长处理远距离依赖关系的循环神经网络GRU加入到卷积神经网络的向量表示阶段,通过双向GRU学习得到词语的上下文信息向量,在卷积神经网络的池化层采取分段最大池化方法,在获取实体对结构信息的同时,提取更细粒度的特征信息,同时在模型中加入基于句子级别的注意力机制。在NYT数据集的实验结果表明提出方法能有效提高实体关系抽取的准确率与召回率。     

结合注意力及胶囊网络的多通道关系抽取模型

远程监督关系抽取是自然语言处理领域的重要任务之一.由于识别实体关系的任务是在句子级别进行的,注意力机制分配权重可能存在误差,且现有深度学习模型常采用卷积神经网络进行最终关系分类,并不能充分利用标记实体的位置信息.本文提出了一种结合注意力及胶囊网络的多通道关系抽取模型(BG-AMC),该模型首先通过双向GRU神经网络对句子词向量进行编码以获取句子的高维语义,接着利用注意力机制辅助生成句子的多通道表示,最后采用胶囊网络进行关系分类.多通道中的每个通道在递归传播时互不影响,可以使神经网络学习到同一句子的多种表示形式,以减轻句子歧义,胶囊网络可获取到句子实体的位置信息.实验表明,BG-AMC与其他基线模型对比能够提高远程监督关系抽取的效果.     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

融合实体特征及多种类注意力机制的领域关系抽取模型

基于远程监督的关系抽取方法可以明显地减少人工标注数据集的成本,已经被广泛应用于领域知识图谱的构建任务中.然而,现有的远程监督关系抽取方法领域针对性不强,同时也忽略了对领域实体特征信息的利用.为了解决上述问题,提出了一种融合实体特征和多种类注意力机制的关系抽取模型PCNN-EFMA.模型采用远程监督和多实例技术,不再受限于人工标注.同时,为了减少远程监督中噪声的影响,模型使用了句子注意力和包间注意力这两类注意力,并在词嵌入层和句子注意力中融合实体特征信息,增强了模型的特征选择能力.实验表明,该模型在领域数据集上的PR曲线更好,并在P@N上的平均准确率优于PCNN-ATT模型.     

DenseCNN-ATT:实体关系抽取的密集连接卷积神经网络

在远程监督(Distant Supervision,DS)实体关系抽取任务中,采用远程监督的方式虽然可以产生大量的标注数据,但是这种方法产生的数据集充满大量的噪声数据,从而会降低关系抽取的性能.为此,我们针对现有深度学习使用浅层和单一深层神经网络模型提取特征的局限,设计了一个融合注意力机制的密集连接卷积神经网络模型——DenseCNN-ATT,该模型采用五层卷积深度的CNN,构成密集连接卷积模块作为句子编码器,通过增加特征通道数量来提高特征传递,减少了特征梯度的消失现象;此外,为进一步减少噪声影响,论文将网络的最大池化结果融合注意力机制,通过强调句子权重,来提升关系抽取性能.该模型在NYT数据集上的平均准确率达到了83.2％,相比于目前效果较好的浅层网络PCNN+ATT和深层网络ResCNN-9提升了9％～11％.实验证明,该模型能够充分利用有效的实例关系,在综合性能上明显优于目前效果较好的主流模型.     

融合位置特征注意力与关系增强机制的远程监督关系抽取

实体关系抽取是构建知识图谱的主要任务之一,旨在确定句子中实体之间的关系类别.远程监督关系抽取方法通过将远程知识库与文本数据对齐来自动标记数据,已成为处理关系抽取任务的主要方式.为解决远程关系抽取不能充分利用单词之间的位置关系信息,并且没有考虑重叠关系之间语义相关性的问题,本文提出一种融合位置特征注意力和关系增强机制的远程监督关系抽取模型.该模型使用基于高斯算法的位置特征注意力机制重新分配句子中单词的权重,并且采用分段卷积神经网络和词级注意力来捕获句子特征.然后,利用基于自注意力的关系增强机制来捕获重叠关系之间的语义关联.在NYT10公共数据集上的实验结果表明,本文模型的性能优于所比较的基线关系抽取模型.     

基于注意力机制的LSTM的语义关系抽取*

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM模型(Long Short-term memory)与注意力机制(Attention Mechanism)相结合的关系抽取方法。首先将文本信息向量化,提取文本局部特征;然后将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在SemEval-2010 Task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。     

基于远程监督的藏文实体关系抽取

关系抽取任务是对句子中的实体对进行关系分类。基于远程监督的关系抽取是用预先构建的知识库来对齐朴素文本,自动标注数据,在一定程度上减少了人工标注的成本,缓解了藏文材料语料不足的问题。但是基于远程监督的实体关系抽取还存在错误标记、提取特征时出现噪声等问题。该文用远程监督方法进行藏文实体关系抽取,基于已经构建的藏文知识库,利用分段卷积神经网络结构,加入语言模型和注意力机制来改善语义歧义问题以及学习句子的信息;在训练过程中加入联合得分函数来动态修正错误标签问题。实验结果表明改进的模型有效提高了藏文实体关系抽取的准确率,且优于基线模型效果。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

基于带噪观测的远监督神经网络关系抽取

远监督关系抽取的最大优势是通过知识库和自然语言文本的自动对齐生成标记数据.这种简单的自动对齐机制在将人从繁重的样本标注工作中解放出来的同时,不可避免地会产生各种错误数据标记,进而影响构建高质量的关系抽取模型.针对远监督关系抽取任务中的标记噪声问题,提出“最终句子对齐的标签是基于某些未知因素所生成的带噪观测结果”这一假设.并在此假设的基础上,构建由编码层、基于噪声分布的注意力层、真实标签输出层和带噪观测层的新型关系抽取模型.模型利用自动标记的数据学习真实标签到噪声标签的转移概率,并在测试阶段,通过真实标签输出层得到最终的关系分类.随后,研究带噪观测模型与深度神经网络的结合,重点讨论基于深度神经网络编码的噪声分布注意力机制以及深度神经网络框架下不均衡样本的降噪处理.通过以上研究,进一步提升基于带噪观测远监督关系抽取模型的抽取精度和鲁棒性.最后,在公测数据集和同等参数设置下进行带噪观测远监督关系抽取模型的验证实验,通过分析样本噪声的分布情况,对在各种样本噪声分布下的带噪观测模型进行性能评价,并与现有的主流基线方法进行比较.结果显示,所提出的带噪观测模型具有更高的准确率和召回率.     

基于GA-TD3算法的交叉路口决策模型

为了解决交叉路口场景下无人驾驶决策模型成功率低,模型不稳定,车辆通行效率低的问题,从两个方面对TD3算法作出改进,提出了基于GA-TD3算法的交叉路口决策模型。首先引入记忆模块,使用GRU神经网络来提升决策模型的成功率;其次在状态空间引入社会注意力机制,更加关注与社会车辆的交互行为,保证模型稳定性的同时提升车辆的通行效率。采用CARLA仿真器进行20 000回合的模型训练后,TD3算法通过路口的成功率为92.4%,GA-TD3算法的成功率为97.6%,且车辆的通行时间缩短了3.36 s。GA-TD3算法模型在学习效率和通行效率上均有所提升,从而缓解城市中的交通压力,提高驾驶效率。     

基于DCNN-GRU模型的XSS攻击检测方法

为了提高跨站脚本攻击的检测效率,利用一维DCNN快速处理时序问题的能力和GRU模型处理上下文具有长期依赖关系问题的能力,提出基于DCNN-GRU模型的XSS攻击检测方法.对原始数据做规范化处理,将数据转化为可以对深度学习网络模型进行输入的特征向量.通过卷积层和池化层处理特征向量,GRU层作为门控机制来保留代码间的依赖关...     

实体关系抽取综述

实体关系抽取作为信息抽取任务的重要组成之一，能够对更小粒度的信息进行语义分析，为更多任务提供数据支持。关系抽取发展至今，总体可分为基于传统机器学习和基于深度学习两种方式。基于传统机器学习的关系抽取研究主要以统计和基于规则相结合的方法为主。基于深度学习的框架通过引入远程监督、小样本学习、注意力机制、强化学习、多示例多标记学习等方法取得了丰富的研究成果。回顾实体关系抽取的发展历程，对每种模型进行分析和讨论；结合深度学习方法的最新动态，对实体关系抽取未来的研究方向和趋势进行展望。     

基于DAE和GRU组合的流量异常检测方法

流量异常检测能够有效识别网络流量数据中的攻击行为,是一种重要的网络安全防护手段。近年来,深度学习在流量异常检测领域得到了广泛应用,现有的深度学习模型进行流量异常检测存在两个问题:一是数据受噪声影响导致检测鲁棒性差、准确率低;二是数据特征维度高以及模型参数多导致训练和检测速度慢。为了在降低流量数据噪声影响的基础上提高检测速度和准确性,本文提出了一种基于去噪自编码器(Denoising Auto Encoder,DAE)和门控循环单元(Gated Recurrent Unit,GRU)组合的流量异常检测方法。首先设计了基于DAE的流量特征提取算法,采用小批量梯度下降算法对DAE进行训练,通过最小化含噪声数据的重构向量与原始输入向量间的差异,有效提取具有较强鲁棒性的流量特征,降低特征维度。然后设计了基于GRU的异常检测算法,利用提取的低维流量特征数据训练GRU,从而构建异常流量分类器,实现对攻击流量的准确检测。最后在NSL-KDD、UNSW-NB15、CICIDS2017数据集上的实验结果表明:与其他的机器学习、深度学习方法相比,本文所提方法的检测准确率最大提升了18.71%。同时,本文方法可以实现较高的精确率、召回率和检测效率,同时具有较低的误报率。在面对数据受到噪声破坏时,具有较强的检测鲁棒性。     

改进EEMD-GRU混合模型在径流预报中的应用

为解决径流预测模型存在的预测精确度低、稳定性差、延时高等问题,结合门控制循环单元神经网络（gated recurrent unit, GRU）,集合经验模态分解（ensemble empirical mode decomposition, EEMD）的各自优点,提出一种基于改进EEMD方法的深度学习模型（EEMD-GRU）。该模型首先以智能算法对径流信号进行边界拓延,以解决EEMD边界效应。然后利用改进EEMD方法将径流信号分解为若干稳态分量,将各分量作为GRU模型的输入并对其进行预测。实验结果表明,与结合了经验模态分解的支持向量回归模型相比,并行EEMD-GRU径流预测模型的预测精准度、可信度和效率分别提高82.50%、144.67%和95.49%。基于EEMD-GRU的最优运算结果表明,该方法可进一步减少区域防洪的经济损失,提高灾害监管的工作效率。     

基于深度学习的事件抽取研究综述

事件抽取是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息, 并以结构化的形式表示出来. 事件抽取是自然语言处理与理解中的重要方向, 在政府公共事务管理、金融业务、生物医学等不同领域有着很高的应用价值. 根据对人工标注数据的依赖程度, 目前基于深度学习的事件抽取方法主要分为两类: 有监督和远程监督学习方法. 对当前深度学习中事件抽取技术进行了全面的综述. 围绕有监督中CNN、RNN、GAN、GCN与远程监督等方法, 系统地总结了近几年的研究情况, 并对不同的深度学习模型的性能进行了详细对比与分析. 最后, 对事件抽取面临的挑战进行了分析, 针对研究趋势进行了展望.     

Pedestrian Re-identification Algorithm Based on Visual Attention-positive Sample Generation Network Deep Learning Model

In view of the strong generalizability and self-learning capabilities of deep learning models, many scholars have studies how to apply deep learning theory in the pedestrian re-identification field. However, a number of problems persist in practically applying deep learning in this field, including determining how to make full use of the features of the sequence information in the salient region of an image and addressing the data gap between data-driven deep learning models and pedestrian re-identification tasks. In view of these problems, in this paper, a re-identification method is proposed based on a visual common attention mechanism. Initially, the method focuses on the local area of the image at the location specified by the given coordinates. Next, under the constraint of pedestrian image pairing tags, it focuses on the sequence of salient regions of image pairs based on deep learning techniques. Then, the global features and the local attention features are cascaded into joint features for use in pedestrian re-identification. To address the data gap between deep learning models and pedestrian re-identification, a new strategy for generating difficult positive samples is proposed primarily through a positive sample that mainly involves a positive sample generation network, a difficult positive sample conversion network, and a dual-stream twin network. We using this network, a large number of positive samples can be obtained to train the data-driven neural network and solve the re-identification task. The above ideas are combined to propose a pedestrian re-identification algorithm based on a visual attention-positive sample generation network deep learning model. The experimental results show that the method proposed in this paper not only achieves better recognition results than other deep learning methods, but also adapts well to a variety of databases. In addition, the method proposed in this paper is more robust to occluded pedestrian images than other deep learning methods. In addition, the method proposed in this paper is more robust than other deep learning methods for occluding pedestrian images.     

关系抽取综述

关系抽取发展至今,总体上可以分为基于规则的抽取方式和基于统计方式的抽取;之后出现的众多方法大多是以统计为主,辅助以规则;后来引入了包括远程监督、深度学习等模式并融合了注意力机制、多标签多实例方法。对关系抽取的发展过程和方向以及以上提到的方法进行介绍和总结。