基于卷积注意力门控循环网络的加密流量分类方法

流量加密技术给流量分类带来了新的挑战,为实现加密流量的快速准确分类,提出了一种基于卷积注意力门控循环网络的加密流量分类方法。将卷积神经网络和门控循环单元相结合,针对流量数据的特点,修改卷积神经网络的池化层以提取单个数据包特征,通过注意力机制寻找单个数据包的关键特征并赋予高权重;然后采用门控循环单元提取流层面数据包间的时间序列特征,从包层面和流层面全面反映流量的整体和局部特征。实验证明该方法相对于现有方法,提高了分类准确率、实时性和训练效率。      

基于注意力机制和EMD-GRU模型的电力负荷预测

为提高非平稳性电力负荷的预测精度以及充分挖掘历史负荷数据的时序特征,本文提出了基于注意力(Attention)机制和经验模态分解(EMD)以及门控循环神经网络(GRU)组合的负荷预测方法.首先使用EMD对原始负荷数据进行EMD分解,继而得到有限个具有本征模态函数(IMF)的分量;然后考虑到各分量间的相关性,使用多层GRU网络对IMF分量进行多输入多输出预测,同时引入注意力机制,深入挖掘历史负荷数据的时序相关性特征;最后对多层神经网络输出的有限个分量预测结果进行重构得到最终的负荷预测值.算例分析采用贵州电网某地实际负荷数据,经过与不同模型进行预测误差分析和对比,本文所提方法能够有效提高预测精度.     

一种基于GRU神经网络的电力负荷预测

针对电力负荷序列不稳定且传统的神经网络在电力负荷预测中预测精度较低等问题,提出了门控循环单元神经网络(Gated Recurrent Unit Neural Network,GRU)负荷预测的方法.利用python编程语言在Tensorflow框架在搭建门控循环单元神经网络,将影响电力负荷的特征数据输入模型中进行训练....     

基于TCN-AGRU的滚动轴承全寿命周期剩余使用寿命预测分析

阐述实际工程需要的滚动轴承非故障阶段剩余使用寿命（RUL）预测问题，提出基于时间卷积神经网络（TCN）与融合注意力机制的门控循环单元（AGRU）的滚动轴承剩余寿命预测模型。通过实验验证模型在滚动轴承全寿命周期的RUL预测性能。结果表明，TCN-AGRU模型在滚动轴承全寿命周期剩余寿命预测上有较好的预测性能，为滚动轴承全寿命周期剩余使用寿命预测模型的研究，提供新思路。     

一种基于双向GRU的UAV飞行轨迹预测方法

由于三维轨迹是一个具有连续性和交互性的复杂时间序列,因此,针对无人机飞行轨迹预测问题,结合深度学习理论特点,提出了一种基于双向门控循环单元的无人机飞行轨迹预测方法,进一步提高了轨迹信息的利用率.首先,建立无人机飞行动力模型,仿真获得不同状态的飞行轨迹样本;其次,利用均方误差作为损失函数,确定了双向门控循环单元轨迹预测模...     

基于混合特征提取的判决预测模型

法律判决预测指的是在给定案情描述的情况下,对案件的罪名和刑期进行预测.当前罪名预测主要使用深度神经网络模型,刑期预测主要使用混合深度神经网络模型.现有研究只关注局部特征或全局特征,没有考虑到将二者结合.因此本文使用双向门控循环单元提取上下文特征,并结合注意力机制学习文本中词的重要性,使用胶囊网络克服卷积神经网络丢失空间信息的缺点,学习文本局部与全局之间的关系特征.同时由于刑期分类时分类粒度较大,导致辅助决策结果不够理想.为实现更加理想的分类效果,将刑期按年进行更加细粒度的分类,分为28类.实验结果表明,该混合模型比基线模型效果更好,在罪名预测和28类刑期预测准确率分别为98.88％和74.32％.     

基于图卷积神经网络的大规模软件定义网络流量预测模型

为了提高大规模软件定义网络流量预测的准确率,研究基于图卷积神经网络的大规模软件定义网络流量预测模型。构建包含图卷积神经网络（Graph Convolution Neural Network, GCN）层、门控递归单元（Gating Recursive Unit, GRU）层及自注意力机制层的流量预测模型。通过GCN层与GRU层分别重构与更新网络流量的空间与时间特征;将两种特征共同输入自注意力机制层,经整合与加权平均运算后,获得网络流量预测值输出,实现大规模软件定义网络流量预测。实验结果显示,该模型可精准预测大规模软件定义网络流量,降低所应用网络的通信丢包率与通信延时,实现高质量高时效的网络数据传输,保障大规模软件定义网络的智能流量通信。     

基于全注意力机制的多步网络流量预测

预测资源分配能有效利用无线网络的剩余资源服务非实时业务,其中的关键问题之一是剩余资源的预测,可转化为实时业务流量预测问题。本文把面向自然语言处理提出的全注意力机制引入到时间序列预测问题中,预测未来分钟级时间窗内秒级的流量,通过在每秒记录的实测流量数据集上进行训练和测试,与其他基于循环神经网络和线性、非线性预测模型的方法在复杂度（由训练和测试时间衡量）、预测精度（由平均相对百分比误差衡量）和预测误差统计特性（由预测误差的均值和标准差衡量）等方面进行比较。研究结果表明,与无注意力机制的循环神经网络相比,所设计的基于全注意力机制的方法计算复杂度低,由于多步预测的累积误差,在预测精度方面增益不明显。      

融合自注意力的卷积门控循环网络语音增强

语音时频特征的时间依赖性、局部相关性、全局相关性等特性,使得传统的神经网络结构与时频域语音增强任务无法完全相适应。针对这一问题,首先利用卷积层代替门控循环单元网络中的全连接层,构成卷积门控循环网络,解决门控循环单元网络在时间维度建模时无法提取频率维度局部相关性的问题;又因卷积层无法提取频率维度的全局相关性,进一步利用注意力机制关注全局相关性的能力,解决卷积门控循环网络无法关注频率维度全局相关性的问题,最后提出了一种深度融合自注意力机制的自注意-卷积门控循环网络。实验证明,该网络通过关注时频域特征的多种特性,有效地提升了语音增强性能。     

基于DA-TCN-BiGRU的坡面泥石流预测研究

为解决当前坡面泥石流预测中存在的多因素数建模问题,并提高预测的精确度,提出一种融合双注意力机制、时间卷积神经网络和双向门控循环单元（DA-TCN-BiGRU）的坡面泥石流风险预测方法。通过模拟平台进行坡面泥石流模拟实验,采集多类传感器数据得到风险度大小,并以此表征所处的风险阶段。实验结果表明,所提模型短期预测的均方根误差、平均百分比误差和平均绝对百分比误差分别为0.013 59、0.010 407和1.182 64,中期预测的均方根误差、平均百分比误差和平均绝对百分比误差分别为0.019 01、0.015 17和1.729 46,优于其他比较模型。     

基于深度学习的动作识别研究

用循环神经网络构建的人体动作识别模型存在以下两方面的问题：一方面存在计算上的顺序依赖,另一方面难以对数据中存在的全局信息进行建模。针对以上问题,提出了一种结合门控注意力单元和卷积神经网络的人体动作识别模型。通过对骨架序列中存在的时空信息进行建模分析来预测骨架所对应人体的动作状态,既降低了数据中噪声对结果的干扰,同时对数据中存在的时空域全局信息进行建模分析。通过在UTKinect-Action3D和MSR 3D动作数据集上的实验证实了所提方法具备一定的可行性,且相较于循环神经网络的方法有一定的优势。     

门控循环网络辨识准分子激光器能量模型

准分子激光器的放电过程是一个复杂的非线性过程,从而导致基于放电动力学建立的激光器放电能量模型的精度很难达到仿真研究和控制算法设计的需求。通过深度学习的方法,利用门控循环网络辨识准分子激光器放电能量模型。首先基于准分子激光器出光能量特性,选定所建立的门控循环网络的输入。然后根据门控循环神经网络的输入特性和输出特性建立适用于准分子激光器能量模型辨识的神经网络,并介绍了门控循环神经网络训练方法。最后利用实际采集的激光器的能量数据对门控循环神经网络进行训练。实验结果证明,本文所设计的门控循环神经网络收敛,辨识出来的能量模型的最大误差小于1.5%。该方法可以应用于准分子激光器能量模型的辨识。     

基于注意力机制的深度学习推荐模型研究

文章从注意力机制结合其他深度技术的角度探讨基于注意机制的深度学习技术在推荐领域的应用类型,将注意力机制结合卷积神经网络、循环神经网络进行归纳梳理,并对局限性进行探讨,最后展望推荐领域未来研究趋势.     

弱标签声音事件检测的空间-通道特征表征与自注意池化

深度神经网络声音事件检测方法需要大量标记声音事件类别和起止时间的强标签音频样本,然而强标签标注非常困难和耗时.弱标签声音事件检测是解决这一困难的有效途径.本文将弱标签声音事件检测作为多实例学习问题,并基于卷积循环神经网络提出弱标签声音事件检测的空间-通道特征表征与自注意池化方法 .该方法研究多实例弱标签声音事件检测的特征表征和帧级预测结果池化两个方面的内容.在特征表征方面,为了增强卷积神经网络的特征表征能力,结合上下文门控和通道注意机制构建门控注意力结构并嵌入到卷积循环神经网络中,实现了音频样本特征的空间和通道特征选择;在预测结果池化方面,引入自注意思想设计音频帧预测结果的自注意池化方法,增强了音频样本中事件帧之间的相关度,使事件帧获得更大的权重.本文方法通过对卷积循环神经网络特征表征和预测结果池化的革新,有效提升了模型的检测性能.本文提出的方法在DCASE 2017任务4和DCASE 2018任务4数据集的评估集中分别取得了52.47%和31.00%的F1得分,性能优于当前绝大部分的弱标签声音事件检测方法 .实验结果表明：本文提出的空间-通道特征表征与自注意池化方法能显著改善弱标签声...     

基于Adam算法优化GRU神经网络的短期负荷预测模型

为提高短期负荷预测的精度,文中提出了一种基于Adam算法优化门控循环单元(Gated Re?current Unit,GRU)神经网络的短期负荷预测模型.针对循环神经网络(Recurrent Neural Network,RNN)存在的梯度消失和梯度下降、长短期记忆神经网络(Long Short-Term Memory...     

基于带有注意力机制的深度循环神经网络的语音情感识别

自从注意力机制在自然语言处理领域取得了巨大成功,其被引入了语音情感识别任务中,使各种语音情感识别模型的性能获得了提高。为了能在深度循环神经网络中更加高效地利用注意力机制,对传统的注意力机制进行了推广,提出了基于分段的注意力机制,并将其应用于深度循环神经网络中。在CASIA语音情感数据集上的实验结果证明,这一方法能够有效提高模型性能,并大幅提高模型训练速度。     

高超声速滑翔飞行器机动状态识别方法研究

高超声速滑翔飞行器(HGV)的迅猛发展改变了传统的作战样式,开辟了军事斗争的新领域。对HGV的机动状态进行识别可以为威胁评估、轨迹预测和防御决策提供有力支撑。为提高HGV机动状态识别精度,该文提出一种基于注意力机制的卷积长短时记忆网络识别模型(AT-ConvLSTM)。在对HGV进行机动建模和特性分析基础上,将HGV在空间的机动状态分为8类,构造了对应的特征识别参数,建立了包含不同初始条件和控制模式下HGV机动轨迹的轨迹库。推导了从雷达跟踪信息到特征识别参数的转换步骤,使用提出的状态识别模型对HGV机动轨迹的时空特征进行提取,并通过SoftMax分类器输出机动状态分类。最后,通过仿真实验对模型性能进行验证。结果表明,所提状态识别模型能够有效在线识别HGV机动状态,具有较好的实时性和准确性。     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于情感融合和层次注意力机制的情感分析

针对两个反义词在相似语境下转化成词向量后空间距离相近,容易造成情感信息丢失,循环神经网络等的特征提取方式容易导致网络依赖增强,难以充分提取局部性特征。针对第一个问题,本文提出情感嵌入模块,在词嵌入的过程中加入情感向量与语义信息作为网络的输入层;针对第二个问题,本文提出层次注意力机制,将融合后的词向量切片形成两个子序列,将单词的词向量输入到双向门控循环网络,利用注意力机制对隐藏层进行加权计算,获得子序列文本信息,通过多个网络层获得整个文本序列信息;最后,经过softmax函数输出文本情感极性。在NLPIR微博语料库和NLPCC2014的微博公开数据集进行实验,表明该情感分析模型在准确率上有所提高,证明了模型的有效性。     

基于深度学习的智能体轨迹预测文献综述

智能体的轨迹预测是人工智能领域中的热点之一，特别是在自动驾驶领域，预测智能体下一时间点的位置是自动驾驶辅助系统的关键任务。在智能体轨迹预测技术的基础上，根据建模方法的不同进行分类介绍，分别为循环神经网络(Recurrent Neural Network, RNN)、卷积神经网络(Convolutional Neural Network, CNN)、生成对抗网络(Generative Adversarial Network, GAN)和混合网络，同时分析了常见的经典模型的优缺点，归纳了当前常用公开的轨迹预测数据集和评价指标，比较了经典模型的算法性能，对智能轨迹预测方向进行了展望和总结。