高速简单循环单元网络

基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highway-networks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方...     

ReLU激活函数优化研究

门控循环单元(GRU)是一种改进型的长短期记忆模型(LSTM)结构,有效改善了LSTM训练耗时的缺点.在GRU的基础上,对激活函数sigmoid,tanh,ReLU等性能进行了比较和研究,详细分析了几类激活函数的优缺点,提出了一种新的激活函数双曲正切线性单元(TLU).实验证明:新的激活函数既能显著地加快深度神经网络的训练速度,又有效降低训练误差.     

基于简单循环单元的深层神经网络机器翻译模型

基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gated recurrent unit, GRU)的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元(simple recurrent unit, SRU)代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接(residual connections)的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。     

基于双向GRU模型的网络流量预测的研究

当前使用门控循环单元(Gated Recurrent Units,GRU)神经网络进行流量预测时,普遍存在滞后性以及预测准确性不高的问题,因此提出一种改进的GRU模型进行流量预测的方法.首先基于GRU神经网络提出一种双向GRU神经网络和人工神经网络堆叠的网络模型,适用于流量特征、时间特征、事件特征等多维向量的输入;同时...     

基于ResGCN-GRU的大气污染风险源识别

重污染天气是“十四五”时期大气污染治理的重点工作,在重污染天气时期对风险源进行精准识别,可以及时发出预警,做好环境污染治理,防止污染事件进一步加重.基于网格化监测技术获取的数据,本文提出一种结合残差网络(ResNet)、图卷积网络(GCN)和门控循环网络(GRU)的深度学习模型ResGCN-GRU,该模型主要应用于重污染天气时期识别风险源.重污染天气的风险源往往都是区域性的,具有明显的时空特征,因而本文先利用GCN网络提取监测点位之间的空间特征,同时利用ResNet解决多层GCN带来的过平滑以及梯度消失问题;再利用GRU提取风险源的时间特征,最后将全连接层融合的时空特征输入到Softmax激活函数得到二分类概率值,再根据概率值得到分类结果.为验证本文提出的模型性能,本文基于沈阳市72个监测点位的数据,通过精确度、召回率以及综合评价指标对GCN、LSTM、GRU和GCN-GRU进行对比,实验结果表明ResGCN-GRU模型分类效果的精确度分别要好16.9%、4.3%、3.1%、2.9%,证明了本文提出的模型在大气风险源识别方面更加有效,可以根据风险源数据的时空特征达到对风险源的精准识别.     

基于循环神经网络的人体运动模型的隐状态初始化方法

针对基于循环神经网络（RNN）的人体运动合成方法存在首帧跳变,进而影响生成运动的质量的问题,提出一种带有隐状态初始化的人体运动合成方法,将初始隐状态作为自变量,利用神经网络的目标函数作为优化目标,并使用梯度下降的方法进行优化求解,以得到一个合适的初始隐状态。相较于编码器-循环-解码器（ERD）、残差门控循环单元（RGRU）模型,所提方法在首帧的预测误差分别减小63.51%和6.90%,10帧的总误差分别减小50.00%和4.89%。实验结果表明,该方法无论是运动合成质量还是运动预测精度都优于不进行初始隐状态估计的方法;它通过准确估计基于RNN的人体运动模型的首帧隐状态可提升运动合成的质量,并且为实时安全监测中的动作识别模型提供可靠的数据支持。     

时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低。针对此问题,提出了一种上下文信息融合的时序行为提名方法。该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间。针对门控循环单元(GRU)存在参数较多和梯度消失的问题,通过输入特征控制门结构增强并行计算能力,通过引入加权平均增强历史和当前时刻信息融合能力,提出了一个简化的门控循环单元(S-GRU)。最后在数据集Thumos14上进行实验验证和比较,结果表明基于双向S-GRU循环网络的时序行为提名方法提高了提名召回率。     

基于GRU循环神经网络辅助的组合导航算法

针对复杂场景下GPS信号失锁导致的INS/GPS组合导航系统定位精度严重下降问题,提出基于GRU(门控循环单元)循环神经网络辅助的方法.在GPS信号锁定的情况下,使用GRU循环神经网络对IMU传感器数据、组合导航信息、GPS信息进行训练;GPS信号失锁后,利用训练好的模型进行预测,继续补偿INS结果.通过实际跑车采得的数据进行验证,在GPS信号失锁时,使用GRU循环神经网络辅助相较于纯惯导系统精度有较大提高.与MLP(多层感知器)辅助的方法进行比较,验证了循环神经网络对于连续时间轨迹推算的优越性.     

基于图神经网络和GRU网络的社交推荐算法

文章提出了一种基于改进的图神经网络和门控循环单元(Gated Recurrent Unit,GRU)网络的融合模型RGNN-GRU,以预测用户对物品的评分。首先,RGNN-GRU将用户对物品的评分视为相对评分,构造改进的图神经网络。其次,结合现实中用户的兴趣会随时间发生改变的特性,引入GRU网络。最后,利用改进的图神经网络、GRU网络和用户社交网络分别对用户、物品和社交关系进行建模。在数据集Ciao和Epinions上的实验结果表明,本文所提模型的推荐性能更好。     

基于时序和上下文特征的中文隐式情感分类模型

对社交网络上的海量文本信息进行情感分析可以更好地挖掘网民行为规律,从而帮助决策机构了解舆情倾向以及帮助商家改善服务质量。由于不存在关键情感特征、表达载体形式和文化习俗等因素的影响,中文隐式情感分类任务比其他语言更加困难。已有的中文隐式情感分类方法以卷积神经网络（CNN）为主,这些方法存在着无法获取词语的时序信息和在隐式情感判别中未合理利用上下文情感特征的缺陷。为了解决以上问题,采用门控卷积神经网络（GCNN）提取隐式情感句的局部重要信息,采用门控循环单元（GRU）网络增强特征的时序信息;而在隐式情感句的上下文特征处理上,采用双向门控循环单元（BiGRU）+注意力机制（Attention）的组合提取重要情感特征;在获得两种特征后,通过融合层将上下文重要特征融入到隐式情感判别中;最后得到的融合时序和上下文特征的中文隐式情感分类模型被命名为GGBA。在隐式情感分析评测数据集上进行实验,结果表明所提出的GGBA模型在宏平均准确率上比普通的文本CNN即TextCNN提高了3.72%、比GRU提高了2.57%、比中断循环神经网络（DRNN）提高了1.90%,由此可见, GGBA模型在隐式情感分析任务中比基础模型获得了更好的分类性能。     

结合模糊控制的时序数据预测循环神经网络

时序数据处理任务中,循环神经网络模型以及相关衍生模型有较好的性能,如长短期记忆模型(LSTM),门限循环单元(GRU)等.模型的记忆层能够保存每个时间步的信息,但是无法高效处理某些领域的时序数据中的非等时间间隔和不规律的数据波动,如金融数据.本文提出了一种基于模糊控制的新型门限循环单元(GRU-Fuzzy)来解决这些问题.本文在GRU的基础上对记忆层增加了一个子空间分解,由模糊控制模块和一个启发式的失效函数组成,根据数据波动和时间间隔决定记忆层保留的信息量,从而提升模型性能.实验表明,相比于其他的循环神经网络模型,在标普500和上证50中选出股票的股价预测任务中,本文提出的模型有较好的表现.     

Minimal gated unit for recurrent neural networks

Recurrent neural networks (RNN) have been very successful in handling sequence data. However, understanding RNN and finding the best practices for RNN learning is a difficult task, partly because there are many competing and complex hidden units, such as the long short-term memory (LSTM) and the gated recurrent unit (GRU). We propose a gated unit for RNN, named as minimal gated unit (MGU), since it only contains one gate, which is a minimal design among all gated hidden units. The design of MGU benefits from evaluation results on LSTM and GRU in the literature. Experiments on various sequence data show that MGU has comparable accuracy with GRU, but has a simpler structure, fewer parameters, and faster training. Hence, MGU is suitable in RNN's applications. Its simple architecture also means that it is easier to evaluate and tune, and in principle it is easier to study MGU's properties theoretically and empirically.     

基于BiGRU和贝叶斯分类器的文本分类

针对传统的循环神经网络模型在处理长期依赖问题时面临着梯度爆炸或者梯度消失的问题,且参数多训练模型时间长,提出一种基于双向GRU神经网络和贝叶斯分类器的文本分类方法。利用双向GRU神经网络提取文本特征,通过TF-IDF算法权重赋值,采用贝叶斯分类器判别分类,改进单向GRU对后文依赖性不足的缺点,减少参数,缩短模型的训练时间,提高文本分类效率。在两类文本数据上进行对比仿真实验,实验结果表明,该分类算法与传统的循环神经网络相比能够有效提高文本分类的效率和准确率。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

不确定环境下的航空发动机装配线适应性调度方法

航空发动机装配是航空发动机制造过程的关键环节,其工序多,流程复杂,生产过程中扰动频发,如装配时间波动、不合格返工等.针对不确定环境下的航空发动机装配线的调度问题,提出一种基于门控循环神经网络(GRU)的适应性调度方法.该调度方法包含扰动识别和调度规则调整两个部分:扰动识别模块以滑动时间窗口为周期,利用GRU神经网络进行渐近型扰动的识别;调度规则调整模块以扰动识别的结果为触发,通过构建基于GRU神经网络的调度规则决策模型,输出适配当前生产状态的新的调度规则,用以指导生成更新的调度方案.最后,以某航空发动机装配线为研究案例,对所提出适应性调度方法进行验证分析.对比实验结果表明,所提出方法能够有效提升装配线的设备利用率、日均生产率等性能.     

基于残差梯度法的神经网络Q学习算法

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度。为了进一步提高训练过程的稳定性,引入动量优化。此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题。通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性。     

一种基于门控空洞卷积的高效中文命名实体识别方法

近年来,基于RNN的模型架构在命名实体识别任务中被广泛采用,但其循环特性导致GPU的并行计算能力无法被充分利用.普通一维卷积虽可以并行处理输入文本,显著缩短模型训练时长,但处理长文本时往往需要堆叠多个卷积层,进而增加梯度消失的风险.针对以上问题,该文采用可通过参数调节感受野范围的空洞卷积,并引入了带有残差连接的门控机制...