基于门控循环单元神经网络的NOx排放量预测

电站燃煤锅炉产生的排放是大气NO_x污染的主要来源之一,建立有效的NO_x排放模型是锅炉燃烧优化降低NO_x排放的基础。为充分地挖掘数据源与锅炉NO_x排放量的相关性,提出一种基于多层门控循环单元神经网络(GRU)的NO_x排放预测模型。首先,利用主成分分析对火电厂高维数据进行处理;然后,将提取的主成分作为GRU网络的输入,得到锅炉NO_x排放预测模型。以某660 MW电厂实际运行数据对模型进行了验证,仿真结果表明多层GRU模型具有较高的预测精度和较强的鲁棒性,可以更有效地对火电厂NO_x排放量进行预测。     

基于简单循环单元的深层神经网络机器翻译模型

基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gated recurrent unit, GRU)的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元(simple recurrent unit, SRU)代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接(residual connections)的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

融合隐语义模型与门控循环单元的推荐算法

在传统的推荐算法中, 往往缺乏对用户长短期兴趣偏好问题的考虑, 而随着深度学习在推荐算法中应用的不断深入, 这一问题能够得到很好的解决. 本文针对该问题提出一种融合隐语义模型与门控循环单元的长短期推荐算法(recommendation algorithm based on long short-term, RA_LST), 以实现对用户长短期偏好的分别捕捉, 有效解决了因用户兴趣随时间变化而导致推荐效果下降的问题. 最终的实验结果表明, 本文提出的算法在不同的数据集上都表现出了推荐准确性的提升.     

基于门控循环单元的移动社会网络链路预测方法

链路预测是指通过已知的网络拓扑和节点信息来预测未来时刻节点之间的潜在关系,链路预测能够帮助在各种存在链路的应用领域更加合理地分配资源、降低资源开销.移动社会网络属于动态网络的一种,其网络结构总是随着节点和链路的出现、消失以及时间推移而不断演变.针对移动社会网络的特点,当前已有的研究使用愈加复杂的模型来分析链路之间的联系,然而复杂的模型不但空间复杂度大而且容易造成过拟合问题.为了解决以上问题,提出一种基于门控循环单元的移动社会网络链路预测方法.首先对输入数据集进行排序筛选,将目标网络划分为快照图,并按一定的规则转化为邻接矩阵形成样本集,然后基于自动编码器和门控循环单元构建预测模型,提取出移动社会网络的时间变化特征.在KONECT数据集上,与其他模型的对比实验结果表明,该方法能够保持预测性能几乎不变的情况下,使模型训练效率提升49.81%.     

基于时序和距离的门控循环单元兴趣点推荐算法

兴趣点推荐算法多数易受时间因素与地理位置因素的影响,造成兴趣点的相关文本信息具有不完整性和模糊性。从地理位置与时间相关性出发,提出基于时序和距离的门控循环单元兴趣点推荐算法。利用门控循环单元模型对时间序列和相关距离信息进行建模,提取用户访问兴趣点的偏好特征,并基于该特征对用户进行兴趣点推荐。在真实数据集上进行的实验结果表明,与传统循环神经网络算法相比,该算法能够覆盖用户访问兴趣点的长序列,推荐结果更具可靠性。     

基于膨胀卷积和门控循环单元组合的入侵检测模型

基于机器学习的入侵检测模型在网络环境的安全保护中起着至关重要的作用.针对现有的网络入侵检测模型不能够对网络入侵数据特征进行充分学习的问题,将深度学习理论应用于入侵检测,提出了一种具有自动特征提取功能的深度网络模型.在该模型中,使用膨胀卷积来增大对信息的感受野并从中提取高级特征,使用门控循环单元(GRU)模型提取保留特征...     

基于通道注意力和门控循环单元的图像去雨算法

在计算机视觉领域,雨线或者雨滴会使雨天拍摄的图像变得模糊,降低图像的质量.针对雨天图像质量低下的问题,提出了一种基于通道注意力和门控循环单元的图像去雨算法.该算法基本思路如下:首先将训练图像通过残差记忆模块提取特征;其次将提取的特征通过特征增强模块增加感受野,识别不同等级的雨线特征并将其增强,传递给后续的循环网络;最后网络循环过程中,通过门控循环单元块实现不同循环阶段之间的参数共享.实验结果利用客观评价指标和主观视觉效果进行评估,验证了该算法在较为复杂数据集上的有效性.     

基于卷积编解码器和门控循环单元的语音分离算法

在大部分基于深度学习的语音分离和语音增强算法中,把傅里叶变换后的频谱特征作为神经网络的输入特征,并未考虑到语音信号中的相位信息。然而过去的一些研究表明,尤其是在低信噪比（SNR）条件下,相位信息对于提高语音质量是必不可少的。针对这个问题,提出了一种基于卷积编解码器网络和门控循环单元（CED-GRU）的语音分离算法。首先,利用原始波形既包含幅值信息也包含相位信息的特点,在输入端以混合语音信号的原始波形作为输入特征;其次,通过结合卷积编解码器（CED）网络和门控循环单元（GRU）网络,可以有效解决语音信号中存在的时序问题。提出的改进算法在男性和男性、男性和女性、女性和女性的语音质量的感知评价（PESQ）和短时目标可懂度（STOI）方面,与基于排列不变训练（PIT）算法、基于深度聚类（DC）算法、基于深度吸引网络（DAN）算法相比,分别提高了1.16和0.29、1.37和0.27、1.08和0.3;0.87和0.21、1.11和0.22、0.81和0.24;0.64和0.24、1.01和0.34、0.73和0.29个百分点。实验结果表明,基于CED-GRU的语音分离系统在实际应用中具有较大的价值。     

基于树型门控循环单元的基数和代价估计器

基数估计和代价估计可以引导执行计划的选择,估计准确性对查询优化器至关重要.然而,传统数据库的代价和基数估计技术无法提供准确的估计,因为现有技术没有考虑多个表之间的相关性.将人工智能技术应用于数据库(artificial intelligence for databases, AI4DB)近期得到广泛关注,研究结果表明,基于学习的估计方法优于传统方法.然而,现有基于学习的方法仍然存在不足:首先,大部分的方法只能估计基数,但忽略了代价估计;其次,这些方法只能处理一些简单的查询语句,对于多表查询、嵌套查询等复杂查询则无能为力;同时,对字符串类型的值也很难处理.为了解决上述问题,提出了一种基于树型门控循环单元, Tree-GRU (tree-gated recurrent unit)的基数和代价估计方法,可以同时对基数和代价进行估计.此外,采用了有效的特征提取和编码技术,在特征提取中兼顾查询和执行计划,将特征嵌入到Tree-GRU中.对于字符串类型的值,使用神经网络自动提取子串与整串的关系,并进行字符串嵌入,从而使具有稀疏性的字符串变得容易被估计器处理.在JOB、Synthetic等数据集上进...     

基于门控循环单元网络的输电杆塔螺栓紧固检测

输电塔杆螺栓紧固检测是保障高压电网安全的重要依据,传统的人工检测方法需要员工爬上输电杆塔检测操作,通常伴有一定程度的风险,而采用无人机巡检受许多外在的因素的影响,其检测效果并不理想.因此,本文提出一种基于门控循环单元网络的输电杆塔螺栓紧固检测方法,利用振动传感器和传感分析仪构建一套采集输电铁塔声波数据的作业流程,提取训...     

基于卷积门循环单元和气象雷达图像的临近降水预报

现有的深度神经网络预测模型主要是通过学习单一高度下的雷达回波图像序列的特征预测未来时间段回波序列.然而,这种模型并不能直接预测目标站点未来一段时间内的降水量.鉴于此,提出了一种基于卷积门循环单元(Con-volutional Gated Recurrent Unit,ConvGRU)神经网络的临近降水预报模型.对目标站...     

Optimized Gated Recurrent Unit for Mid-Term Electricity Price Forecasting

Electricity price forecasting (EPF) is important for energy system operations and management which include strategic bidding, generation scheduling, optimum storage reserves scheduling and systems analysis. Moreover, accurate EPF is crucial for the purpose of bidding strategies and minimizing the risk for market participants in the competitive electricity market. Nevertheless, accurate time-series prediction of electricity price is very challenging due to complex nonlinearity in the trend of electricity price. This work proposes a mid-term forecasting model based on the demand and price data, renewable and non-renewable energy supplies, the seasonality and peak and off-peak hours of working and non-working days. An optimized Gated Recurrent Unit (GRU) which incorporates Bagged Regression Tree (BTE) is developed in the Recurrent Neural Network (RNN) architecture for the mid-term EPF. Tanh layer is employed to optimize the hyperparameters of the heterogeneous GRU with the aim to improve the model’s performance, error reduction and predict the spikes. In this work, the proposed framework is assessed using electricity market data of five major economical states in Australia by using electricity market data from August 2020 to May 2021. The results showed significant improvement when adopting the proposed prediction framework compared to previous works in forecasting the electricity price.     

基于GRU型循环神经网络的随机域名检测

随机域名是指由随机域名算法生成的域名,被针对计算机网络系统的恶意软件广泛使用,随机域名的检测任务是域名系统过滤攻击流量的基础性工作.传统方法对随机域名的检测效果不理想,精确率与召回率较低,导致过滤攻击流量时会出现较多的误判.本文提出和实现了一种基于GRU型循环神经网络的随机域名检测模型,该模型首先将域名转换成向量,然后借助GRU自动学习域名向量的特征,最后通过神经网络计算分类.相比于传统方法,该模型不再需要人工提取特征的过程,减少了特征提取的时间.且经过算法生成数据与真实场景数据的实验验证,该方法在随机域名检测任务中相比传统模型表现更加出色.     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

Stacked Gated Recurrent Unit Classifier with CT Images for Liver Cancer Classification

Liver cancer is one of the major diseases with increased mortality in recent years, across the globe. Manual detection of liver cancer is a tedious and laborious task due to which Computer Aided Diagnosis (CAD) models have been developed to detect the presence of liver cancer accurately and classify its stages. Besides, liver cancer segmentation outcome, using medical images, is employed in the assessment of tumor volume, further treatment plans, and response monitoring. Hence, there is a need exists to develop automated tools for liver cancer detection in a precise manner. With this motivation, the current study introduces an Intelligent Artificial Intelligence with Equilibrium Optimizer based Liver cancer Classification (IAIEO-LCC) model. The proposed IAIEO-LCC technique initially performs Median Filtering (MF)-based pre-processing and data augmentation process. Besides, Kapur’s entropy-based segmentation technique is used to identify the affected regions in liver. Moreover, VGG-19 based feature extractor and Equilibrium Optimizer (EO)-based hyperparameter tuning processes are also involved to derive the feature vectors. At last, Stacked Gated Recurrent Unit (SGRU) classifier is exploited to detect and classify the liver cancer effectively. In order to demonstrate the superiority of the proposed IAIEO-LCC technique in terms of performance, a wide range of simulations was conducted and the results were inspected under different measures. The comparison study results infer that the proposed IAIEO-LCC technique achieved an improved accuracy of 98.52%.     

基于双通道卷积门控循环网络的语音情感识别

为了构建高效的语音情感识别模型,充分利用不同情感特征所包含的信息,将语谱图特征和LLDs特征相结合,构建了一种基于自注意力机制的双通道卷积门控循环网络模型。同时,为了解决交叉熵损失函数无法增大语音情感特征类内紧凑性和类间分离性的问题,结合一致性相关系数提出新的损失函数——一致性相关损失（CCC-Loss）。将语谱图和LLDs特征分别输入CGRU模型提取深层特征并引入自注意力机制为关键时刻赋予更高的权重;使用CCC-Loss与交叉熵损失共同训练模型,CCC-Loss将不同类情感样本的一致性相关系数之和与同类情感样本的一致性相关系数之和的比值作为损失项,改善了样本特征的类内类间相关性,提高了模型的特征判别能力;将两个网络的分类结果进行决策层融合。所提出的方法在EMODB、RAVDESS以及CASIA数据库上分别取得了92.90%、88.54%以及90.58%的识别结果,相比于ACRNN、DSCNN等基线模型识别效果更好。