基于GRU神经网络的测井曲线重构

通过测井曲线解释可以获得地层岩性、电性以及孔渗饱等地层参数，然而，实际应用中时常出现部分测井数据失真或缺失的情况，而重新测井不仅价格昂贵且实现较困难。目前基于传统的线性假设和统计分析的测井曲线重构方法已不能满足储层特征的精细描述要求。门控循环单元（GRU）神经网络是一种适合于解决非线性和时序性问题的新型深度学习算法。基于深度学习的最新成果，提出使用GRU神经网络进行测井曲线重构。该方法兼顾了测井数据之间的非线性映射关系、数据随储层深度变化的趋势及历史数据之间的关联性。对实际资料进行试算，并与多元回归方法结果对比，表明GRU网络模型取得了良好的重构效果，为测井曲线重构提供了一种新的思路。     

基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。     

基于改进堆叠自编码网络的电站辅机故障预警

为了提高对辅机故障的事前预知能力,结合深度学习中非监督学习方法的优势,提出基于改进堆叠自编码网络的电站辅机故障预警方法。该方法以辅机的历史正常数据为训练集,利用堆叠自编码(SAE)网络的非线性表达能力表示辅机各变量之间的关系,同时引入批标准化(BN)算法优化网络性能。对于输入的观测向量,SAE网络给出相应的重构向量。构造基于融合距离的相似度表示观测向量与重构向量间的偏差,当辅机开始偏离正常状态时,观测值与重构值偏差增大,相似度下降至预警阈值即表明设备出现故障。分别利用某热电机组中速磨煤机的正常数据与故障数据进行测试与验证,结果显示引入BN算法的SAE网络具有更低的重构误差,同时能够在磨煤机跳闸前做出预警,表明该方法可对辅机故障进行有效预警,具有一定的工程应用价值。     

基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。     

Real-time analysis and prediction of shield cutterhead torque using optimized gated recurrent unit neural network

An accurate prediction of earth pressure balance (EPB) shield moving performance is important to ensure the safety tunnel excavation. A hybrid model is developed based on the particle swarm optimization (PSO) and gated recurrent unit (GRU) neural network. PSO is utilized to assign the optimal hyperparameters of GRU neural network. There are mainly four steps: data collection and processing, hybrid model establishment, model performance evaluation and correlation analysis. The developed model provides an alternative to tackle with time-series data of tunnel project. Apart from that, a novel framework about model application is performed to provide guidelines in practice. A tunnel project is utilized to evaluate the performance of proposed hybrid model. Results indicate that geological and construction variables are significant to the model performance. Correlation analysis shows that construction variables (main thrust and foam liquid volume) display the highest correlation with the cutterhead torque (CHT). This work provides a feasible and applicable alternative way to estimate the performance of shield tunneling.     

基于深度自编码网络模型的风电机组齿轮箱故障检测

为了实现风机齿轮箱的故障检测分析,提出一种基于风电机组齿轮箱的数据采集与监视控制(SCADA)数据和振动信号的深度自编码网络模型。该模型作为一种典型的深度学习方法,通过逐层智能学习初始样本特征,可以获取数据蕴含的规则与分布特征形成更加抽象的高层表示。首先,利用限制性玻尔兹曼机对网络参数进行预训练和反向传播算法对参数进行调优,建立深度自编码网络模型。然后,通过对齿轮箱的状态变量进行编码和解码,计算重构误差并将其作为齿轮箱的状态检测量。为了有效检测重构误差的趋势变化,选用自适应阈值作为风机齿轮箱故障检测的决策准则。最后,利用对齿轮箱故障前、后记录的数据进行仿真分析,结果验证了深度自编码网络学习方法对齿轮箱故障检测的有效性。     

平行堆栈式自编码器及其在过程建模中的应用

在面对流程工业存在的多参数、强非线性和富含复杂机理等问题时浅层算法的学习能力有限,故将深度学习理论引入过程工业预测建模中。而针对单个深层网络对多样性数据的特征挖掘困难,本文提出一种改进的堆栈式自编码器。该方法首先通过聚类算法对输入数据属性进行聚类,按结果将数据分类后输入并行的稀疏自编码器中进行特征的模块式提取,并行输出经整合后输入至叠加的深度网络中,联合这些特征再进行逐层学习得到拟合结果。为减轻过拟合带来的预测误差,将"dropout"方法引入网络训练中。在加氢裂化的预测建模研究中,所提出的算法具有比其他方法更好的预测水平和泛化能力。     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

基于DAE-BP神经网络的股票预测研究

股票指标数据种类多、维度高，且指标之间存在多重共线性。为了降低数据的维度、消除指标间的多重共线性和预测股票价格，首先构建了基于受限布尔兹曼机的深度自编码器，实现了高维数据向低维空间的压缩编码。然后基于BP神经网络建立了低维编码序列与股票价格之间的回归模型。实验结果表明，深度自编码器提取特征的能力优于主成分分析法和因子分析法；相比较使用降维前的数据，使用编码后的数据用预测股票价格，模型可以减少计算开销，并且获得更高的预测精度。