基于小波KPCA与IQGA-ELM的煤与瓦斯突出预测研究

为有效预防煤与瓦斯突出灾害,针对煤与瓦斯突出预测精度和效率不高问题,提出基于小波核主成分分析(KPCA)和改进的极限学习机(IQGA-ELM)的煤与瓦斯突出预测方法.通过小波核主成分分析法对原始致突指标进行非线性降维处理,提取出致突指标主成分序列,将其作为极限学习机(ELM)网络神经的输入,利用改进量子遗传算法(IQGA)对ELM的输入层权值和隐含层阈值进行优化,建立小波KPCA-IQGA-ELM预测模型,模型的输出为煤与瓦斯突出强度的预测结果.研究结果表明,该模型泛化能力强,可以对煤与瓦斯突出强度进行有效预测.     

基于时空相似LSTM的空气质量预测模型

由传统机器学习方法组成的空气质量预测模型得到了普遍应用,但是此类模型对于数据有效性,特别是时空相关数据的选取仍旧存在不足.针对深度学习输入数据有效性问题进行研究,提出了一种基于时空相似LSTM的预测模型(spatial-temporal similarity LSTM model,STS-LSTM),以便在时间和空间层面选取更加有效的数据.STS-LSTM分为前序、中序和后序三个模块,前序模块为时空相似选择输入模块,提出了格兰杰因果权重动态时间折叠(Granger causal index weighted dynamic time warping,GCWDTW)算法,用于选取具有更高时空相似性的数据;中序模块使用LSTM作为深度学习网络进行训练;后序模块根据目标站点特征选择不同的输出组合进行集成.STS-LSTM整体模型在空气质量预测误差上较现有算法提升了8％左右,经过有效性选取的数据对于模型精度达到了最高21％的提升.实验结果表明,对于有效数据的选取该算法取得了显著效果,将数据输入输出方法作为应用型深度学习网络的一部分,可以有效提升深度学习网络的最终效果.     

基于机器学习的平行语料库应用效果评价方法

针对传统翻译系统在时态翻译中不准确的问题,结合当前的机器学习算法,提出一种基于DBN的平行语料库时态翻译方法。为实现该方法,首先对时态标注模型和DBN基本理论进行介绍,并提出汉英语句时态翻译的思路;而在进行DBN平行语料库特征提取的过程中,采用自动时态标注算法对时态进行标注,并对得到的数据进行时态树编码;然后以编码数据作为输入,运用DBN网络对时态进行训练预测,得到中文语句中可能的时态;最后通过Transformer翻译器对语句进行翻译,得到对应的翻译时态句子;最后结合LDC等平行语料库中的翻译句子,采用上述方法进行翻译,结果表明提出的时态翻译方法无论是在准确率,还是在召回率等方面,都有很大的优势,说明提出的机器学习算法在平行语料库的翻译中更具有准确性。     

PCA和PSO-ELM在高炉铁水硅含量中的预测仿真

炉温的实时预测技术对高炉运转具有重要意义。在高炉炼铁过程中,通常以铁水硅含量来表征高炉热状态。针对硅含量预测效率和精度不足的问题,提出主成分分析和粒子群改进的极限学习机相结合的方法对高炉铁水硅含量进行预测。由于影响铁水硅含量的因素众多,且各因素之间相互影响,通过主成分分析对影响硅含量的输入变量进行降维处理。利用粒子群算法来优化极限学习机的权值和阈值,并以均方根误差作为适应度函数建立预测模型。将提取出的主成分作为模型输入,铁水硅含量作为模型输出。最后比较了极限学习机算法和粒子群改进的极限学习机,实验结果表明改进后的预测模型提高了硅含量预测的准确度,上述方法可为高炉的生产操作提供参考。     

一种基于区域海表面温度异常预测的ENSO预报深度学习模型

本文通过实验,从设计的四种深度学习网络模型中挑选出一种可以用来预测区域海平面温度异常 (SSTA) 的模型——序列到序列 (Seq2Seq) 模型,并确定了适合于此模型的一组最优的超参数 (编码器使用正序输入、不使用 L2 正则化和使用 Adam 优化器) 和输入变量个数。与传统的动力学 ENSO 预报模型相比,该模型在中长期 (提前 7 个月以上) 预测上的均方根误差 (RMSE) 表现要更好。在实际的 SSTA (Niño3.4 指数) 预测实验中,该模型可以较好地预测出 SSTA 变化趋势,但在峰值处表现较差。与其他动力学和统计模型相比,该模型有较好的预测结果。因此,考虑其在中长期优于动力学模型的表现以及整体较好的预测结果,该模型可以作为一种 ENSO 预报以及区域 SSTA 预测的深度学习模型。     

高炉透气性指数的核超限学习机预测模型

高炉透气性指数反映了高炉内煤气流运动受到阻碍的大小,是操作人员判断高炉运行状态的重要依据.本文针对超限学习机的缺点,提出了基于核超限学习机的高炉透气性指数预测模型.首先选取了适当的高炉参数作为模型的输入.其次采用小波变换对生产数据降噪处理.然后建立基于核超限学习机的高炉透气性指数预测模型.在建模过程中,探索了不同的核函数对模型性能的影响,并对相关参数寻优.最后进行仿真实验,同其他算法对比.实验结果表明,相比于传统算法,基于核超限学习机的高炉透气性指数预测模型训练速度更快,预测精度更高,预测结果更稳定.     

A recurrent fuzzy network for fuzzy temporal sequence processing and gesture recognition.

A fuzzified Takagi-Sugeno-Kang (TSK)-type recurrent fuzzy network (FTRFN) for handling fuzzy temporal information is proposed in this paper. The FTRFN extends our previously proposed network, TRFN, to deal with fuzzy temporal signals represented by Gaussian or triangular fuzzy numbers. In the precondition part of FTRFN, matching degrees between input fuzzy variables and fuzzy antecedent sets is performed by similarity measure. In the TSK-type consequence, a linear combination of fuzzy variables is computed, where two sets of combination coefficients, one for the center and the other for the width of each fuzzy number, are used. Derivation of the linear combination results and final network output is based on left-right fuzzy number operation. There are no rules in FTRFN initially; they are constructed online by concurrent structure and parameter learning, where all free parameters in the precondition/consequence of FTRFN are all tunable. FTRFN can be applied on a variety of domains related to fuzzy temporal information processing. In this paper, it has been applied on one-dimensional and two-dimensional fuzzy temporal sequence prediction and CCD-based temporal gesture recognition. The performance of FTRFN is verified from these examples.     

输入不确定BELM在发酵过程软测量中的应用

为复杂的发酵过程建立软测量模型要求模型最好能够给出预测值的置信区间,以便技术人员对发酵过程的真实状况和模型的可靠性进行评估。贝叶斯极限学习机能够在实现预测的同时一并给出预测值的置信区间,因此将其用于发酵过程的软测量建模。然而,实际发酵过程中的输入数据往往带有噪声,贝叶斯极限学习机仅能处理输出含噪声的情况。针对这个问题,提出了输入不确定贝叶斯极限学习机。在原有的贝叶斯推理过程中引入输入不确定性,得到了综合考虑输入输出噪声的模型参数和预测置信区间。最后利用青霉素发酵过程进行仿真验证,建立了产物质量浓度的软测量模型,结果表明该方法预测精度高,得到的预测置信区间包含了所有真实值。     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDCRNN (dual-stage attention and full dimension convolution based recurrent neural network).该模型引入目标注意力机制来学习输入特征与被预测特征之间的相关性,引入全维度卷积机制来学习输入特征之间的相关性,并引入时间注意力(temporal attention)机制来学习时间序列的长期时间依赖性.在实验部分首先确定模型的超参数,然后对模型部件的有效性进行验证,最后通过对比实验验证了所提出的DAFDC-RNN模型在大特征量数据集上具有最佳的预测效果.     

基于深度时序特征迁移的轴承剩余寿命预测方法

不同工况下轴承退化数据分布不一致导致深度学习等方法对剩余寿命预测效果有限,而已有迁移学习预测方法未能充分挖掘不同工况退化序列的内在趋势性,为此,提出一种基于深度时序特征迁移的轴承剩余寿命预测方法.首先,提出一种深度时序特征融合的健康指标构建模型,利用时间卷积网络挖掘退化趋势的内在时序特征,得到源域多轴承的健康指标;然后,提出一种最小化序列相似度的领域自适应算法,利用源域健康指标作为退化趋势元信息,选取目标域与源域之间的公共敏感特征;最后,采用支持向量机构建预测模型.在IEEE PHM Challenge 2012 轴承全寿命数据集上进行实验,结果表明,所提出方法构建的健康指标可更有效地反映退化趋势,同时明显提升剩余寿命预测的准确度.     

Breast Mammogram Analysis and Classification Using Deep Convolution Neural Network

One of the fast-growing disease affecting women’s health seriously is breast cancer. It is highly essential to identify and detect breast cancer in the earlier stage. This paper used a novel advanced methodology than machine learning algorithms such as Deep learning algorithms to classify breast cancer accurately. Deep learning algorithms are fully automatic in learning, extracting, and classifying the features and are highly suitable for any image, from natural to medical images. Existing methods focused on using various conventional and machine learning methods for processing natural and medical images. It is inadequate for the image where the coarse structure matters most. Most of the input images are downscaled, where it is impossible to fetch all the hidden details to reach accuracy in classification. Whereas deep learning algorithms are high efficiency, fully automatic, have more learning capability using more hidden layers, fetch as much as possible hidden information from the input images, and provide an accurate prediction. Hence this paper uses AlexNet from a deep convolution neural network for classifying breast cancer in mammogram images. The performance of the proposed convolution network structure is evaluated by comparing it with the existing algorithms.     

灵活的多视点视频编码预测结构

多视点视频的时空相关性不仅随着序列的变化而改变,而且视频序列内的相关性特征随着时间的推移也会发生变化,固定的预测结构难以适应复杂情况下多视点视频编码的各种要求。在分析分层B帧预测结构和多视点视频图像中当前帧及其参考帧之间时间相关性和视点间相关性的基础上,提出一种灵活的预测编码结构,根据该多视点视频的时间及视点间相关关系和当前帧与其时间参考帧之间的距离来确定该帧是否采用耗时的视点间预测。实验结果表明,与分层B帧的改进算法——可扩展性预测结构多视点编码算法相比,本文算法在保证编码效率基本不变的前提下,编码复杂度降低了约45%,随机访问性能提高28%,解码图像缓冲区要求降低46%左右。     

基于ELM-LSSVM的网络流量预测

为了对网络流量进行准确预测,针对传统极限学习机的“过拟合”不足,提出一种极限学习机和最小二乘支持向量机相融合的网络流量预测模型（ELM-LSSVM）。该模型通过相空间重构获得网络流量的学习样本,引入最小二乘支持向量机对极限学习进行改进,并对网络流量训练集进行学习,采用仿真实验对模型性能进行测试。结果表明,ELM-LSSVM提高了网络流量的预测精度,实现了网络流量准确预测,并具有较强的实际应用价值。     

Spike-timing-dependent Hebbian plasticity as temporal difference learning

A spike-timing-dependent Hebbian mechanism governs the plasticity of recurrent excitatory synapses in the neocortex: synapses that are activated a few milliseconds before a postsynaptic spike are potentiated, while those that are activated a few milliseconds after are depressed. We show that such a mechanism can implement a form of temporal difference learning for prediction of input sequences. Using a biophysical model of a cortical neuron, we show that a temporal difference rule used in conjunction with dendritic backpropagating action potentials reproduces the temporally asymmetric window of Hebbian plasticity observed physio-logically. Furthermore, the size and shape of the window vary with the distance of the synapse from the soma. Using a simple example, we show how a spike-timing-based temporal difference learning rule can allow a network of neocortical neurons to predict an input a few milliseconds before the input's expected arrival.     

DRLSTM: A dual-stage deep learning approach driven by raw monitoring data for dam displacement prediction

Dam displacement is an important indicator of the overall dam health status. Numerical prediction of such displacement based on real-world monitoring data is a common practice for dam safety assessment. However, the existing methods are mainly based on statistical models or shallow machine learning models. Although they can capture the timing of the dam displacement sequence, it is difficult to characterize the complex coupling relationship between displacement and multiple influencing factors (e.g., water level, temperature, and time). In addition, input factors of most dam displacement prediction models are artificially constructed based on modelers’ personal experience, which lead to a loss of valuable information, thus prediction power, provided by the full set of raw monitoring data. To address these problems, this paper proposes a novel dual-stage deep learning approach based on one-Dimensional Residual network and Long Short-Term Memory (LSTM) unit, referred to herein as the DRLSTM model. In the first stage, the raw monitoring sequence is processed and spliced with convolution to form a combined sequence. After the timing information is extracted, the convolution direction is switched to learn the complex relationship between displacement and its influencing factors. LSTM is used to extract this relationship to obtain Stage I prediction. The second stage takes the difference between the actual measurement and the Stage I prediction as inputs, and LSTM extracts the stochastic features of the monitoring system to obtain Stage II prediction. The sum of two stage predictions forms the final prediction. The DRLSTM model only requires raw monitoring data of water level and temperature to accurately predict displacement. Through a real-world comparative study against four commonly used shallow learning models and three deep learning models, the root mean square error and mean absolute error of our proposed method are the smallest, being 0.198 mm and 0.149 mm respectively, while the correlation coefficient is the largest at 0.962. It is concluded that the DRLSTM model performance well for evaluating dam health status.     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于并联CNN-SE-Bi-LSTM的轴承剩余使用寿命预测

滚动轴承作为一种机械标准件,广泛应用于各类旋转机械设备,其健康状况对机器设备的正常运行至关重要,掌握其剩余使用寿命(RUL)可以更好地保证生产活动安全有效的进行.针对目前基于深度学习的机器RUL预测方法普遍存在:a)预测性能很大程度依赖手工特征设计;b)模型不能够充分提取数据中的有用特征;c)学习过程中没有明确考虑多传感器数据等缺点,提出了一种新的深度预测网络——并联多个带有压缩激励机制的卷积神经网络和双向长短期记忆网络集成网络(CNN-SE-Bi-LSTM),用于设备的RUL预测.在该预测网络中,不同传感器采集的监测数据直接作为预测网络的输入.然后,在改进的压缩激励卷积网络(CNN-SE-Net)提取空间特征的基础上进一步通过双向长短期记忆网络(Bi-LSTM)提取时序特征,建立起多个独立的可以自动从输入数据中学习高级表示的RU L预测模型分支.最后,将各独立分支学习到的特征通过全连接层并联获得最终的RU L预测模型.通过滚动轴承加速退化实验的数据,验证了所提网络的有效性并与现有的一些改进算法进行了对比实验.结果表明,面对原始多传感器数据,该算法能够自适应地提供准确的RU L预测结果,且预测表现优于现有一些预测方法.     

Synchronous machine control using a two level model follower

In this paper a controller is developed for a synchronous machine using a hierarchical approach to model following. A linear model is defined which incorporates the desired response characteristics for the non-linear machine and the controller attempts to reduce the error between the system and model states while not utilising excessive control effort. This latter problem is solved by decomposition using an off-line two level structure where on level one two one point boundary value problems are solved whereas on level 2 a prediction algorithm is used. Simulation results show that the algorithm converages rapidly giving a control which reduces the error satisfactorily. The control calculation is very efficient in computer storage and takes less than half the computation time of the global optimal control calculation.