延迟深度回声状态网络及其在时间序列预测中的应用

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在,该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.     

一种基于池计算的宽度学习系统

宽度学习系统(BLS)是一种基于RVFLN的高效增量学习系统,具有快速且精度高的特点.为了实现BLS对时间序列的精确预测,结合回声状态网络(ESN)的储备池结构,提出一种基于池计算的宽度学习系统(RCBLS).该系统通过在强化层引入简单环型储备池连接,以并行的储备池代替原系统中的前馈连接,使RCBLS具有一定的回声状态...     

稀疏连接的异步池计算网络

针对池计算网络的构建问题,提出了一种稀疏连接的异步神经元池构造方法,该方法将多个子神经元池顺序连接,并在子神经元池之间设置滞后环节,以实现各子神经元池对输入信息的异步处理,进而构成串行的记忆.为实现信息高效传输,子神经元池之间采用稀疏的连接方式.实验表明,所提方法能够有效地提高神经元池的记忆容量,易于解决长时依赖问题....     

嵌入局部模型的SOM网络对混沌时间序列预测研究

针对混沌时间序列特征空间多变性的特点，在SOM自组织神经网络中嵌入局部线性回归模型，用于混沌时间序列的预测，该方法融合了局部线性预测的优点以及SOM网络数据快速聚类能力，可视化特征识别性质和拓扑保留映射特点，既可减少运算时间和存储空间，又能适应混沌时间序列的多变特征，取得了较高的预测精度。     

回声状态网络LM算法及混沌时间序列预测

回声状态网络（ESN）学习算法中可能存在解的奇异问题,在时间序列预测时易导致病态解问题,且伴随着具有较大幅值的输出权值,尤其是当训练样本个数小于输出权值维数时,ESN的解必为奇异的.鉴于此,考虑使用LM（Levenberg Marquardt）算法代替常用的线性回归方法,自适应选择LM参数,从而有效地控制输出权值的幅值,提高ESN的预测性能.通过Lorenz混沌时间序列进行预测研究,对大连月平均气温实际数据进行仿真研究,取得了较好的预测效果.     

时间序列预测方法综述

时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势,而时间序列预测方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出估计。针对时间序列预测方法,着重介绍了传统的时间序列预测方法、基于机器学习的时间序列预测方法和基于参数模型的在线时间序列预测方法,并对未来的研究方向进行了进一步的展望。     

基于EPNET模型和多期预测的时间序列预测

文中主要研究了基于EPNET(Evolutionary Programming Net)的时间序列预测问题。EPNET是一种进化人工神经网络模型,它能够同时代化网络权值和网络结构。该模型没有采用遗传算法中的交叉算子,而是采用了五个变异算子来获得比较理想的进化效果。在此基础上,提出了基于该模型的时间序列预测算法,介绍了该算法实现时的有关问题。     

基于时间序列模型和情感分析的情感趋势预测

为解决传统情感分析方法无法对公众未来情感走势变化有效预测的问题,提出一种将时间序列模型与情感分析相结合的情感趋势预测方法.采用深度学习模型对股市论坛实时评论信息进行情感分类,统计固定时间单位的情感值,构建情感值时间序列,提出ARIMA-GARCH时间序列模型,对情感值时间序列进行建模分析,预测投资者的情感走势.实验结果表明,该方法对于情感趋势的预测结果合理,误差较小.同时,发现投资者情感趋势与股市涨跌幅走势相似,为投资决策提供了参考.     

基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

面向电子商务平台用户意图预测的时间感知分层自注意力网络

在推荐系统领域,了解电商平台中在线用户的行为意图至关重要。目前的一些方法通常将用户与商品之间的交互历史数据视为有序的序列,却忽视了不同交互行为之间的时间间隔信息。另外,一个用户的在线行为可能不仅仅包含一种意图,而是包含多种意图。例如,当一位用户在浏览运动品类下的商品时,其可能同时有购买足球和运动衫这两种商品的意图。但是现有的一些电商平台用户意图预测方法很难有效对用户-商品交互对时间间隔信息进行建模,也难以捕捉用户多方面的购物意图。为了解决上述问题,我们提出了一种时间感知分层自注意力网络模型THSNet,以更有效对电商平台的用户意图进行预测。具体而言,THSNet模型采用一种分层注意力机制来有效地捕获用户-商品交互历史中的时间跨度信息以更有效建模用户的多种意图。THSNet模型的注意力层分为两层,底层的注意力层用于建模每个会话内部的用户-商品交互,上层的注意力层学习不同会话之间的长期依赖关系。另外,为了提高预测结果的鲁棒性和准确度,我们采用BERT预训练的方法,通过随机遮盖部分会话的特征表示,构造了一个完形填空任务,并将该任务与用户意图预测任务耦合成为多任务学习模型,这种多任务预测方法有助于模型学到一个具有鲁棒性和双向性的会话特征表示。我们在两个真实数据集上对所提方法对有效性进行了验证。实验结果表明,我们所提出的THSNet模型要明显优于目前最先进的方法。     

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络（LSTM）可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差（RMSE/MAE）较原模型分别降低了26.98%与35.85%。     

An intelligent interconnected network with multiple reservoir computing

In this paper, considering the decomposition and composition mechanism of the traditional reservoir, an intelligent interconnected network with multiple reservoir computing in series–parallel configuration, called MRC-IIN, is proposed for multivariate time series classification and prediction. Firstly, according to the unsupervised learning of restricted Boltzmann machine and the Pearson correlation of multivariate inputs, the number of 1st column reservoirs of MRC-IIN can be determined, and each row interconnected reservoirs of MRC-IIN can also be determined. Secondly, according to the input autocorrelation of 1st column reservoirs, the number of each row reservoirs of MRC-IIN can be determined, such that the dynamic characteristics of the corresponding input can be fully reflected. Thirdly, through using the advantages of principal component analysis, each reservoir size of MRC-IIN can be determined, such that the feature information of each row reservoir states can be reduced layer by layer, and the most essential feature information can be retained. Fourthly, in order to ensure the stable application of MRC-IIN, a sufficient condition for global echo state property of MRC-IIN is given. Finally, the simulation results show that the MRC-IIN can improve classification and prediction performance.     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

基于时间序列与BP-ANN的短时交通流速度预测模型研究

针对现有的交通流速度预测模型使用唯一数据集且模型单一的问题,提出一种时间序列与人工神经网络相结合的预测模型。该模型通过时间序列分别对实时数据和历史数据建模预测,并应用人工神经网络调整实时数据和历史数据的预测值。实验结果表明该预测模型能够将预测误差控制在7%以内,且能够对不同输入参数下的短时交通流速度进行有效预测。     

A Neural Network with Evolutionary Neurons

A neural network, combining evolution and learning is introduced. The novel feature of the proposed network is the evolutionary character of its neurons. The argument of the transfer function performed by the neurons in the network is neither a linear nor polynomial function of the inputs to the neuron, but an unknown general function P(·). The adequate functional form P(·) for each neuron, is achieved during the learning period by means of genetic programming. The proposed neural network is applied to the problem domain of time series prediction of the Mackey-Glass delay differential equation. Simulation results indicate that the new neural network is effective.     

一种非局部连接的抗噪性储备池构建方法

由于具有高度的生物真实性,液体状态机在抗噪性、鲁棒性方面相对于人工神经网络具有更大的优势,但也更难优化.采用人工神经网络思想对液体状态机进行的优化,牺牲了生物真实性和网络泛用性的同时,并不能保证优化的有效性;而依据生物神经系统内抽象出的规律进行储备池的优化,则优化算法非常复杂.为了提高储备池的泛用性和抗噪性,同时避免复杂的优化过程,本文模拟大脑中普遍存在的各神经元集群间的非局部连接分布—伽马分布来生成储备池的权值,生成一个具有更高生物真实性、隐含功能柱结构的储备池.首先,通过对储备池活动和储备池进行Lempel-Ziv复杂度分析,从理论上说明该种储备池权值生成方式的优势;然后,通过与脉冲时序可塑性算法(STDP)和高斯分布等进行对比实验,证明本文采用伽马分布生成的储备池具有更高的准确度和更强的抗噪性.     

针对设备端口链路的LSTM网络流量预测与链路拥塞方案

针对设备端口链路流量,提出两种基于长短期记忆网络的预测模型。第一种针对在大时间粒度下平稳变化的流量;第二种则针对在小时间粒度下波动剧烈的非平稳流量。通过选用不同的数据划分方式与模型训练方法,构建两种具有不同网络结构的流量预测模型。实验结果表明,前者在处理平稳变化的流量时能够达到极高的预测精度,后者在处理非平稳流量时具有明显优于SVR模型、BP神经网络模型的预测效果。在第二种预测模型的基础上,提出了参数可调的链路拥塞预警方案,实验证明该方案具有一定的可行性。     

基于recurrent neural networks的网约车供需预测方法

以网约车订单等真实数据为数据源,结合TensorFlow深度学习框架,利用循环神经网络（recurrent neural networks）方法,预测网约车在未来某时间某地点的订单需求量。提出改进LSTM RNN（长短时记忆循环神经网络）模型,经过对其优化和训练,能够有效预测网约车未来某时间某地点的供需量。对数据源进行可视化分析,排除不相关数据源干扰,以此为基础设计仿真实验。仿真实验表明,该模型的正确率比反向传播神经网络（BPNN）、回归决策树（DTR）、非线性回归支持向量机（SVR）以及随机漫步（RW）等模型高,同时,对长短间隔不同的历史数据有较好的记忆能力,在测试数据上有较强的泛化能力。     

Joint computation offloading and resource provisioning for edge-cloud computing environment: A machine learning-based approach

In recent years, the usage of smart mobile applications to facilitate day-to-day activities in various domains for enhancing the quality of human life has increased widely. With rapid developments of smart mobile applications, the edge computing paradigm has emerged as a distributed computing solution to support serving these applications closer to mobile devices. Since the submitted workloads to the smart mobile applications changes over the time, decision making about offloading and edge server provisioning to handle the dynamic workloads of mobile applications is one of the challenging issues into the resource management scope. In this work, we utilized learning automata as a decision-maker to offload the incoming dynamic workloads into the edge or cloud servers. In addition, we propose an edge server provisioning approach using long short-term memory model to estimate the future workload and reinforcement learning technique to make an appropriate scaling decision. The simulation results obtained under real and synthetic workloads demonstrate that the proposed solution increases the CPU utilization and reduces the execution time and energy consumption, compared with the other algorithms.