基于储备池主成分分析的多元时间序列预测研究

提出一种基于回声状态网络储备池的非线性ＰＣＡ 方法,并将其应用于多元时间序列的预测中．由于多维输入变量间的相关性会影响建模效果,通过储备池将输入在原空间的非线性特征转化成高维空间的线性特征．在其中运用线性ＰＣＡ 技术寻找输入在储备池空间的最大方差方向,提取有效的多元变量综合信息．经储备池主成分分析处理后的输入与预测点呈动态线性映射,可使用线性方法建模．仿真结果表明了该方法的有效性．

     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

回声状态网络LM算法及混沌时间序列预测

回声状态网络（ESN）学习算法中可能存在解的奇异问题,在时间序列预测时易导致病态解问题,且伴随着具有较大幅值的输出权值,尤其是当训练样本个数小于输出权值维数时,ESN的解必为奇异的.鉴于此,考虑使用LM（Levenberg Marquardt）算法代替常用的线性回归方法,自适应选择LM参数,从而有效地控制输出权值的幅值,提高ESN的预测性能.通过Lorenz混沌时间序列进行预测研究,对大连月平均气温实际数据进行仿真研究,取得了较好的预测效果.     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

基于MCP正则化SWESN的时间序列预测方法研究

为提高小世界回声状态网络(SWESN)的非线性拟合能力,提出一种基于MCP正则化SWESN的时间序列预测方法(MCP-SWESN),优化小世界回声状态网络的输出权值,解决常规回归方法计算权值时出现的过拟合问题,提高预测精度.仿真实现ESN、SWESN、Ridge-SWESN、Lasso-SWESN、SCAD-SWESN...     

ESN岭回归学习算法及混沌时间序列预测

ESN（回声状态网络）是一种新型的递归神经网络．可有效处理非线性系统辨识以及混沌时间序列预测问题．针对ESN学习算法中可能存在的解的奇异问题,利用岭回归方法代替原有的线性回归算法．通过贝叶斯或Bootstrap方法确定岭回归方法中的正则项系数．从而有效地控制输出权值的幅值,改善ESN的预测性能．该方法在月太阳黑子预测问题中显示出较好的结果．     

基于共同主成分的多元时间序列降维方法

针对常见的降维方法难以有效保留多元时间序列主要特征的问题,分析了传统主成分分析(PCA)方法在多元时间序列降维中的局限性,提出一种基于共同主成分分析的多元时间序列降维方法,并通过仿真实验比较了两种方法的降维有效性和计算复杂度.实验结果表明,所提出的降维方法能够以相对较小的计算代价,更有效地对多元时间序列进行降维.     

多元混沌时间序列的相关状态机预测模型研究

针对多元混沌时间序列预测存在的过拟合问题及高维输入变量冗余问题,提出一种新型的多变量稀疏化预测模型——多元相关状态机.该模型采用主成分分析方法对相空间重构后的高维输入变量进行低维表示,将动态储备池作为相关向量机的核函数,充分映射多元混沌时间序列的动力学特性,使得模型具有丰富的动态机制和良好的稀疏性能,有效避免过拟合问题,提高预测精度.基于两组多元混沌时间序列的仿真实验验证了模型的有效性.     

主成分分析与神经网络的结合在多变量序列预测中的应用

目前预测方法的研究主要集中在单变量时间序列上,本文建立起一种针对多元变量非线性时间序列建模和预测的方法框架.首先,同时考虑序列状态间的线性相关性和非线性相关性,建立初始延迟窗以包含充分的预测信息;然后,利用主成分分析(PCA)方法寻找不同变量在数据空间中的最大方差方向,扩展PCA应用于提取多个变量的综合信息,重构多元变量输入状态相空间;最后,利用神经网络逼近不同变量之间以及当前状态和将来状态之间的函数映射关系,实现多元变量预测.对Ro¨ssler混沌方程和大连降雨、气温序列的预测仿真说明了本文方法的有效性,为多元变量时间序列分析提供了一条新的途径.     

基于Eros的多元时间序列相似度分析

为提高多元时间序列相似性度量的效率,采用扩展Frobenius范数(Eros)的主元分析(PCA)方法,通过主元和本征值构造主元相似因子,用于比较多元时间序列矩阵之间的相似性。为了验证这种方法的有效性,针对三组数据(两个真实数据,一个合成数据)进行了实验。结果表明,该方法相对于以往的欧几里德距离(ED),动态时间弯曲(DTW)相似性度量方法具有一定的优越性。     

一个高效的多变量时间序列聚类算法

时间序列聚类分析是数据挖掘研究的一个重要内容。已有的聚类算法大多采用k均值对低维数据进行聚类,不能对高维多变量时间序列（MTS）数据进行有效聚类。提出一种高效的多变量时间序列聚类算法PCA-CLUSTER,首先利用主成分分析对MTS数据降维;选取MTS数据的主成分序列进行K近邻聚类分析。理论分析和实验结果表明算法可以有效解决MTS数据聚类问题。     

基于变量相关性的多元时间序列特征表示

针对高维特性对多元时间序列数据挖掘过程和结果的影响,以及传统主成分分析方法在多元时间序列数据特征表示上的局限性,提出一种基于变量相关性的多元时间序列数据特征表示方法。通过协方差矩阵描述每个多元时间序列的分布特征和变量相关关系,利用主成分分析方法对综合协方差矩阵进行主元分析,进而实现多元时间序列的数据降维和特征表示。实验结果表明,所提出的方法不仅能提高多元时间序列数据挖掘的质量,还可以对不等长多元时间序列进行快速有效的挖掘。     

Asynchronism-based principal component analysis for time series data mining

Principal component analysis (PCA) is often applied to dimensionality reduction for time series data mining. However, the principle of PCA is based on the synchronous covariance, which is not very effective in some cases. In this paper, an asynchronism-based principal component analysis (APCA) is proposed to reduce the dimensionality of univariate time series. In the process of APCA, an asynchronous method based on dynamic time warping (DTW) is developed to obtain the interpolated time series which derive from the original ones. The correlation coefficient or covariance between the interpolated time series represents the correlation between the original ones. In this way, a novel and valid principal component analysis based on the asynchronous covariance is achieved to reduce the dimensionality. The results of several experiments demonstrate that the proposed approach APCA outperforms PCA for dimensionality reduction in the field of time series data mining.     

基于稀疏动态主元分析的故障检测方法

本文将动态主元分析(Dynamic Principal Component Analysis, DPCA)和稀疏主元分析(Sparse Principal Component Analysis, SPCA)两种方法结合起来,提出一种新的稀疏动态主元分析方法,并将其用于工业过程的故障检测。所提出的稀疏动态主元分析方法通过对过程数据的动态增广矩阵进行稀疏主元的求解,获取稀疏的负荷向量,该方法既考虑到了过程数据的动态特性,又降低了过程数据的冗余度,同时降低了计算负荷,非常适合工业过程的实时故障检测。此外,本文还提出了一种前向选择算法,用于确定稀疏主元中的非零负荷数目。最后,将所提出方法应用于数值例子和田纳西-伊斯曼过程,并将与主元分析、动态主元分析和稀疏主元分析等三种方法相比较,表明所提方法可以获得更好的故障检测效果。     

基于主分量分析的缺陷识别研究

为了解决传统的人工定义方法和小波包分解方法在超声信号特征提取方面的不足,提出了将主分量分析方法应用于信号的特征提取,并据此进行超声检测的缺陷识别.这种方法不但大大降低了数据量,减少了计算复杂度,同时也能够保证压缩后的数据能够有效的代表原数据特性.通过对提取到的特征建立特征向量,利用模糊模式判别方法进行测试,并和现有的两种方法进行对比.与目前采用的方法相比,该方法在识别效率和准确性上都表现非常优秀,能对各种模式有效识别.     

Gene expression time series modeling with principal component and neural network

In this work, gene expression time series models have been constructed by using principal component analysis (PCA) and neural network (NN). The main contribution of this paper is to develop a methodology for modeling numerical gene expression time series. The PCA-NN prediction models are compared with other popular continuous prediction methods. The proposed model can give us the extracted features from the gene expressions time series and the orders of the prediction accuracies. Therefore, the model can help practitioners to gain a better understanding of a cell cycle, and to find the dependency of genes, which is useful for drug discoveries. Based on the results of two public real datasets, the PCA-NN method outperforms the other continuous prediction methods. In the time series model, we adapt Akaike's information criteria (AIC) tests and cross-validation to select a suitable NN model to avoid the overparameterized problem.     

基于PCA和神经网络的识别方法研究

在计算机集成制造系统环境下,质量控制图是统计过程控制的重要工具,实际应用中最困难的是识别出控制图中由于异常因素造成的不同异常模式。针对这一问题展开研究,用主成分分析法作为前处理过程进行样本集的选择与优化,提出了基于PCA_改进BP算法的控制图模式智能识别方法。