一种增量式模块化回声状态网络

针对传统回声状态网络(ESN) 难以解决多振荡子叠加(MSO) 问题, 提出一种增量式模块化回声状态网络(IM-ESN). 该网络储备池由多个相互独立的子储备池组成. 利用矩阵的奇异值分解(SVD) 构造每个子储备池的权值矩阵, 并依据分块对角矩阵原理, 将子储备池逐一添加至网络中. 在网络增长过程中, IM-ESN 无需放缩权值矩阵便能保证网络的状态回声特性. MSO 问题的仿真结果表明, IM-ESN 能够自主确定与问题复杂度相匹配的网络规模, 具有较好的预测性能和鲁棒性.

     

基于深度学习的仿生集群运动智能控制

宽度学习系统(BLS)是一种基于RVFLN的高效增量学习系统,具有快速且精度高的特点.为了实现BLS对时间序列的精确预测,结合回声状态网络(ESN)的储备池结构,提出一种基于池计算的宽度学习系统(RCBLS).该系统通过在强化层引入简单环型储备池连接,以并行的储备池代替原系统中的前馈连接,使RCBLS具有一定的回声状态特性且方便设计.同时,应用增量学习保证了系统的实时性能.基于MSO时间序列预测问题,针对不同规模数据样本分别研究不同储备池结构RCBLS的性能.结果表明:多储备池结构的RCBLS大大提高了模型的泛化能力和稳定性.     

基于层次化可塑性回声状态网络的混沌时间序列预测

为了提高回声状态网络对于混沌时间序列特征提取与预测的能力,提出一种层次化可塑性回声状态网络模型.该模型将多个储备池顺序连接,通过逐层特征变换的方式增强对非线性多尺度动态特征的提取能力.同时,引入神经科学中的内在可塑性机制模拟真实生物神经元的放电率分布,以最大化神经元的信息传递为目标对储备池进行预训练.层次化可塑性回声状态网络不仅能够增加模型的容量,降低随机投影所带来的不稳定性,而且也为理解储备池的表示、处理、记忆及储存操作提供一种新的思路.仿真实验结果表明,相比于其他7种改进的回声状态网络模型,所提出的模型在人造数据和真实数据所构成的混沌时间序列预测任务中均能取得最优的预测精度.     

基于储备池主成分分析的多元时间序列预测研究

提出一种基于回声状态网络储备池的非线性ＰＣＡ 方法,并将其应用于多元时间序列的预测中．由于多维输入变量间的相关性会影响建模效果,通过储备池将输入在原空间的非线性特征转化成高维空间的线性特征．在其中运用线性ＰＣＡ 技术寻找输入在储备池空间的最大方差方向,提取有效的多元变量综合信息．经储备池主成分分析处理后的输入与预测点呈动态线性映射,可使用线性方法建模．仿真结果表明了该方法的有效性．     

一种回声状态网络的权值初始化方法

为了避免奇异解,提高网络性能,给出一种回声状态网络的权值初始化方法(WIESN).利用柯西不等式和线性代数确定优化的初始权值的范围与输入维数、储备池维数、输入变量和储备池状态相关,从而确保神经元的输出位于sigmoid函数的激活区域.实验结果表明,权值初始化方法的精度和训练时间要优于随机初始化方法,且相比于训练时间,权值初始化的时间是可以忽略不计的.     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

基于增量式学习的正则化回声状态网络

针对回声状态网络(ESN)的结构设计问题,提出增量式正则化回声状态网络(IRESN).该网络由相互独立的子储备池模块构成,首先,子储备池根据奇异值分解方法生成,且可以保证每个子储备池权值矩阵的奇异值都小于1;其次,利用问题复杂度或者残差,将网络中逐一添加子储备池,直至满足预设的终止条件,在生成IRESN的过程中,回声状态特性能够得以保证,并不需要缩放储备池权值矩阵;然后,为了解决不适定问题,在网络增量式学习过程中,利用正则化方法训练输出权值,并利用留一交叉验证方法选择正则化参数.仿真结果表明,与其他ESNs相比较,所得网络具有紧凑的结构和较高的预测精度.     

基于储备池主成分分析的多元时间序列预测研究

提出一种基于回声状态网络储备池的非线性ＰＣＡ 方法,并将其应用于多元时间序列的预测中．由于多维输入变量间的相关性会影响建模效果,通过储备池将输入在原空间的非线性特征转化成高维空间的线性特征．在其中运用线性ＰＣＡ 技术寻找输入在储备池空间的最大方差方向,提取有效的多元变量综合信息．经储备池主成分分析处理后的输入与预测点呈动态线性映射,可使用线性方法建模．仿真结果表明了该方法的有效性．

     

基于灵敏度分析的模块化回声状态网络修剪算法

针对回声状态网络（Echo state network,ESN）的结构设计问题,提出基于灵敏度分析的模块化回声状态网络修剪算法（Pruning algorithm for modular echo state network,PMESN）.该网络由相互独立的子储备池模块构成.首先利用矩阵的奇异值分解（Singular value decomposition,SVD）构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度.利用灵敏度大小判断子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模,具有较好的泛化能力和鲁棒性.     

基于小波包能量特征及LVQ的目标检测方法研究

基于常规雷达的目标检测方法不能很好地适应冲击雷达目标的检测,提出了一种基于小波包能量特征与LVQ神经网络相结合的新颖目标检测方法;首先利用小波包对目标回波信号进行分解,以得到目标的能量特征量,该特征量能明显区分目标和噪声;然后将能量特征量送入学习向量量化(LVQ)神经网络进行训练与仿真,以实现对超宽带目标信号的检测;仿真结果表明,该方法能获得较高的检测概率,较低的虚警概率.     

采用稳健回声状态网络的超短期负荷预测方法

针对超短期负荷预测周期短,要求预测速度快的特点,构建了基于稳健回归和回声状态网络的超短期负荷预测方法。回声状态网络作为一种递归神经网络,其隐含层为一个储备池,并且通过线性回归训练网络,从而具有映射复杂动态系统的能力和训练快速的特点,能较好地满足超短期负荷预测的要求。考虑到异常负荷数据的影响,将稳健回归运用于网络训练阶段,以削弱异常值的影响,从而提升预测的精度。通过算例验证了所提方法的可行性和有效性。     

一种基于L1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.     

多稀疏回声状态网络预测模型

针对单回声状态网络难以充分描述数据信息的问题,提出多稀疏回声状态网络预测模型.通过对相关回声状态网络的组合权值及由相关样本得到的基函数的权值同时进行学习,获得优化的多个稀疏回声状态网络组合模型.所提模型不同于双稀疏相关向量机等多核学习模型,它不需要选择特定的核函数及相应的核参数.因此,该模型不但能更好的描述数据信息,避免了双稀疏相关向量机及其他多核学习中核函数及其参数不易选择的问题.同时,所提模型不需要采用交叉验证的方式确定回声状态网络的谱半径和稀疏度,只需确定相应的区间.本文通过两组标杆数据和一组实际数据仿真实验,与传统回声状态网络方法相比,验证了所提模型具有更好的预测性能.     

改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

基于超声检测的构件层间粘接缺陷识别方法

超声无损检测广泛用于检测界面粘接缺陷,然而粘接缺陷类型的识别一直是检测的难点.因此提出了一种基于多特征融合和主成分分析提取界面粘接状况回波信号特征的方法.首先通过对缺陷信号回波进行消噪处理,提取了缺陷信号时域和时频域的特征参数,并构成联合特征向量.随后,经过主成分分析消除联合特征向量的冗余信息并降低特征向量之间的相关性,实现降维,选取累计贡献率超过95％的主成分作为粘接类型的融合特征向量.最后用BP神经网络实现缺陷类型识别分类.实验结果表明,这种方法可以有效地识别出粘接缺陷类型,识别率优于单独时频域特征提取方法,为粘接缺陷的分类识别和无损评价提供了技术参考.     

基于延迟回声状态网的光伏电池板温度预测方法

光伏电池温度变化影响光伏系统输出的稳定性, 精准地预测光伏电池板温度的变化趋势, 对光伏系统智能运行具有重要意义. 为了更好地预测温度的变化趋势, 本文考虑了光伏电池板温度的迟滞效应, 将先前的温度输出作为延迟项引入回声状态网中, 提出了一种基于延迟回声状态网的光伏电池板温度预测模型. 给出一个延迟回声状态网具有回声状态特性的判定条件, 使得预测模型能够稳定地预测光伏电池板温度. 同时, 建立了一套光伏多传感器监测系统, 利用该监测系统采集的数据, 训练和验证模型的准确性. 与回声状态网(Echo state network, ESN), Leaky ESN (Leaky-integrator ESN)和VML ESN (ESN with variable memory length)相比, 仿真结果表明, 本文所提出的延迟回声状态网具有更好的预测性能, 平均绝对百分比误差甚至达到3.45%.     

一种基于液体状态机的音乐和弦序列识别方法

文中提出一种基于液体状态机的音乐和弦序列识别方法。该方法首先将音乐信号进行切分采样并对每帧提取音级轮廓(PCP),经训练后得到一个液体状态机模型。方法提出两类奇异矩阵、和弦出现概率向量、和弦变换矩阵,它们可用在和弦序列后处理阶段。在神经网络模型、隐马尔科夫模型、回声状态网络模型、液体状态机模型上进行的初步实验得到8组实验数据。数据表明液体状态机模型对音乐和弦序列具有较好的识别效果,文中提出的后处理算法也能显著提高识别准确率。     

一种错误率可控的混沌时间序列区间预测算法

针对高风险背景下的混沌时间序列区间预测问题,首次将回声状态网络与一致性预测框架相结合,提出基于两者的混沌时间序列区间预测算法.该算法将回声状态网络的拟合能力与一致性预测区间的可靠性相结合,使得最终的预测区间包含被预测值的频率或概率可以被显著性水平参数所控制,即预测区间具有极高的可信度.同时,由于使用岭回归学习回声状态网络的输出权重,使得算法在学习阶段对样本的留一交叉估计可以被快速地计算,极大地缩短了一致性预测的学习时间.理论分析表明,所提出算法的时间复杂度等价于原始回声状态网络算法的时间复杂度,即算法具有较快的计算速度.实验表明,所提出算法能够较精确地控制预测的错误率,对噪声具有鲁棒性,且预测区间比基于高斯过程的预测区间更加准确地刻画了被预测值的波动范围.