基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

一种基于节点行为模式的相似性指标

手持设备网络（PSN）是一种利用节点移动和机会性相遇进行数据交互的延迟容忍网络（DTN）.由于PSN具有网络拓扑不断变化、节点间链接时变性等特点,导致常用的节点间相似性评价方法不能很好地被应用于PSN的链路预测.针对PSN网络节点的行为特点,分析节点间产生连接次数、连接持续时间以及节点访问区域的规律,将PSN网络中节点的相似性分为节点社交行为相似性和移动行为相似性.结合社交行为相似性以及节点移动行为相似性,比较其在不同加权系数下的AUC和Precision,提出基于节点行为模式的相似性指标（SNBP）.在MIT Reality以及Dartmouth Campus数据集上的结果表明：与CN、AA和Katz相似性指标相比,所提出的相似性指标具有更好的预测准确率.     

回响状态网络输出连接权重的一个稳定训练方法

鉴于在回响状态网络(ESN)的应用中常使用Wiener-Hopf方程学习输出连接权重,但该方法难以保证自治ESN的稳定性,首先分析了导致该稳定性丧失的原因,提出并证明了自治ESN具备Lyapunov稳定性的一个充分条件;然后将输出连接权重学习问题转化为一个非线性约束的最优化问题,并采用粒子群优化算法求解.仿真结果表明,所提方法既能确保ESN获取高精度的预测输出,又能保ESN的Lyapunov稳定性.     

改进回溯搜索优化回声状态网络时间序列预测

回声状态网络(Echo State Network, ESN)网络结构简单且耦合"时间参数",在时间序列预测研究中具有重要的理论和应用价值.本文提出使用自适应回溯搜索算法(Adaptive Backtracking Search optimization Algorithm,ABSA)优化ESN输出连接权值矩阵,克服标准线性回归方法造成的网络过拟合问题. ABSA使用自适应变异因子策略替换标准BSA中随机给定变异因子的策略,实现BSA在收敛精度和收敛速率之间的平衡.实验表明,采用ABSA优化的ESN能够比未优化的ESN和采用其他进化算法优化的ESN获得更好的预测精度.     

FHN神经元小世界网络随机共振下的弱信号增强�

考虑到生物神经系统显著的弱信号感知能力,提出一种基于概率随机重连的神经元动态连接小世界网络.首先为提高计算神经模型工作效率,本文改变了FHN神经元恢复变量和膜电位特征时间默认相等的思路,可灵活调整膜电位势函数的势垒高度以提高状态的跃迁概率;其次将改进后的FHN神经元作为网络节点,引入基于距离连接权重的动态突触的神经元节点互连模式,通过调整外部干扰和网络内部的噪声强度,使系统进入随机共振状态;最后根据FHN神经元输入输出信号之间的互相关系数,对网络各节点输出进行筛选和融合,从而实现弱信号增强还原.对多种形式的输入弱信号进行了实验,结果表明,本方案可以有效实现弱信号的还原和增强,不仅能保持周期信号频谱的一致性,还能使原始弱信号和系统输出信号的互相关系数保持在0.92以上.因此,基于FHN神经元的小世界网络,能够充分利用随机共振特性,为弱信号的增强复原也提供了一种新的思路.     

基于层次自组织特征映射的网络异常检测系统数据分析器

提出将层次自组织特征映射神经网络算法应用于网络异常检测，算法自顶向下逐层生成神经网络结构并细化聚类，将神经元的组织和连接方式从平面扩展到层次与平面连接相结合，大大加速了获胜神经元的搜寻过程。基于此种算法，设计并实现了网络异常检测系统中的数据分析器HSOMDA，在DARPA1999数据集上的实验表明其具有较高的检测性能和时间性能。     

具有脉冲耦合复杂时滞动力网络的同步

考虑了一个具有脉冲耦合的复杂时滞动力网络的同步问题.基于脉冲时滞动力系统扩展的Halanay不等式,给出了网络同步的一个充分条件.所获结果表明,即使网络节点之间仅在一些离散时刻存在瞬时连接,网络仍然能够达到同步.进一步将所得结果应用于一个由混沌FHN神经元振子为动力节点所构成的一个无标度的动力网络,数值仿真结果表明了理...     

结合相似度的新型加权网络模型

许多实际复杂网络都可以采用加权网络模型描述.现有加权网络多以节点强度作为择优连接的概率，而未考虑节点之间内在属性的相似也会增加两个节点连接的概率.基于典型的BBV加权网络模型，提出一个结合相似度的新型加权网络模型，改进了已有模型的连边增长方式和择优连接机制，提出了一种权重自适应演化机制.通过提出节点之间相似度的概念，网络演化中同时兼顾节点强度与相似度进行择优连接.网络增长时，既考虑了新节点与已有节点之间增加连边，又考虑到两个已有节点之间增加连边.理论分析和实验结果表明，该网络模型具有无标度特性和小世界特性，节点度和节点强度均具有幂律分布规律，具有更广泛的应用场景.     

多深度土壤温度无线传感器网络节点设计

针对多深度土壤温度传感器节点的设计要求,提出了一个二叉树搜索算法.该算法通过单总线识别所有连接在单节点上的传感器,并读取它们采集的温度.传感器节点有低功耗和处理功能单一2个特性,算法采用递归方式使得其上代码简洁和紧凑.理论分析与实验结果证明了算法的可行性和有效性.该设计将广泛应用在无线传感器网络（WSNs）应用背景下的实际生产和生活中.     

基于网络效益的人类脑功能网络的小世界度量

人类脑功能网络的小世界拓扑组织形式能够促进信息在脑功能区域间以低能量成本和较短连接代价实现高效的转发与集成.然而,使用传统的小世界网络度量指标对人类脑功能网络的小世界特性进行判定时,存在着判定精确度不高的问题.针对此问题,并考虑到人脑工作的高效率特性,提出基于网络效益的小世界度量指标(Efficiency based small world index,ESW).通过与传统的基于聚集系数、特征路径长度的度量指标以及新型的小世界指数sigma、omega进行对比,验证ESW对不同边密度和不同节点规模下仿真网络进行小世界判定的有效性.同时,对真实的人类脑功能性网络的小世界特性进行判定.首先,发现不同阈值下健康志愿者(Healthy volunteers,HV)真实脑功能网络小世界特性的变化规律;然后,通过对比分析HV与患有儿童精神分裂症(Childhood onset schizophrenia,COS)患者以及患有注意力不足过动症(Attention deficit hyperactivity disorder,ADHD)患者的小世界特性,发现COS患者以及ADHD患者的小世界特性明显减弱.关于人类脑功能网络小世界特性的研究,为相关研究人员从网络的拓扑组织形态探索人脑的工作与连接模式提供了参考.     

一种深度回声状态网络的输入尺度自适应算法

深度回声状态网络是回声状态网络与深度学习思想的结合,合理选取不同谱半径的内部状态矩阵和弱积分参数能有效增强深度回声状态网络的多尺度时域特性。利用数据可视化分析输出矩阵在不同网络层中的分布关系,发现高层网络中部分神经元处于饱和工作状态且该状态抑制了网络动态预测能力。提出一种深度回声状态网络的输入矩阵自适应算法,在对网络内部状态的均值和方差进行递推估计的基础上判断神经元饱和状态,通过自适应调整各层输入权重的值来增强神经元动态性。数值计算结果表明,基于输入尺度自适应算法的深度回声状态网络相对同等规模的单层回声状态网络对于动态系统的预测精度有成倍提升。     

基于信息强度的RBF神经网络结构设计研究

在系统研究前馈神经网络的基础上,针对径向基函数(Radial basis function, RBF) 网络的结构设计问题,提出一种弹性RBF神经网络结构优化设计方法. 利用隐含层神经元的输出信息(Output-information, OI)以及隐含层神经元与输出层神经元间的交互信息(Multi-information, MI)分析网络的连接强度, 以此判断增加或删除RBF神经网络隐含层神经元, 同时调整神经网络的拓扑结构,有效地解决了RBF神经网络结构设计问题; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对典型非线性函数的逼近与污水处理过程关键水质参数建模, 结果证明了该弹性RBF具有良好的动态特征响应能力和逼近能力, 尤其是在训练速度、泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation net works, MRAN)、增长修剪RBF 神经网络(Generalized growing and pruning RBF, GGAP-RBF)和自组织RBF神经网络(Self-organizing RBF, SORBF)有较大的提高.     

RBF神经网络的结构动态优化设计

针对径向基函数(Radial basis function, RBF)神经网络的结构设计问题, 提出一种结构动态优化设计方法. 利用敏感度法(Sensitivity analysis, SA)分析隐含层神经元的输出加权值对神经网络输出的影响, 以此判断增加或删除RBF神经网络隐含层中的神经元, 解决了RBF神经网络结构过大或过小的问题, 并给出了神经网络结构动态变化过程中收敛性证明; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对非线性函数的逼近与污水处理过程中关键参数的建模结果, 证明了该动态RBF具有良好的自适应能力和逼近能力, 尤其是在泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation networks, MRAN)与增长和修剪RBF 神经网络(Generalized growing and pruning radial basis function, GGAP-RBF) 有较大提高.     

基于半监督学习的动态神经网络结构设计

针对神经网络初始结构的设定依赖于工作者的经验、自适应能力较差等问题,提出一种基于半监督学习(SSL)算法的动态神经网络结构设计方法。该方法采用半监督学习方法利用已标记样例和无标记样例对神经网络进行训练,得到一个性能较为完善的初始网络结构,之后采用全局敏感度分析法(GSA)对网络隐层神经元输出权值进行分析,判断隐层神经元对网络输出的影响程度,即其敏感度值大小,适时地删减敏感度值很小的神经元或增加敏感度值较大的神经元,实现动态神经网络结构的优化设计,并给出了网络结构变化过程中收敛性的证明。理论分析和Matlab仿真实验表明,基于SSL算法的神经网络隐层神经元会随训练时间而改变,实现了网络结构动态设计。在液压厚度自动控制(AGC)系统应用中,大约在160 s时系统输出达到稳定,输出误差大约为0.03 mm,与监督学习(SL)方法和无监督学习(USL)方法相比,输出误差分别减小了0.03 mm和0.02 mm,这表明基于SSL算法的动态网络在实际应用中能有效提高系统输出的准确性。     

A new self-learning optimal control laws for a class of discrete-time nonlinear systems based on ESN architecture

A novel self-learning optimal control method for a class of discrete-time nonlinear systems is proposed based on iteration adaptive dynamic programming(ADP)algorithm.It is proven that the iteration costate functions converge to the optimal one,and a detailed convergence analysis of the iteration ADP algorithm is given.Furthermore,echo state network(ESN)architecture is used as the approximator of the costate function for each iteration.To ensure the reliability of the ESN approximator,the ESN mean square training error is constrained in the satisfactory range.Two simulation examples are given to demonstrate that the proposed control method has a fast response speed due to the special structure and the fast training process.     

动态构造特征可调节的小世界P2P网络*

P2P网络是一个动态网络,静态模型并不适用于构造P2P网络。针对目前的动态模型都存在一定局限性,不能够根据需要调节不同的网络特征,提出一种新的小世界P2P网络的动态构造方法。该方法能够利用构造参数调节网络的平均度数、聚类系数和平均路径长度。仿真实验表明,随网络规模扩大网络持续维持良好的小世界特征,且构造参数能够有效地调节网络的小世界特征。     

Analysis and design of echo state networks

The design of echo state network (ESN) parameters relies on the selection of the maximum eigenvalue of the linearized system around zero (spectral radius). However, this procedure does not quantify in a systematic manner the performance of the ESN in terms of approximation error. This article presents a functional space approximation framework to better understand the operation of ESNs and proposes an information-theoretic metric, the average entropy of echo states, to assess the richness of the ESN dynamics. Furthermore, it provides an interpretation of the ESN dynamics rooted in system theory as families of coupled linearized systems whose poles move according to the input signal dynamics. With this interpretation, a design methodology for functional approximation is put forward where ESNs are designed with uniform pole distributions covering the frequency spectrum to abide by the richness metric, irrespective of the spectral radius. A single bias parameter at the ESN input, adapted with the modeling error, configures the ESN spectral radius to the input-output joint space. Function approximation examples compare the proposed design methodology versus the conventional design.     

Collective behavior of a small-world recurrent neural system with scale-free distribution.

This paper proposes a scale-free highly clustered echo state network (SHESN). We designed the SHESN to include a naturally evolving state reservoir according to incremental growth rules that account for the following features: (1) short characteristic path length, (2) high clustering coefficient, (3) scale-free distribution, and (4) hierarchical and distributed architecture. This new state reservoir contains a large number of internal neurons that are sparsely interconnected in the form of domains. Each domain comprises one backbone neuron and a number of local neurons around this backbone. Such a natural and efficient recurrent neural system essentially interpolates between the completely regular Elman network and the completely random echo state network (ESN) proposed by Jaeger et al. We investigated the collective characteristics of the proposed complex network model. We also successfully applied it to challenging problems such as the Mackey-Glass (MG) dynamic system and the laser time-series prediction. Compared to the ESN, our experimental results show that the SHESN model has a significantly enhanced echo state property and better performance in approximating highly complex nonlinear dynamics. In a word, this large scale dynamic complex network reflects some natural characteristics of biological neural systems in many aspects such as power law, small-world property, and hierarchical architecture. It should have strong computing power, fast signal propagation speed, and coherent synchronization.     

基于GoGCN的软件系统类交互关系预测

软件系统是一个复杂的人工制品,类之间的交互关系对软件质量有着潜在影响,如软件缺陷的级联传播效应就是一个典型.如何准确预测软件系统中类之间合理关系,优化设计结构是软件质量保障的一个开放问题.从软件网络观的视角,综合考虑软件系统中类与类之间关系(外部图),以及每个类内部方法之间关系(内部图),将软件系统抽象成一个图中图结构的软件网络,并在此基础上提出一种基于图中图卷积神经网络的类交互关系预测方法.首先对每个类内部图进行卷积得到类节点的初始特征,再通过外部图的卷积更新类节点的表征向量,最后通过计算类节点对的评估值进行交互预测.根据在6个Java开源项目上的实验结果显示,图中图结构有助于提高软件系统结构的表征能力,且所提方法与常规网络嵌入方法相比, AUC值和AP值的平均增长率超过5.5%.与此同时,和两种同行方法相比, AUC值和AP值的平均增长率分别在9.36%和5.22%以上.