ELM网络结构自适应正交搜索算法

由于具有灵活的非线性建模能力和良好的模式识别能力,单隐藏层前馈神经网络(Single Hidden Layer Feedforward Neural Network,SLFN)一直是机器学习和数据挖掘领域关注的焦点.众所周知,网络结构是影响SLFN泛化能力的重要因素之一.给定一个具体应用,如何在训练过程中自动选取最优的隐节点个数,仍是一大挑战.极限学习机(Extreme Learning Machine,ELM)通过随机生成隐藏层节点参数,并利用最小二乘法求解输出层权值的方式来训练SLFN,在一定程度上克服了传统的基于梯度类学习方法收敛速度慢、容易陷入局部最小值等问题.然而,ELM仍需要人为确定隐节点个数,不仅过程繁琐,而且无法保证得到最优或者次优的网络结构.在不影响泛化能力的前提下,为了进一步降低网络的复杂度,本文对ELM进行了改进,通过将网络结构学习转化为子集模型选择,提出了一种隐节点自适应正交搜索方法.首先,利用标准ELM构建隐节点候选池.然后,采用正交前向选择算法选择与网络期望输出相关度最大的候选隐节点加入到模型中.同时,每向前引入一个新的隐节点,就要向后对已选入的隐节点进行逐个检查,将变得不重要的隐节点从网络中删除.最后,设计了一种增强的向后移除策略来纠正前面步骤中所犯的错误,进一步剔除模型内残留的冗余隐节点.本文方法充分考虑了隐节点间的内在联系和相互影响,实验结果表明,该方法不仅具有良好的泛化性能,而且能够产生比较紧凑的网络结构.     

基于循环自构形算法的神经网络结构优化

BP(back propagation)神经网络中隐层节点的个数过多将影响网络的泛化性能和效率,自构形学习算法通过考察网络隐层节点输出之间的相关性来删除和合并隐层节点.但自构形算法在节点的删除和合并时存在网络收敛不一致问题,因此,在自构形算法中引入随机度概念,在分治算法思想的基础上提出了循环自构形算法来优化网络结构.Matlab实验对比验证了循环自构形算法能从不同或相同的隐层节点数剪枝到一致的网络结构,并将网络结构优化至最精简.     

结构自适应的半监督自组织过程神经网络

针对时域空间中模式识别、聚类分析和未标记样本的有效利用问题,提出一种基于半监督学习的网络结构自适应的二维自组织过程神经网络模型和算法。通过构建可度量时变样本间相似性的广义Fréchet距离,利用部分已标记动态样本的类别信息和过程特征,采用奖励-惩罚更新规则,根据网络学习目标函数,对网络二维平面竞争层节点进行动态拆分或合并,实现网络结构的自适应调整和样本的有效聚类。仿真实验结果验证了模型和算法的有效性。     

前馈过程神经网络的网络结构与泛化能力

基于提高过程神经网络泛化能力的角度,对前馈过程神经网络网络结构对泛化能力的影响进行研究,得出以下结论：其过程神经元隐层（时变隐层）起主要作用,一般神经元隐层（非时变隐层）并非是必须的,对于相同特征的样本,过程神经元对样本特征的抽取能力远远高于传统神经元。给出了一个基于提高泛化能力的前馈过程神经网络网络结构构造算法,并应用一个实例验证了其有效性。     

一种RBF网络结构调整的稳健增量学习方法

以实现RBF网络的增量学习能力和提高其增量学习的稳健性为目的,给出了一种RBF网络增量学习算法.算法首先对初始数据集进行聚类得到初始的RBF网络结构,然后采用GAP-RBF算法中的隐层节点调整策略动态调整网络结构实现RBF网络增量学习.RBF网络的初始化降低了初始数据集样本训练顺序对RBF网络性能的影响,增强了其增量学习的稳健性.IRIS数据集和雷达实测数据集仿真实验表明,算法具有较好的增量学习能力.     

基于LM算法的在线自适应RBF网结构优化算法

针对LM算法不能在线训练RBF网络以及RBF网络结构设计算法中存在的问题,提出一种基于LM算法的在线自适应RBF网络结构优化算法.该算法引入滑动窗口和在线优化网络结构的思想,滑动窗口的引入既使得LM算法能够在线训练RBF网络,又使得网络对学习参数的变化具有更好的鲁棒性,并且易于收敛.在线优化网络结构使得网络在学习过程中能够根据训练样本的训练误差和隐节点的相关信息,在线自适应调整网络结构,跟踪非线性时变系统的变化,使网络维持最为紧凑的结构,以保证网络的泛化性能.最后通过仿真实验验证了所提出算法的性能.     

具有多类型激活函数的RBF网络设计

提出多类型激活函数的径向基网络结构设计方式,网络隐层由薄板样条函数节点和高斯函数节点构成,分别采用改进的粒子群算法和前向局部优化算法对两种类型节点的参数进行学习.改进的粒子群算法综合运用粒子运动过程的启发式信息和样本的梯度信息进行种群迭代,减小了陷入局部极值的概率.前向局部优化算法是一种高斯节点的序贯学习算法,算法采用DFP方法对新增高斯节点的参数进行局部优化,提高了网络的逼近性能.通过解析和工程算例验证了多类型激活函数RBF网络的高拟合能力及其学习算法的有效性.     

自适应合并与分裂的多种群差分进化算法

针对差分进化（DE）算法存在的早熟收敛与搜索停滞问题,提出了自适应合并与分裂的多种群差分进化算法。算法将种群划分为多个子种群,引入子种群优劣因子来评价种群的优劣性,实现种群间的自适应合并与分裂;对于种群中的各个个体,采取基于精英池学习的变异算子,结合优秀个体进行自适应学习调整,使算法达到全局搜索与局部搜索能力的平衡;在算法后期引入扰乱策略,保证算法快速收敛的同时有效地跳出局部极值点,提高算法寻优的精度。在30个标准测试函数的实验结果表明,改进算法能有效解决早熟和陷入局部最优的问题。     

熵在BP 神经网络修剪算法中的应用

提出了一种基于熵理论的BP 神经网络结构设计修剪算法．其实质是依据Shannon 熵原理,定义神经 网络隐层节点输出的拟熵,该熵与Shannon 熵对不确定性的描述具有相同的效果,但克服了Shannon 熵固有的缺 点．将神经网络实际输出与期望输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进 行寻优,最后通过删除合并隐层神经元达到简化神经网络结构的目的．通过逼近典型非线性函数进行仿真实验,结 果表明,该修剪算法在保证其逼近性能的同时,可以简化BP 神经网络结构．     

基于最大熵神经网络算法的柔性制造系统调度策略研究

为了解决传统神经网络BP梯度下降算法在解决柔性制造系统调度策略时易陷入局部最优的问题,在规则化神经网络结构的基础上,提出了一种基于最大熵的神经网络权值优化算法,利用神经网络隐层节点变量的条件概率,在计算寻优过程中,通过改变收敛算子求解熵函数的期望,进而迭代求解网络的最优权重向量,对比实验表明,相较BP梯度下降算法,采用最大熵权值调整算法,数据搜索空间范围大,能保证系统准确收敛到全局最优解,算法鲁棒性好,在实际的调度策略应用中,该算法能明显缩短整体生产任务的加工周期,达到提高企业生产效率的目的。     

A New Adaptive Merging and Growing Algorithm for Designing Artificial Neural Networks

This paper presents a new algorithm, called adaptive merging and growing algorithm (AMGA), in designing artificial neural networks (ANNs). This algorithm merges and adds hidden neurons during the training process of ANNs. The merge operation introduced in AMGA is a kind of a mixed mode operation, which is equivalent to pruning two neurons and adding one neuron. Unlike most previous studies, AMGA puts emphasis on autonomous functioning in the design process of ANNs. This is the main reason why AMGA uses an adaptive not a predefined fixed strategy in designing ANNs. The adaptive strategy merges or adds hidden neurons based on the learning ability of hidden neurons or the training progress of ANNs. In order to reduce the amount of retraining after modifying ANN architectures, AMGA prunes hidden neurons by merging correlated hidden neurons and adds hidden neurons by splitting existing hidden neurons. The proposed AMGA has been tested on a number of benchmark problems in machine learning and ANNs, including breast cancer, Australian credit card assessment, and diabetes, gene, glass, heart, iris, and thyroid problems. The experimental results show that AMGA can design compact ANN architectures with good generalization ability compared to other algorithms.     

基于反步自适应神经网络的船舶航迹控制

针对欠驱动船舶在稳定航速条件下轨迹跟踪问题,提出了一种基于自适应神经网络与反步法相结合的控制算法.该算法将实际的欠驱动船舶视为模型完全未知的非线性系统,利用神经网络的函数逼近特性实现控制器中非线性部分的在线估计,采用同时调整输入层-隐层、隐层-输出层间的权值阵的方法进行神经网络权值调整.通过选取积分型Lyapunov函数证明了闭环系统的稳定性.仿真实验表明该控制策略具有良好的跟踪特性,可以实现对期望航迹的精确跟踪.     

随机非线性系统基于事件触发机制的自适应神经网络控制

针对一类具有严格反馈结构且控制方向未知的随机非线性系统，提出了基于事件触发机制的自适应神经网络（Adaptive neural network，ANN）输出反馈控制方法.利用径向基神经网络逼近系统中未知的非线性函数.通过引入Nussbaum增益函数并设计滤波器，解决了系统控制方向未知的问题.通过设计具有相对阈值的事件触发机制，保证了闭环随机非线性系统的有界性.最后给出数值仿真例子验证所提控制方法的有效性.     

基于权值与结构确定法的单极Sigmoid神经网络分类器

构造了以单极Sigmoid函数作为隐层神经元激励函数的神经网络分类器,网络中输入层到隐层的权值和隐层神经元的阈值均为随机生成。同时,结合利用伪逆思想一步计算出隐层和输出层神经元之间连接权值的权值直接确定(WDD)法,进一步提出了具有边增边删和二次删除策略的网络结构自确定法,用来确定神经网络最优权值和结构。数值实验结果表明,该算法能够快速有效地确定单极Sigmoid激励函数神经网络分类器的最优网络结构; 分类器的分类性能良好。     

基于神经网络补偿的转台伺服系统控制研究

针对飞行仿真转台伺服系统中存在的非线性摩擦干扰进行了研究,采用一种基于RBF神经网络进行误差补偿的在线自适应控制策略。在基于逆动力学的计算力矩控制方法的基础上,利用RBF神经网络的万能逼近特性在线辨识模型误差,从而对系统进行补偿,其权值自适应律根据Lyapunov稳定性理论推导,保证了系统跟踪误差的收敛及稳定,仿真结果表明该控制策略可使位置MAE指标从0.0087m提高到0.0016m,使位置MSE指标从1.0128e-4m提高到3.3002e-6m,具有较高的鲁棒性和稳态控制精度。最后分别从隐层节点数及节点中心学习算法的变化两方面提出两种改进方案,仿真结果表明隐层节点数的增加可以进一步减小位置误差,而采用K-means均值聚类算法解决了神经网络节点中心按经验选取或试凑的困难。     

一种结构自适应径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该网络中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于半监督学习的动态神经网络结构设计

针对神经网络初始结构的设定依赖于工作者的经验、自适应能力较差等问题,提出一种基于半监督学习(SSL)算法的动态神经网络结构设计方法。该方法采用半监督学习方法利用已标记样例和无标记样例对神经网络进行训练,得到一个性能较为完善的初始网络结构,之后采用全局敏感度分析法(GSA)对网络隐层神经元输出权值进行分析,判断隐层神经元对网络输出的影响程度,即其敏感度值大小,适时地删减敏感度值很小的神经元或增加敏感度值较大的神经元,实现动态神经网络结构的优化设计,并给出了网络结构变化过程中收敛性的证明。理论分析和Matlab仿真实验表明,基于SSL算法的神经网络隐层神经元会随训练时间而改变,实现了网络结构动态设计。在液压厚度自动控制(AGC)系统应用中,大约在160 s时系统输出达到稳定,输出误差大约为0.03 mm,与监督学习(SL)方法和无监督学习(USL)方法相比,输出误差分别减小了0.03 mm和0.02 mm,这表明基于SSL算法的动态网络在实际应用中能有效提高系统输出的准确性。     

虚拟控制系数未知的非完整系统的自适应神经网络控制

针对一类虚拟控制系数未知的多输入链式非完整控制系统,提出了一种自适应神经网络控制策略.在控制策略的设计中,采用了State-scaling与Backstepping技术相结合的方法.Nussbaum-type增益技术用来解决系统的控制方向完全未知的问题.所提出的自适应神经网络控制策略解决了由复杂系统所引起的奇异问题,并通过选择适当的控制参数,使闭环系统半全局一致有界,且系统的状态渐近收敛到包含原点的任意小的一个收敛域.一种基于切换策略的自适应控制方法解决了当x0(t0)=0时所引起的系统不可控问题.仿真结果验证了算法的有效性.     

Heuristic principles for the design of artificial neural networks

Artificial neural networks were used to support applications across a variety of business and scientific disciplines during the past years. Artificial neural network applications are frequently viewed as black boxes which mystically determine complex patterns in data. Contrary to this popular view, neural network designers typically perform extensive knowledge engineering and incorporate a significant amount of domain knowledge into artificial neural networks. This paper details heuristics that utilize domain knowledge to produce an artificial neural network with optimal output performance. The effect of using the heuristics on neural network performance is illustrated by examining several applied artificial neural network systems. Identification of an optimal performance artificial neural network requires that a full factorial design with respect to the quantity of input nodes, hidden nodes, hidden layers, and learning algorithm be performed. The heuristic methods discussed in this paper produce optimal or near-optimal performance artificial neural networks using only a fraction of the time needed for a full factorial design.     

基于敏感度方差重要性的RBF 神经网络结构优化算法

针对RBF 神经网络的结构设计问题, 提出一种基于输出敏感度方差重要性的结构优化算法. 首先, 检验网络隐层节点的输出敏感度在样本集上的方差是否与零有显著差异, 以此作为依据增加或删除相应的隐层节点; 然后,对调整后的网络参数进行修正, 使网络具有更好的拟合精度和收敛性; 最后, 对所提出的优化算法进行仿真实验, 结果表明, 所提出的算法可根据研究对象自适应地调整RBF 的网络结构, 具有良好的逼近能力和泛化能力.