基于自适应学习率优化的AdaNet改进

人工神经网络的自适应结构学习（AdaNet）是基于Boosting集成学习的神经结构搜索框架，可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著，因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中，使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放，得到更分散的权重分布，以增加AdaNet产生子网的多样性，从而降低集成学习的泛化误差。实验结果表明，在MNIST（Mixed National Institute of Standards and Technology database）、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上，改进后的优化算法能提升AdaNet的搜索速度，而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上，改进后的方法相较于原方法，在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。     

神经网络结构自适应研究综述

网络结构自适应旨在根据特定学习任务和数据对神经网络结构进行自动设计和模型优化,以适应开放环境智能感知学习任务的综合需求.文中旨在全面综述网络结构自适应方法.首先,阐述并分析神经架构搜索的主要方法.然后,分别从轻量化神经架构搜索、智能感知任务、连续学习三个方面呈现网络结构自适应的研究进展.在此基础上,建立一套面向开放环境应用的深度神经网络组件与结构的自适应评价指标体系,提出一种网络结构自适应方法,通过注意力引导的微观架构自适应机制和渐进式离散策略,在优化过程中实现网络结构的自适应调整优化和逐步离散化,并与现有方法进行对比分析.最后,探讨当前方法存在的问题与挑战,展望未来的研究方向.     

BP神经网络中自适应学习率的研究

l引言~[1] 图1是一个典型的三层神经网络BP算铸示意图.Z是输入向量,Y是隐层输出向量0是网络输出向量,V及W分别为层间权向量。逆传播(Backprop-     

基于权值变化的BP神经网络自适应学习率改进研究

针对传统神经网络的学习率由人为经验性设定,存在学习率设置过大或过小,容易导致无法收敛或收敛速度慢的问题,本文提出基于权值变化的自适应学习率改进方法,改善传统神经网络学习率受人为经验因素影响的弊端,提高误差精度,并结合正态分布模型与梯度上升法,提高收敛速度.本文以BP神经网络为例,对比固定学习率的神经网络,应用经典XOR问题仿真验证,结果表明本文的改进神经网络具有更快的收敛速度和更小的误差.     

基于自适应学习率BP神经网络的火点定位模型

为了解决传统BP （Back Propagation）神经网络收敛较慢的问题,通过BP神经网络搭建火点预测模型,采用一种自适应学习率的方法改进BP神经网络,经比较该算法收敛较快,模型输出可达到预期效果.同时利用现场可编程逻辑门阵列（FPGA）的动态可重构技术实现了改进后的神经网络,通过仿真和结果测试,该设计在预测结果的基础上又大大减少了预测时间,为环保预测、检测轨迹规划提供了一定的理论基础.     

基于自适应学习率独立分量分析的图像盲分离

以独立分量分析(ICA)技术作为主要研究对象,对基于独立分量分析的定点算法进行了详细的分析和推理。传统定点算法具有结构简单、运算速度快的特点,但是在图像盲分离中数据有时不能完全满足独立性假设,因此在有些情况下,该算法是否收敛仍具有不确定性。由此,提出了一种能够自适应调整学习率的改进定点图像盲分离方法。将该方法用于混合图像的分离中,较传统方法而言,有收敛速度更快、鲁棒性更强、对数据相关性要求相对较低的优点。计算估计图像的峰值信噪比可知,分离效果是十分有效的。可见,该算法是一种新的、快速有效的图像分离方法。     

基于自适应分类的学习搜索算法

本文给出一放弃可采纳性的分类式学习搜索算法ＳＡＬＳ，它在系统初建时就能快速地获取经验知识，该算法的空间复杂度和平均时间复杂度皆为所获解路径耗费值的线性函数。将反复加深技术运用于ＳＡＬＳ而得到的搜索算法ＩＤ－ＳＡＬＳ，在保持良好的时间和空间复杂度的同时，又能保证找到的解为次优解。文中最后给出了ＩＤ－ＳＡＬＳ的两点改进。     

基于Kaiser窗的受限玻尔兹曼机自适应学习率调整算法研究

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)在训练过程中,存在计算复杂度高、模型对训练数据的似然度不够高等问题,导致深度学习模型训练时间较长.本文针对受限玻尔兹曼机训练时传统学习率的收敛速度慢的问题,提出一种基于Kaiser窗的受限玻尔兹曼机自适应学习率调整算法,利用Kaiser窗...     

AdaSVRG：自适应学习率加速SVRG

在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。     

基于自适应动态邻居和广义学习的改进粒子群算法

为了克服粒子群算法在求解多峰函数时极易陷入局部最优解的缺陷, 提出一种基于自适应动态邻居广义学习的改进粒子群算法(ADPSO)。在ADPSO算法中, 根据每个粒子邻居中最好运行粒子的状态动态地调整邻居拓扑结构;每个粒子的学习样本包括全局最优粒子、自身最优粒子和粒子邻居中最优运行粒子;并且在新产生的粒子位置上, 加上一个随机位置以增加粒子向全局最优解移动的概率。在基准函数的测试中, 结果显示ADPSO算法比其他PSO算法有更好的运行效果,是求解多峰问题的一种有效算法。     

自适应混沌粒子群算法对极限学习机参数的优化

针对极限学习机（ELM）在处理非线性数据时效果不理想,并且ELM的参数随机化不利于模型泛化的特点,提出了一种改进的极限学习机算法。结合自适应混沌粒子群（ACPSO）算法对ELM的参数进行优化,以增强算法的稳定性,提高ELM对基因表达数据分类的精度。在UCI基因数据集上进行仿真实验,实验结果表明,与探测粒子群-极限学习机（DPSO-ELM）、粒子群-极限学习机（PSO-ELM）等算法相比,自适应混沌粒子群-极限学习机（ACPSO-ELM）算法具有较好的稳定性、可靠性,且能有效提高基因分类精度。     

一种基于自适应证据推理规则的集成学习方法

当前集成学习中的结合策略难以兼顾各个基学习器之间的信息和模型的可解释性。使用证据推理（evidential reasoning,ER）规则作为结合策略,将各个基学习器结果作为证据参与融合,可以较好地解决以上问题。但传统ER规则的证据参数是单一的,对不同的基学习器模型使用相同的证据参数显然是不合理的。为此,提出一种基于自适应证据推理（adaptive-evidential reasoning,A-ER）规则的集成学习方法,该方法在每次证据融合前对证据的类别进行判断,针对不同的证据类别自适应分配不同的证据参数。通过不同的分类案例表明,该方法与案例中其他方法相比具有更高的分类精度,证明了该方法使证据参数设置更加合理且具有更好的可解释性和泛化能力。     

融合萤火虫方法的多标签懒惰学习算法

已有的多标签懒惰学习算法（IMLLA）在利用近邻标签时因仅考虑了近邻标签相关性信息，而忽略相似度的影响，这可能会使算法的鲁棒性有所降低。针对这个问题，引入萤火虫方法，将相似度信息与标签信息相结合，提出一种融合萤火虫方法的多标签懒惰学习算法（FF-MLLA）。首先，利用Minkowski距离来度量样本间相似度，从而找到近邻点；然后，结合标签近邻点和萤火虫方法对标签计数向量进行改进；最后，使用奇异值分解（SVD）与核极限学习机（ELM）进行线性分类。该算法同时考虑了标签信息与相似度信息从而提高了鲁棒性。实验结果表明，所提算法较其他的多标签学习算法有一定优势，并使用统计假设检验与稳定性分析进一步说明所提出算法的合理性与有效性。     

一种结合半监督的改进自适应亲和传播聚类*

现有的自适应亲和传播聚类存在聚类时间长、精度低的缺点,提出了一种结合半监督的改进自适应亲和传播聚类（SAAP）。它首先利用半监督学习更新相似度矩阵,而后在亲和传播聚类的基础上,通过基于二分法判断实现自适应搜索有效聚类数空间,最后由加权评价函数确定最佳聚类。经实验证明,SAAP算法可以更快速地扫描有效聚类空间,并能够得到较小的错分率和较高的有效性评价。     

基于子图策略的选择性分类器集成算法

为了去除集成学习中的冗余个体,提出了一种基于子图选择个体的分类器集成算法。训练出一批分类器,利用个体以及个体间的差异性构造出一个带权的完全无向图;利用子图方法选择部分差异性大的个体参与集成。通过使用支持向量机作为基学习器,在多个分类数据集上进行了实验研究,并且与常用的集成方法Bagging和Adaboost进行了比较,结果该方法获得了较好的集成效果。     

A learning architecture based on reinforcement learning for adaptive control of the walking machine LAURON

The learning of complex control behaviour of autonomous mobile robots is one of the actual research topics. In this article an intelligent control architecture is presented which integrates learning methods and available domain knowledge. This control architecture is based on Reinforcement Learning and allows continuous input and output parameters, hierarchical learning, multiple goals, self-organized topology of the used networks and online learning. As a testbed this architecture is applied to the six-legged walking machine LAURON to learn leg control and leg coordination.     

一种新的变学习速率自适应独立分量分析算法

学习速率的优选问题是自适应ICA算法中一个重要问题。论文建立了学习速率与相依性测度之间的一种非线性函数关系,以此为基础提出了一种新的变学习速率的自适应ICA算法,并且分析了参数a,b的取值原则及对算法收敛性能和稳态性能的影响。该算法能根据相依性测度所反映的信号分离的状态自适应地调节学习速率,克服了传统算法在稳态阶段步长调整过程中的不足。理论分析和计算机仿真结果都验证了算法的收敛性能和稳态性能。