多个体网络分布式随机投影无梯度优化算法

研究了有向多个体网络的无梯度优化问题,提出了一种分布式随机投影无梯度优化算法。假定网络的优化目标函数可分解成所有个体的目标函数之和,每个个体仅知其自身的目标函数及其自身的状态约束集。运用无梯度方法解决了因个体目标函数可能非凸而引起的次梯度无法计算问题,并结合随机投影算法解决了约束集未知或约束集投影运算受限的问题。在该算法作用下,所有个体状态几乎必然收敛到优化集内,并且网络目标函数得到最优。     

梯度有偏随机DA优化方法的个体收敛界分析

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度。     

网络最大流问题求解的符号ADD增广路径算法

本文通过对网络及网络最大流问题的符号代数判定图（ADD）描述,将网络中的结点和边用ADD隐式表示,并利用Gabow的容量变尺度算法的主要思想,将一般网络最大流问题化为一系列的单位容量网络最大流问题,结合Hachtel等的单位容量网络最大流问题的求解算法,给出了网络最大流问题求解的符号ADD增广路径算法,简称为符号ADD算法.与Dinic算法、Karzanov算法相比,本文算法的空间复杂度得到了改善.实验结果表明,本文算法是切实有效的,且可处理更大规模的问题.     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

分布式训练系统及其优化算法综述

人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向.     

变尺度混沌算法的BP网络优化*

采用变尺度混沌优化方法代替梯度下降法融入BP神经网络,在优化搜索过程中不断缩小搜索空间,克服了标准BP算法易陷入局部极小的缺点,能有效地寻找到BP神经网络权值的全局最优值。此外,进一步提出变尺度混沌优化与梯度下降法有机结合的算法,能有效缩短单一的变尺度混沌优化BP算法的训练时间。仿真结果表明,改进的BP神经网络具有实现简单、寻优性强和优化效率高等特点。     

基于粒子群优化的BP网络学习算法

本文提出一种新颖的基于粒子群优化的BP网络学习算法，该算法是一种全局随机优化算法。用Iris分类问题，将所提出的算法与BP算法作了对比实验。实验结果表明：所提出的算法性能优于BP算法，而且具有良好的收敛性。     

工业过程稳态随机优化理论研究与算法

本文对工业过程稳态优化问题在有有随机噪声的情况下进行理论上的研究，提出了随机系统稳态的概念和随机稳态优化的最优解的概念，并且提出一种基于方差分析的二次近拟次优算法。证明了该算法的最优性和收敛性。仿真验证了该算法比原有方法更有效。     

随机优化算法的基本数学原理与实践

试图探究随机优化算法的有效性,即收敛性存在背后的原理,据原理构造出两个随机优化算法。随机优化算法是对生物的一种模拟,用于解决函数或者策略的寻优问题。证明了随机优化算法要取得全局收敛所需的条件,并通过仿真验证了提出的两个随机优化算法的有效性。     

Two stochastic optimization algorithms for convex optimization with fixed point constraints

Two optimization algorithms are proposed for solving a stochastic programming problem for which the objective function is given in the form of the expectation of convex functions and the constraint set is defined by the intersection of fixed point sets of nonexpansive mappings in a real Hilbert space. This setting of fixed point constraints enables consideration of the case in which the projection onto each of the constraint sets cannot be computed efficiently. Both algorithms use a convex function and a nonexpansive mapping determined by a certain probabilistic process at each iteration. One algorithm blends a stochastic gradient method with the Halpern fixed point algorithm. The other is based on a stochastic proximal point algorithm and the Halpern fixed point algorithm; it can be applied to nonsmooth convex optimization. Convergence analysis showed that, under certain assumptions, any weak sequential cluster point of the sequence generated by either algorithm almost surely belongs to the solution set of the problem. Convergence rate analysis illustrated their efficiency, and the numerical results of convex optimization over fixed point sets demonstrated their effectiveness.     

基于二次优化的随机优化算法结果的改进

统计研究发现,随机优化算法多次运行后的优化结果满足正态分布,且期望值更接近最优解。为此,提出一种基于统计学理论并结合牛顿法的二次优化方法来改进随机优化算法的求解结果,以克服将多次优化结果的平均值作为最优解时不能满足精度要求的缺陷。以遗传算法对4个经典测试函数的多次优化为例,分别运用平均法和二次优化法来综合其优化结果。多次实验表明,二次优化法在处理多次随机运行结果时,比平均法精度更高、稳定性更好。     

随机优化问题基于假设检验的遗传算法

为了有效解决具有不确定性和多极小性的随机优化问题 ,提出了一类基于假设检验的遗传算法 .该方法通过多次评价来进行解性能的合理估计 ,利用遗传操作来进行解空间的有效搜索 ,采用假设检验来增加种群的多样性和算法的探索能力 ,从而避免遗传算法的早熟收敛 .基于典型的随机函数优化和组合优化问题 ,仿真研究了假设检验、性能估计次数、噪声幅度对算法性能的影响 ,验证了所提方法的有效性和鲁棒性     

基于蚁群算法的带平衡约束矩形布局问题的启发式求解

以卫星舱布局问题作为研究背景,求解了带平衡约束的矩形布局问题。采用启发式策略设计了分区域分步布局法,该策略将圆形卫星舱承重板分成4个区域,分区域同步进行布局。当所布矩形和区域都确定时,采用最左最底填充策略进行布局。该方法通过不干涉约束,使布局紧凑,通过控制系统质心的位置,使系统保持平衡。在启发式策略的基础上,设计了蚁群算法搜索优化定位次序,从而得到优化的布局。数值仿真结果表明,该布局方法具有优良的计算性能。     

蚁群优化算法在求解随机组合优化问题中的应用综述*

不确定条件下的优化问题更贴近真实世界环境,因而日益受到广泛关注。综述了蚁群优化在求解一组不确定条件下的组合优化问题,即随机组合优化问题方面的应用。首先介绍了不确定条件下组合优化问题的概念分类模型,给出了随机组合优化问题的一般定义;然后指出了其与求解传统确定性组合优化问题的不同之处,即目标函数的计算存在不确定性,并详细论述了目前解决方法的进展;最后分析了该领域值得重点关注的几个研究方向,并对其未来发展进行了展望。     

A stochastic dual dynamic programming method for two-stage distributionally robust optimization problems

This paper studies a class of two-stage distributionally robust optimization (TDRO) problems which comes from many practical application fields. In order to set up some implementable solution method, we first transfer the TDRO problem to its equivalent robust counterpart (RC) by the duality theorem of optimization. The RC reformulation of TDRO is a semi-infinite stochastic programming. Then we construct a conditional value-at-risk-based sample average approximation model for the RC problem. Furthermore, we analyse the error bound of the approximation model and obtain the convergent results with respect to optimal value and optimal solution set. Finally, a so-called stochastic dual dynamic programming approach is proposed to solve the approximate model. Numerical results validate the solution approach of this paper.     

随机仿真优化的一类遗传序优化框架

针对仿真优化问题存在随机性、计算费时、解空间巨大、多极小等难点,结合遗传算法的并行遗传搜索、最优计算量分配以及序优化的目标软化和序比较思想提出一类遗传序优化框架,进而讨论了该方法的收敛性和具体实施问题,最后指出了进一步的研究内容.     

全局优化的神经网络方法

提出了一种解全局优化问题的神经网络模型, 并分析了该模型的收敛性与可行性. 然后, 给出了一个算法, 严格地证明了该算法对优化问题的任意给定的初始点, 都能收敛到它的一个全局极小点. 最后的仿真结果表明, 该算法是有效的.     

Performance analysis of stochastic gradient algorithms under weak conditions

By using the stochastic martingale theory, convergence properties of stochastic gradient （SG） identification algorithms are studied under weak conditions. The analysis indicates that the parameter estimates by the SG algorithms consistently converge to the true parameters, as long as the information vector is persistently exciting （i.e., the data product moment matrix has a bounded condition number） and that the process noises are zero mean and uncorrelated. These results remove the strict assumptions, made in existing references, that the noise variances and high-order moments exist, and the processes are stationary and ergodic and the strong persis- tent excitation condition holds. This contribution greatly relaxes the convergence conditions of stochastic gradient algorithms. The simulation results with bounded and unbounded noise variances confirm the convergence conclusions proposed.     

基于不确定知识的粒子群优化算法

针对标准粒子群优化算法（PSO）速度更新方程存在随机参数,使得粒予扶取知识存在不完备性的问题,将不确定知识引入PSO算法中,并对个体知识、群体知识和不确定知识随机参数进行了归一化,保证算法在每一步演化中都能获得完备知识．理论分析给出了PSO—UK算法局部收敛参数条件,并证明了其具有全局优化性能．经典测试函数实验表明,所提出的PSO－UK算法具有全局搜索能力,且局部收敛精度明显优于PSO算法．