基于分块矩阵的投影型神经网络收敛性分析*

投影神经网络算法被誉为最有希望解决优化问题的算法之一,可用于求解优化问题的前提是它应具有全局收敛性。根据凸二次规划约束条件的特点,利用常微分方程理论、M-矩阵理论,通过构造适当的Lyapunov函数,获得了该网络求解一类凸二次规划问题的全局指数收敛性条件,该条件只与神经元连接权矩阵的部分元素有关,其比现有文献所得的收敛条件更弱。最后给出一组实例,说明该网络计算上是可行和有效的。     

梯度神经网络解线性矩阵方程之收敛性分析

为了求解线性矩阵方程问题,应用一种基于负梯度法的递归神经网络模型,并探讨了该递归神经网络实时求解线性矩阵方程的全局指数收敛问题.在讨论渐近收敛性基础上,进一步证明了该类神经网络在系数矩阵满足有解条件的情况下具有全局指数收敛性,在不能满足有解条件的情况下具有全局稳定性.计算机仿真结果证实了相关理论分析和该网络实时求解线性矩阵方程的有效性.     

基于线性约束规划问题的神经网络模型

提出了一种基于梯度投影矩阵下的求解线性约束下规划问题的神经网络模型，并导出了线性约束下规划问题的稳定解法，该网络模型既适合于求解线性约束下线性或非二次规划问题，又适合于求解线性或非线性方程组，与其它规划问题的神经网络相比，更具有一般性。     

NOMA网络中考虑回程约束的联合资源分配算法

针对应用非正交多址接入（NOMA）技术的异构蜂窝网络,提出了一种具有回程容量约束的能效最大化的功率和带宽分配算法。首先,考虑小蜂窝发射功率约束、小蜂窝速率约束和回程链路容量约束,构建了功率和带宽分配模型。然后,对于功率分配,利用凸差（DC）规划和函数的拟凹性将原问题转换为等价的凸问题,并使用凸差迭代法和二分法求得全局最优解;对于回程链路带宽分配,将其转换为可行性问题并给出了解析解。仿真结果显示,该方案的能量效率高于相同场景中的已有方案。     

基于免疫进化规划的多胆馈网络设计

章用一种免疫进化规划来设计多层前馈神经网络．该免疫进化规划在保留传统进化规划的随机全局搜索能力的能力的基础上,引进生物免疫中抗体通过浓度相互作用的机制和多样性保持机制．免疫进化规划的全局收敛性更优,并且具有很强的自适应环境的能力．实验结果验证了免疫进化规划在设计神经网络时的高效能．     

非凸稳态优化控制新方法——双迭代法

本文针对带有输出关联不等式约束的非凸稳态优化控制问题，提出了一种新的双迭代算法，虎法具有全局单调收敛性，应用条件较弱。最后的仿真结果也说明了该算法的有效性。     

一种线性约束规划问题的神经网络模型及其应用

提出了一种基于梯度投影矩阵下的求解线性约束下规划问题的神经网络。针对解的稳定性问题,导出了该网络相关参数之间的关系。由文中定义可知,该网络不但适合于求解线性约束下线性或非二次规划问题,而且也用于求解线性或非线性方程组问题,比其它规划问题的神经网络方法更具有一般性。     

全局优化的神经网络方法

提出了一种解全局优化问题的神经网络模型, 并分析了该模型的收敛性与可行性. 然后, 给出了一个算法, 严格地证明了该算法对优化问题的任意给定的初始点, 都能收敛到它的一个全局极小点. 最后的仿真结果表明, 该算法是有效的.     

基于约束区域神经网络的动态遗传算法

提出一种基于约束区域神经网络的动态遗传算法,将遗传算法的全局搜索和约束区域神经网络模型的局部搜索结合了起来.利用动态遗传算法确定神经网络模型的初始点,同时使用神经网络确定动态遗传算法的适应度函数.该算法具有一定的理论意义和生物意义.与标准的遗传算法相比,缩小了搜索规模,可获得不定二次规划问题更好的近似最优解.     

一种多维连续型动态规划的新算法

在求解一维连续型动态规划问题的自创算法一离散近似迭代法的基础上,结合双收敛方法,对多维连续型动态规划问题进行计算．该算法的基本思路为：在给定其他状态向量序列的基础上,每次对一个状态变量序列进行离散近似迭代,并找出该状态变量的最优序列,直到所有状态向量序列都检查完,当模型为非凸非凹动态规划时,证明了该算法的收敛性;当模型为凸动态规划时,证明了该算法的线性收敛性,最后,通过具体算例验证了该模型和算法的有效性．     

Global exponential stability of recurrent neural networks forsolving optimization and related problems

Global exponential stability is a desirable property for dynamic systems. The paper studies the global exponential stability of several existing recurrent neural networks for solving linear programming problems, convex programming problems with interval constraints, convex programming problems with nonlinear constraints, and monotone variational inequalities. In contrast to the existing results on global exponential stability, the present results do not require additional conditions on the weight matrices of recurrent neural networks and improve some existing conditions for global exponential stability. Therefore, the stability results in the paper further demonstrate the superior convergence properties of the existing neural networks for optimization.     

Projection type neural network and its convergence analysis

Projection type neural network for optimization problems has advantages over other networks for fewer parameters , low searching space dimension and simple structure. In this paper, by properly constructing a Lyapunov energy function, we have proven the global convergence of this network when being used to optimize a continuously differentiable convex function defined on a closed convex set. The result settles the extensive applicability of the network. Several numerical examples are given to verify the efficiency of the network.     

基于AdaBelief的Heavy-Ball动量方法

同时使用动量和自适应步长技巧的自适应矩估计(Adaptive Moment Estimation,Adam)型算法广泛应用于深度学习中.针对此方法不能同时在理论和实验上达到最优这一问题,文中结合AdaBelief灵活调整步长提高实验性能的技巧,以及仅采用指数移动平均(Exponential Moving Average,EMA)策略调整步长的Heavy-Ball动量方法加速收敛的优点,提出基于AdaBelief的Heavy-Ball动量方法.借鉴AdaBelief和Heavy-Ball动量方法收敛性分析的技巧,巧妙选取时变步长、动量系数,并利用添加动量项和自适应矩阵的方法,证明文中方法对于非光滑一般凸优化问题具有最优的个体收敛速率.最后,在凸优化问题和深度神经网络上的实验验证理论分析的正确性,并且证实文中方法可在理论上达到最优收敛性的同时提高性能.     

Maximizing for the sum of ratios of two convex functions over a convex set

This paper presents an algorithm for globally maximizing a sum of convex–convex ratios problem with a convex feasible region, which does not require involving all the functions to be differentiable and requires that their sub-gradients can be calculated efficiently. To our knowledge, little progress has been made for globally solving this problem so far. The algorithm uses a branch and bound scheme in which the main computational effort involves solving a sequence of linear programming subproblems. Because of these properties, the algorithm offers a potentially attractive means for globally solving the sum of convex–convex ratios problem over a convex feasible region. It has been proved that the algorithm possesses global convergence. Finally, the numerical experiments are given to show the feasibility of the proposed algorithm.     

Projection type neural network and its convergence analysis

Projection type neural network for optimization problems has advantages over other networks for fewer parameters , low searching space dimension and simple structure. In this paper, by properly constructing a Lyapunov energy function, we have proven the global convergence of this network when being used to optimize a continuously differentiable convex function defined on a closed convex set. The result settles the extensive applicability of the network. Several numerical examples are given to verify the efficiency of the network.     

Subgradient-based feedback neural networks for non-differentiable convex optimization problems

1 Introduction Optimization problems arise in a broad variety of scientific and engineering applica- tions. For many practice engineering applications problems, the real-time solutions of optimization problems are mostly required. One possible and very pr…     

混合改进策略的黑猩猩优化算法及其机械应用

针对黑猩猩优化算法存在易陷入局部最优、收敛速度慢、寻优精度低等缺陷,提出混合改进策略的黑猩猩优化算法(SLWChOA).首先,利用Sobol序列初始化种群,增加种群的随机性和多样性,为算法全局寻优奠定基础;其次,引入基于凸透镜成像的反向学习策略,将其应用到当前最优个体上产生新的个体,提高算法的收敛精度和速度;同时,将水波动态自适应因子添加到攻击者位置更新处,增强算法跳出局部最优的能力;最后,通过10个基准测试函数、Wilcoxon秩和检验以及部分CEC2014函数进行仿真实验来评价改进算法的寻优性能,实验结果表明,所提算法在寻优精度、收敛速度和鲁棒性上均较对比算法有较大提升.另外,通过一个机械优化设计实验进行测试分析,进一步验证了SLWChOA的可行性和适用性.     

基于事件触发的分布式优化算法

本文研究了一类分布式优化问题,其目标是通过局部信息交换使由局部成本函数之和构成的全局成本函数最小.针对无向连通图,我们提出了两种基于比例积分策略的分布式优化算法.在局部成本函数可微且凸的条件下,证明了所提算法渐近收敛到全局最小值点.更进一步,在局部成本函数具有局部Lipschitz梯度和全局成本函数关于全局最小值点是有...     

From convex feasibility to convex constrained optimization using block action projection methods and underrelaxation

We describe the evolution of projection methods for solving convex feasibility problems to optimization methods when inconsistency arises, finally deriving from them, in a natural way, a general block method for convex constrained optimization. We present convergence results.