基于改进增广拉格朗日乘子法的鲁棒性主成分分析

针对增广的拉格朗日乘子法在求解鲁棒性主成分分析,特别是当数据同时受到稀疏噪声和高斯噪声的干扰时,计算精度会降低,数据降维去噪任务不能很好完成的情况,提出改进的增广拉格朗日乘子法来解决上述问题.一是用基于最优乘子初始化的改进增广拉格朗日乘子法来提高算法的计算精度,二是针对鲁棒性主成分分析,提出一个带高斯噪声的凸优化模型.实验结果表明,本文提出的最优乘子初始化改进算法赋予增广的拉格朗日乘子法一个最优的拉格朗日乘子,从而提高算法的计算精度,而凸优化模型能够清晰地将高斯噪声和稀疏噪声从数据矩阵中分离出去,进而提高数据对高斯噪声的鲁棒性.     

关于乘子法的一种新算法

本文提出了关于增广乘子法的一种新算法,该算法是在Spedicato,G,D piuo and Grippo工作的基础上改进而成,属于对角化拟牛顿乘子法,文中给出了算法的迭代步骤、算法的有效性和稳定性的全部证明,並证明了算法收敛的速率是超线性的。此文发表于:《运筹学杂志》1984年第三卷第2期     

增广乘子法的发展与现状

采用增广乘子法求解非线性约束极值问题,目前普遍被人们誉为是最好的方法之一。本文仅就增广乘子法近年来国外的一些工作及算法发展现状加以综合介绍。     

增广乘子法的发展与现状

“增广乘子法”是目前求解约束极值问题的最好算法之一。对该算法的讨论国外十分活跃,本文是将我们所搜集到的,截止1982年底国外有关“增广乘子法”的讨论做一综合论述,供从事这方面工作的同志参考。此文发表于:《哈尔滨科技大学学报》1984年第2期     

一类等式约束下的凸二次规划的共轭梯度算法

提出了等式约束下凸二次规划问题的新算法.该算法利用增广Lagrange函数将该约束问题转化为无约束问题,保留了共轭梯度法和乘子法的优点,避免了其他算法中对初始点的苛刻要求,也不需要计算二阶导数.数值算例表明,该算法是可行有效的.     

混合人工鱼群算法在约束非线性优化中的应用

为了解决具有约束的非线性优化问题,本文将增广拉格朗日乘子法和鱼群算法相结合用于非线性问题的全局优化,即用人工鱼群算法寻找增广拉格朗日函数的近似最优解,并将该近似解用于拉格朗日乘子和惩罚因子等参数的更新．同时,简要分析了人工鱼群算法的随机收敛性．仿真结果证明,与自适应惩罚遗传算法相比,该混合算法在解决约束优化问题中具有优越性和有效性．     

不等式约束下的广义几何规划的一种有效算法

利用增广拉格朗日方法、牛顿方法,给出了不等式约束下的广义几何规划的一类有效算法.该算法是对A.GONEN 和 M.AVRIEL提出的算法的推广,它把不等式约束转化为等式约束,再利用乘子罚函数法得到此算法.最后在适当条件下证明了该算法的收敛性.     

一种基于非均匀惩罚因子的序列无约束最优化外点新算法

增广拉格朗日乘子方法（Augmented Lagrange multiplier method）是拉格朗日乘子方法（Lagrange multiplier method）的推广,它是一种序列无约束的最小化技术,包括内点法和外点法,内点法适用于仅有不等式约束的情形,其主要思想是对违背可行性的约束给予一个惩罚。传统的做法是：对所有约束以相同的罚因子,自适应调整Lagrange乘子。提出了一种非均匀惩罚的自适应更新罚因子的方法,即根据近似解对约束违反的严重程度施行不同惩罚的新方法。算例表明,本方法是有效的。     

基于Lagrange乘子法的一种新型改进粒子群优化算法

社会和生产实践中抽象出来的模型一般为非线性约束优化,而约束优化一般很难直接求解.首先,我们通过引进增广lagrange乘子法,将约束优化转化为有界约束优化,然后引入粒子群优化算法来进行求解,并且我们提出来一种嵌入了最速下降法的改进粒子群优化算法,以此来解决标准粒子群算法中收敛速度慢和精度低的问题,提高了搜索的效率,特别是局部搜索的效率.改进算法有效地结合了粒子群优化算法比较强的全局搜索能力和最速下降法的精细快速的局部搜索能力,相比于标准粒子群优化算法,克服了收敛速度慢的特点.数值实验表明,通过改进的粒子群优化算法可以找到所求优化问题的全局最优解.     

基于神经网络的任意延迟M带小波设计

为了获得频率选择性更好的M带小波,提出了一种任意延时的M带余弦调制小波的优化设计方法.基于完全重构滤波器理论,通过修改系统延时参数,可以设计不同的M带双正交或正交小波.对化简为二次型的目标函数和约束条件进行参数设计时,采用增广拉格朗日乘子法将问题等价为无约束的最优化问题,提出了基于离散时间霍普菲尔德神经网络的优化设计结构.神经网络采用最速下降法做迭代运算,降低了算法的复杂度.与现有算法的实验结果相比,所提出的方法实现简单,效率高,而且优化性能更好.     

线性粘弹性弹支多转子系统参数辨识

提出了带线性粘性弹性支承的多转子系统的参数辨识的一种方法，该方法把多转子系统系统看作了复合结构，用动态子结构分析的阻抗匹配法进行动力学计算，用增广拉格郎乘子法对系统特征方程的地列式作迭代计算，获得了系统物理参数的辨识结果。     

基于GPU的高效并行l1最小化算法

多数l1最小化算法主要由稠密矩阵矢量乘(如〖WTHX〗Ax〖WTBZ〗和〖WTHX〗A〖WTBZ〗T〖WTHX〗x〖WTBZ〗)和矢量运算组成.为使其适应大数据环境下的性能需求,基于GPU,利用其新的特征,提出了两个新颖的基于GPU的并行矩阵矢量乘.这两个算法实现了全局内存的合并访问,对任意给定矩阵,通过所使用的自适应分配线程数或warp数的策略,增加了鲁棒性.基于这两个算法,并以两个流行的l1最小化算法为例：快速迭代收缩阈值算法(FISTA)和增广拉格朗日乘子法(ALM),提出了两个高效基于GPU的并行l1最小化算法.实验结果验证了提出的算法是高效的,并有良好的性能.     

空间四杆机构的最优运动综合——增广乘子法及其应用

本文介绍了一种新的约束非线性最优化方法-增广乘子法,并将这种方法应用于空间四杆机构的运动综合.文中例举了实现已知函数RSSR和实现已知轨迹RRSS两种典型机构的最优综合.计算结果表明,只要合理选择并调整罚因子γ与乘子λ,和一般外点罚函数法相比,计算效果明显要好.     

一种改进的K-SVD字典学习算法

提出了一种ALM-KSVD字典学习算法,通过稀疏编码和字典更新两步迭代学习得到训练样本的字典.为了提高字典训练速度与性能,在稀疏编码引入增广拉格朗日乘子法(ALM,Augmented Lagrange Multipliers)求解,更新字典则使用经典K-SVD的字典更新算法.为考察算法的字典训练速度和平均表示误差(RMSE),选取了不同样本数和噪声标准进行数据合成实验,结果表明本文算法比经典的K-SVD算法字典训练速度快、RMSE低.进一步考察算法的图像去噪能力,选取不同的输入图像噪声标准和字典原子数进行仿真,实验结果表明本文算法比经典的K-SVD算法获得更高的峰值信噪比(PSNR),具有良好的去噪性能.     

不同凸交易成本函数下的风险偏好投资组合模型

在原有的含投资者风险偏好参数的投资组合模型的基础上,加入交易成本函数,使模型更具现实意义。交易成本函数的类型有两大类:凸交易成本函数和凹交易成本函数。将各种凸交易成本函数运用于含投资者风险偏好参数的投资组合模型中,运用优化的方法求解新模型。采用拉格朗日乘子法和增广拉格朗日乘子法进行求解,并对模型进行了实例检验。     

基于增广拉格朗日乘子法的大型振动筛动态优化设计

将增广拉格朗日乘子法应用到大型振动筛结构动态优化设计中,通过优化设计法找寻加强筋在振动筛侧板上的最优布置,达到以最少筋板数满足低应力的要求.结果表明:增广拉格朗日乘子法收敛速度快,求解精度高,比优化程序中的罚函数法更适于求解此类问题.优化后的侧板重量降低了0.67%,最大动应力降低了23.17%,横向最大位移减小了18.69%,达到了比较好的优化效果.对优化后振动筛进行动态特性分析,其最大动应力降低了14.46%,横向最大位移减少了25.81%,增加了筛板的刚度,降低了变形,提高了结构的稳定性和可靠性.     

多元伪线性回归系统部分耦合多新息随机梯度类辨识方法

针对多元伪线性滑动平均系统,讨论了多元增广随机梯度算法,为减小算法的计算量,将系统分解为一些子系统,给出了子系统增广随机梯度算法,利用耦合辨识概念和多新息辨识理论,推导了部分耦合(子系统)增广随机梯度算法、部分耦合(子系统)多新息增广随机梯度算法.进一步将提出的方法推广到多元伪线性自回归滑动平均系统,给出了部分耦合(子系统)广义增广随机梯度算法、部分耦合(子系统)多新息广义增广随机梯度算法.文中分析了多元增广随机梯度算法、部分耦合增广随机梯度算法、部分耦合多新息增广随机梯度算法的计算量.     

应用线性Lagrange乘子法推导广义变分原理的泛函

本文应用文[2]所指线性Lagrange乘子法,推导广义变分原理的泛函,消除了Lagrange乘子等于零的现象,表明胡海昌——鹫津原理的泛函是三场独立的泛函.并指出应用文[2]所指Lagrange乘子法时应注意的问题.     

步长优化技术在交直流系统潮流计算中的应用研究

统一迭代法是求解交直流电力系统潮流计算问题的主要方法之一,通过引入步长优化乘子调整迭代过程中的修正量步长,可以获得更好的潮流计算收敛特性。首先给出了在交流潮流计算中得到广泛应用的最优乘子、准最优乘子在交直流潮流计算中的实现方法,之后在准最优乘子基础上提出了混合乘子。为验证应用步长优化乘子后潮流计算算法的有效性,采用修改的中国电力科学研究院22节点、IEEE 118节点和IEEE300节点交直流系统进行了计算分析。数值计算结果表明,分别引入最优乘子、准最优乘子和混合乘子的3种改进算法在潮流可解时的收敛特性均优于常规算法,且在潮流无解时收敛过程均不发散;带混合乘子的改进算法比其它两种在收敛速度、收敛精度和鲁棒性方面更具优势。     

传递函数辨识(25):自回归输出误差自回归滑动平均系统的辅助模型递阶广义增广递推参数估计

利用递阶辨识原理、多新息辨识理论,研究和提出AR-OEARMA系统的辅助模型递阶广义增广随机梯度算法、辅助模型递阶多新息广义增广随机梯度算法、辅助模型递阶广义增广递推梯度算法、辅助模型递阶多新息广义增广递推梯度算法、辅助模型递阶广义增广最小二乘算法、辅助模型递阶多新息广义增广最小二乘算法.这些辅助模型递阶递推辨识方法可...