自适应乘子在工程优化问题中的应用

在增广Lagrange乘子函数和协作进化算法的基础上，采用自适应策略来解决工程优化问题。其中存在两组相互作用的进货种群A和B，A利用B的反馈信息来评价A中乘子个体的优劣，进而进化A中乘子个体；B则利用A中乘子个体来动态进化原问题的候选解个体。在算法迭代过程中，罚因子是确定性逐渐增大，以使算法逐渐收敛；A中乘子个体则朝其最优值的方向进化，且由B可得到原问题的最优解。与基于静态和动态罚函数的GAs相比，该算法准确度和鲁棒性较高，易于实现，并适合并行化计算。     

一种基于交替方向乘子法改进的模型预测控制方法

模型预测控制能够有效处理实际应用中的扰动、多控制变量和复杂约束,因此被广泛应用于各种大规模控制问题.然而,在处理基于复杂线性时不变系统的模型预测控制问题时,传统的二次规划算法存在计算负载过大,实时性差的缺点.为此,本文引入交替方向乘子法对模型预测控制问题进行分布式地求解.仿真实验结果表明,基于交替方向乘子法的模型预测控制相较传统的方法,计算效率明显提高,更适于求解大规模优化控制问题.     

一种基于ADMM的非光滑损失在线优化算法

交替方向乘子法（ADMM）在机器学习问题研究中已有一些高效的实际应用,但为了适应大规模数据的处理和求解非光滑损失凸优化问题,文中提出对原ADMM进行改进,得到了损失函数线性化的ADMM的在线优化算法。该在线算法相较原算法具有操作简单、计算高效等特点。通过详尽的理论分析,文中证明了新在线算法的收敛性,并得到其在一般凸条件下具有目前最优的Regret界以及随机收敛速度。最后在与当今流行在线算法的对比实验中验证了新在线算法的高效可行性。     

全变差图像恢复的交替方向乘子法

针对图像恢复的全变差（TV）模型提出了一种基于交替方向乘子法的快速求解算法。通过变量替换将TV模型转化为与之完全等价的等式约束优化问题,然后用交替方向乘子法求解等式约束优化问题。实验结果表明,相对于FTVd方法,克服了FTVd方法的不稳定性,视觉效果更好,信噪比也得到了提高。     

麦克风阵列鲁棒频率不变波束形成算法

在实际应用中,频率不变波束形成器通常受到麦克风阵列失配误差的影响,因此提高频率不变波束形成器的鲁棒性具有重要意义。针对上述问题提出了一种约束优化模型,可以在保持频率不变波束形成的同时提高阵列的鲁棒性。首先设计目标波束图,考虑到差分麦克风阵列本身具有频率不变的波束图,选用传统二阶超心型差分麦克风波束图做为目标波束图。上述模型以麦克风阵列权矢量的二范数作为目标函数来最大化鲁棒性,在无失真约束,目标波束主瓣逼近约束以及旁瓣增益精准控制约束下实现频率不变。然后在交替方向乘子法算法框架下,将优化问题分解为多个优化子问题求解,然后对每个优化子问题分别求解,通过仿真验证了在交替方向乘子法算法下上述模型的可行性与有效性,最终达到了麦克风阵列鲁棒频率不变波束响应的效果。     

改进交替方向乘子法求解冷水机组负荷分配群智能优化问题

群智能控制系统中的多台冷水机组负荷优化分配问题是一个多块优化问题,传统分布式方法难以获得其收敛解.文中将交替方向乘子法(ADMM)引入冷水机组负荷分配群智能优化问题中,并通过一种有效的高斯罚函数(GPF)更新策略改进了交替方向乘子法收敛特性.同时,建立了一种基于ADMM–GPF–GBS双层分布式计算框架的冷水机组负荷优化分配模型,该模型仅利用相邻节点间的局部信息传递,即可求解得出最优运行策略.最后,通过两个典型算例对比分析了所提优化方法的有效性,并在实际硬件系统中进一步对该算法进行应用与验证.结果表明,所提算法适用于群智能控制系统下的多台冷水机组系统,且具有比传统分布式算法更好的寻优能力和收敛性,可以取得显著的节能效果.     

鉴别性非负表示分类及其在人脸识别中的应用

非负表示分类器在人脸识别算法中有着突出的表现，但是各类别表示之间存在相关性，这对分类不利。为了解决这一问题，提出了基于鉴别性非负表示的人脸识别算法。在非负约束的基础上，添加正则项，减少类别间相关性；利用交替方向乘子法对变量进行优化；最后将测试样本划分在最小重构误差所对应的类别中。在4个数据集上的实验结果表明，提出的基于鉴别性非负表示的分类识别算法在分类识别精度上超过其他对比算法。     

分布式在线交替方向乘子法

针对如何对分布式网络采集的数据进行在线学习的问题,提出了一种基于交替方向乘子法(ADMM)的分布式在线学习优化算法--分布式在线交替方向乘子法(DOM)。首先,针对分布式在线学习需要各节点根据新采集的数据来更新本地估计,同时保持网络中所有节点的估计趋于一致这一问题,建立了数学模型并设计DOM算法对其进行求解。其次,针对分布式在线学习问题定义了Regret 界,用以表征在线估计的性能;证明了当本地即时损失函数是凸函数时,DOM算法是收敛的,并给出了其收敛速度。最后,通过数值仿真实验结果表明,相比现有的分布式在线梯度下降法(DOGD)和分布式在线自主学习算法(DAOL),所提出的DOM算法具有更快的收敛性能。     

基于交替方向乘子法的非光滑损失坐标优化算法

交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。     

求解约束优化问题的改进型免疫算法

为了提高免疫算法求解约束优化问题的性能,给出了一种融合乘子法的免疫算法。设计了乘子法对约束条件的转换过程,给出了基于实数编码的克隆变异算子、浓度抑制算子和免疫算法框架,并对标准测试函数进行了实验验证。实验结果表明,该算法优于文献算法,具有较好的应用价值。     

基于压缩传感的小电流接地故障选线方法

为了解决小电流接地故障选线中信号的采样、传输和存储问题,提出了一种基于压缩传感的小电流接地故障选线方法。该方法不用考虑奈奎斯特采样频率的限制,实现了对故障信号的低频采样。采样信号是有选择性的部分信号,通过设计重构算法来准确恢复原始信号。考虑到一般条件下信号稀疏度不确定性,采用一种交替乘子方向法(ADMM)来重构稀疏度不确定的信号。通过采用快速傅里叶变换矩阵与高斯随机矩阵,并和交替乘子方向法相结合,能够很好地实现信号压缩重构。仿真结果表明,在信号稀疏度不确定的情况下,该算法重构信号效果较好,可以在实际工程中大量推广。     

基于变量分离和交替最小化的图像修复

提出变量分离和交替最小化相结合解决l1正则优化问题,并用于非纹理图像的修复。基于变量分离技术,该算法将目标函数的l1成分和l2成分解耦,l1正则优化问题简化为一系列非约束优化问题。除了交替最小化迭代地求解这些非约束优化问题,还引入投影法加快和简化求解过程。实验在有噪声和无噪声的情况下,用提出的算法对信息丢失30%的图像进行修复。实验结果表明：该算法可有效解决包括图像修复在内的一系列图像复原问题;与某些同类算法相比,在修复速度和修复效果方面均具有优势。     

Lasso问题的最新算法研究

随着大规模数据的增加,解决Lasso问题成为一个新的热点,以往的方法很难满足大数据背景下的时间和效率问题。为了解决大规模数据及高维数据而带来的计算和储存的困难,本文从三个方面分析最新的算法,即一阶方法、随机方法及并行和分布计算。本文介绍和分析了解决最小收缩和选择算子(Least absolute shrinkage and selection operator,Lasso)问题的最新算法:梯度下降方法、交替方向乘子法(Alternating direction method of multipliers,ADMM)和坐标下降方法。其中梯度下降结合一阶方法和Nesterov的加速和光滑技术;交替方向乘子方法将随机方法融入在最新的算法中;坐标下降方法利用其坐标系的特点结合一阶方法、随机方法和并行和分布计算,本文分别从原始目标函数和对偶目标函数的角度对算法进行分析和研究。     

自适应乘子在工程优化问题中的应用

在增广Lagrange乘子函数和协作进化算法的基础上,采用自适应策略来解决工程优化问题.其中存在两组相互作用的进化种群A和B,A利用B的反馈信息来评价A中乘子个体的优劣,进而进化A中乘子个体;B则利用A中乘子个体来动态进化原问题的候选解个体.在算法迭代过程中,罚因子是确定性逐渐增大,以使算法逐渐收敛;A中乘子个体则朝其最优值的方向进化,且由B可得到原问题的最优解.与基于静态和动态罚函数的GAs相比,该算法准确度和鲁棒性较高,易于实现,并适合并行化计算.     

基于稀疏表示的相关滤波目标跟踪算法

针对相关滤波跟踪算法在目标形变、背景干扰等复杂场景下，易受干扰特征影响导致跟踪失败的问题，提出了基于稀疏表示的相关滤波目标跟踪算法。该算法将稀疏表示与相关滤波相结合，在目标函数中引入L1范数惩罚项，使训练出的相关滤波器只含有目标的关键特征，同时根据相关滤波系数的空间位置为其分配不同的惩罚参数，并采用交替方向乘子法（alternating direction method of multipliers,ADMM）求解相关滤波器。实验结果表明：该算法在三个常用数据集上，与五种相关滤波跟踪算法相比，具有最高的精确度和成功率，且对复杂场景中的干扰特征具有良好的鲁棒性，同时能够满足目标跟踪实时性的要求。     

基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法

非盲图像去模糊问题是从已知核的带噪声的线性卷积变换中恢复原始图像.如果噪声是满足高斯分布的,则可以直接使用最小二乘求解.然而在大多数情况下,去模糊问题都是高度病态的,直接求解无法做到.因此,通常的做法是通过抽取原始图像的已知统计先验信息进行正则化来帮助求解问题.两种常用的正则化是低秩和全变分.早期的相关工作单独使用这两种正则化.直到几年前,人们才考虑将这两种正则化结合起来.已有的结果表明,混合正则化模型比单一模型具有更好的性能.然而,目前的混合正则化方法只是采用凸方法,非凸的工作仍然是空白的.考虑到非凸正则化在很多种情况下都比凸正则化的效果要好,因此本文使用L1/2范数和Schatten-1/2范数提出了一种新的非凸混合模型.我们使用这两个非凸函数,因为它们的近端算子很容易计算.这种非凸混合正则化模型本质上是一个非凸线性约束问题,可以通过交替方向乘子法求解.然而,非凸性使得交替方向乘子法收敛十分困难.因此,我们转向求解原问题的惩罚问题.将交替最小化方法应用于惩罚问题就可以得到提出的算法,其中每个子步骤只涉及非常简单的计算.由于惩罚参数很大时,交替极小化算法速度会很慢,为了加速算法,针对惩罚参数我们使用了预热技术,即选取很小的初值但是在迭代过程中不断将参数增大.我们证明了该算法的收敛性.数值实验验证了本文提出的模型和算法的有效性.在非常温和的假设下,我们证明了算法的收敛性.数值实验验证了本文提出的模型和算法的有效性.     

求解多集分裂可行问题的一种共轭梯度法

基于求解多集分裂可行问题与非线性最优化问题的等价性,考虑Jinling Zhao and Qingzhi Yang在[1]中提出的求解SFP的共轭梯度法和Censor等在[2]中提出的梯度投影法,尝试运用共轭梯度法求解多集分裂可行问题;并且证明了所构造算法的收敛性．提出的新算法克NT求矩阵逆的缺点．初步的数值结果表明新算法对于不同的问题都能够有较快的收敛速度,具有良好的稳定性和可行性,在问题维数增大时表现得越发明显．     

解线性互补问题的并行交替迭代算法

运用交替迭代算法与并行计算,提出了求解线性互补问题的并行交替迭代算法．当矩阵的多重分裂分别为第一类弱正则多重分裂、第二类弱正则多重分裂以及P-正则多重分裂时证明了算法的全局收敛性．该算法具有计算量小、计算速度快、并行计算等特点,因而特别适于求解大规模问题．数值结果表明,该算法是十分有效的．     

基于Schatten-p范数和特征自表示的无监督特征选择

特征选择是去除不相关和冗余特征,找到具有良好泛化能力的原始特征的紧凑表示,同时,数据中含有的噪声和离群点会使学习获得的系数矩阵的秩变大,使得算法无法捕捉到高维数据中真实的低秩结构。因此,利用Schatten-p范数逼近秩最小化问题和特征自表示重构无监督特征选择问题中的系数矩阵,建立一个基于Schatten-p范数和特征自表示的无监督特征选择（SPSR）算法,并使用增广拉格朗日乘子法和交替方向法乘子法框架进行求解。最后在6个公开数据集上与经典无监督特征选择算法进行实验比较,SPSR算法的聚类精度更高,可以有效地识别代表性特征子集。     

图像上梯度相关的优化问题快速算法

针对图像处理中目标函数为对图像梯度的约束,形式为正则项与保真项之和的优化问题,提出了一种对该优化问题的变形形式,并给出了基于交替方向乘子法(alternatingdirectionmethodofmultipliers,ADMM)的优化算法进行求解.在约束条件下采用每个图像中的最小单元上的分段式,使得在每步迭代中的每个子问题可以分化为在每个最小单元上的二元优化问题,从而可直接获得优化问题的最优解.所提出的优化形式与优化算法可以控制每步迭代的时间复杂度在O(N),其中N为优化问题在该图像区域中最小单元的个数,还可进一步根据图像的分割进行并行化.文中给出了2个图像上比较经典的优化问题:L0模优化问题和Poisson图像编辑的优化算法.与现有的基于迭代算法相比,文中算法在达到相似结果的同时,可具有更快计算速度与更小的内存消耗.