基于变分的图像恢复算法及收敛性

提出了一种保持边缘的正则化图像恢复算法,该方法可有效地用于求解线性逆问题的 非凸优化过程.通过对正则化函数及相应泛函性质的理论分析,得出了使泛函达到最小的正则 化函数表达式;引入一个与原非凸泛函相应的二元泛函,将非凸优化问题转化为本质上的凸优 化问题,采用松弛迭代算法获得非凸优化问题的局部极小解;证明了所提出的算法是全局收敛 的.通过实验验证了算法的有效性.     

基于L1/2正则化的三维人体姿态重构

针对从给定2D特征点的单目图像中重构对象的3D形状问题,本文在形状空间模型的基础上,结合L_1/2正则化和谱范数的性质提出一种基于L_1/2正则化的凸松弛方法,将形状空间模型的非凸求解问题通过凸松弛方法转化为凸规划问题;在采用ADMM算法对凸规划问题进行优化求解过程中,提出谱范数近端梯度算法保证解的正交性与稀疏性.利用所提的优化方法,基于形状空间模型和3D可变形状模型在卡内基梅隆大学运动捕获数据库上进行3D人体姿态重构,定性和定量对比实验结果表明本文方法均优于现有的优化方法,验证了所提方法的有效性.     

基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法

非盲图像去模糊问题是从已知核的带噪声的线性卷积变换中恢复原始图像.如果噪声是满足高斯分布的,则可以直接使用最小二乘求解.然而在大多数情况下,去模糊问题都是高度病态的,直接求解无法做到.因此,通常的做法是通过抽取原始图像的已知统计先验信息进行正则化来帮助求解问题.两种常用的正则化是低秩和全变分.早期的相关工作单独使用这两种正则化.直到几年前,人们才考虑将这两种正则化结合起来.已有的结果表明,混合正则化模型比单一模型具有更好的性能.然而,目前的混合正则化方法只是采用凸方法,非凸的工作仍然是空白的.考虑到非凸正则化在很多种情况下都比凸正则化的效果要好,因此本文使用L1/2范数和Schatten-1/2范数提出了一种新的非凸混合模型.我们使用这两个非凸函数,因为它们的近端算子很容易计算.这种非凸混合正则化模型本质上是一个非凸线性约束问题,可以通过交替方向乘子法求解.然而,非凸性使得交替方向乘子法收敛十分困难.因此,我们转向求解原问题的惩罚问题.将交替最小化方法应用于惩罚问题就可以得到提出的算法,其中每个子步骤只涉及非常简单的计算.由于惩罚参数很大时,交替极小化算法速度会很慢,为了加速算法,针对惩罚参数我们使用了预热技术,即选取很小的初值但是在迭代过程中不断将参数增大.我们证明了该算法的收敛性.数值实验验证了本文提出的模型和算法的有效性.在非常温和的假设下,我们证明了算法的收敛性.数值实验验证了本文提出的模型和算法的有效性.     

一种具有最优收敛速度的正则化境面下降算法

Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。     

Ll-norm Regularized SVM Clustering Algorithm

提出L1范数正则化支持向量机(SVM)聚类算法.该算法能够同时实现聚类和特征选择功能.给出LI范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题.在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择.     

一种具有O(1/T)收敛速率的稀疏随机算法

随机梯度下降(stochastic gradient descent,SGD)是一种求解大规模优化问题的简单高效方法,近期的研究表明,在求解强凸优化问题时其收敛速率可通过α-suffix平均技巧得到有效的提升.但SGD属于黑箱方法,难以得到正则化优化问题所期望的实际结构效果.另一方面,COMID(composite objective mirror descent)是一种能保证L1正则化结构的稀疏随机算法,但对于强凸优化问题其收敛速率仅为O(logT?T).主要考虑"L1+Hinge"优化问题,首先引入L2强凸项将其转化为强凸优化问题,进而将COMID算法和α-suffix平均技巧结合得到L1MD-α算法.证明了L1MD-α具有O(1?T)的收敛速率,并且获得了比COMID更好的稀疏性.大规模数据库上的实验验证了理论分析的正确性和所提算法的有效性.     

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

求解大规模非凸优化问题的多阶段MM方法

机器学习的主要目的是让计算机系统具有类似于人的学习能力,而数值优化方法对提高其效率,增强其效果有着举足轻重的作用.在L1-SVM优化问题中,可以利用截断Hinge损失剔除过多的支持向量,提高模型的鲁棒性.但却导致了棘手的非凸优化问题.MM(Majorization-Minimization,MM)是一种求解非凸问题的有效框架,主要思想是通过寻找一系列恰当的凸上界,将非凸目标函数转化为一系列凸的子问题进行求解.常用于求解非凸问题的凸凹转化算法(Con-cave-Convex Procedure,CCCP)同属这一框架.论文分析了求解截断L1-SVM问题的CCCP算法具有稀疏支持向量的原因,并在此基础上,利用多阶段策略的优点,提出一种多阶段MM方法,得到了更好的稀疏性.最后在大规模数据集上,进行了实验对比,验证了所提算法的有效性.     

L1正则化机器学习问题求解分析

以稀疏学习为主线,从多阶段、多步骤优化思想的角度出发,对当前流行的L1正则化求解算法进行分类,比较基于次梯度的多步骤方法、基于坐标优化的多阶段方法,以及软L1正则化方法的收敛性能、时空复杂度和解的稀疏程度。分析表明,基于机器学习问题特殊结构的学习算法可以获得较好的稀疏性和较快的收敛速度。     

基于邻近交替线性化的稀疏非负矩阵分解算法

结合稀疏约束与邻近交替线性化(PALM),提出稀疏非负矩阵分解算法(SNMF_PALM)。将非凸的平滑剪切绝对偏差函数作为稀疏正则项,获得逼近L0范数的最佳凸松弛,并利用PALM算法对非凸问题进行求解,得到SNMF_PALM算法的局部稳定最优解。在人脸数据库上将SNMF_PALM算法与SNMF、NMF算法进行实验对比,结果表明SNMF_PALM算法具有更好的聚类性能。     

L1/2正则化Logistic回归

提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.     

含有L1数据保真项的非凸优化脉冲噪声去除模型

随着数字图像处理技术的高速发展,图像恢复被广泛应用于医学领域、军事领域、公共防卫领域及农业气象领域.本文综合TVL1、ROF、STVL1（Squares TVL1）、SHI模型,提出了非凸非光滑关于脉冲噪声去除模型,并使用变量分离技术的ADMM算法对模型进行求解,通常情况下,基于梯度的方法不适合非光滑优化,半二次（half-quadratic）和重权最小二乘算法（IRLS）在零点不可微分情况下不能应用到非光滑函数上,Graduated NonConvexity （GNC） algorithms跟踪非光滑和非凸的最小值沿着一系列近似的非光滑能量函数的势能,需要考虑其计算时间.为了处理模型的非凸非光滑项,本文应用多阶凸松弛方法对模型的子问题进行求解,虽然该方法仅导致原始非凸问题的局部最优解,但该局部解是对初始凸松弛的全局解的改进.此外,因为每个阶段都是凸优化问题,所以该方法在计算上是高效的.利用遗传算法对模型参数进行选择,通过在不同图片及不同噪声上的大量实验表明,该模型的鲁棒性、运行时间和ISNR、PSNR都优于其他三个模型.并且该模型能够保持图像的局部信息具有更好的可视化质量.     

基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪

高光谱图像在采集过程中经常受到混合噪声的干扰,严重影响了图像后续应用的性能,因此图像去噪已成为一个极其重要的预处理过程.文中采用非凸正则项代替传统的核范数重新构造逼近问题,使稀疏正则项更贴近本质秩函数的属性,进而提出了一种将非凸代理函数、全变分正则项和l2,1范数集成于统一框架的混合噪声去除算法.所提算法旨在将退化的高光谱图像以矩阵的形式分解为低秩分量和稀疏项,并利用全变分正则化保持边缘信息,提高了高光谱图像的空间分段平滑性.最后利用非凸代理函数的特殊性质,采用一种基于增广拉格朗日乘子法的迭代算法进行变量优化求解.通过多组实验进行验证,结果表明所提算法不仅能有效地去除混合噪声,而且能较好地保持图像的结构和细节,与现有的其他高光谱去噪方法相比,其在视觉效果和定量评价结果上都明显提升.     

结合L1和L2正则化约束的隐语义预测模型研究

在大数据领域中预测高维稀疏矩阵中的缺失数据，通常采用随机梯度下降算法构造隐语义模型来对缺失数据进行预测。在随机梯度下降算法来求解模型的过程中经常加入正则化项来提高模型的性能，由于[L1]正则化项不可导，目前在隐语义模型中主要通过加入[L2]正则化项来构建隐语义模型（SGD_LF）。但因为[L1]正则化项能提高模型的稀疏性增强模型求解能力，因此提出一种基于[L1]和[L2]正则化约束的隐语义（SPGD_LF）模型。在通过构建目标函数时，同时引入[L1]和[L2]正则化项。由于目标函数满足利普希茨条件，并通过二阶的泰勒展开对目标函数进行逼近，构造出随机梯度下降的求解器，在随机梯度下降求解隐语义模型的过程中通过软阈值来处理[L1]正则化项所对应的边界优化问题。通过此优化方案，可以更好地表达目标矩阵中的已知数据在隐语义空间中的特征和对应的所属社区关系，提高了模型的泛化能力。通过在大型工业数据集上的实验表明，SPGD_LF模型的预测精度、稀疏性和收敛速度等性能都有显著提高。     

一种求解强凸优化问题的最优随机算法

随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.     

基于近端凸差分方法的多层卷积变换学习算法

卷积变换学习(CTL)结合了无监督学习与卷积神经网络的优点,通过无监督的方式训练卷积核,是一种新兴的稀疏表示方法.现有的单层CTL模型仅通过一层稀疏编码,不仅难以有效提取输入信号的深层语义信息,并且,基于l₀范数的CTL模型得到的稀疏解虽然稀疏度强,但它的求解是一个NP-hard难题,而基于l₁范数的CTL模型则存在稀疏度不足和参数过度惩罚的问题.针对以上问题,本文提出了一种基于log正则化函数的多层CTL模型(CTLlog):为了提取输入信号更具鉴别性与丰富语义的稀疏特征,对单层的CTL模型进行多层拓展,同时使用稀疏度强,偏差性小的非凸log正则化函数作为CTL模型的稀疏约束方法.通过使用近端凸差分方法对模型的非凸优化问题进行优化求解,开发出基于近端凸差分方法的多层卷积变换学习算法.实验表明,本文提出的基于近端凸差分方法的多层卷积变换学习算法所使用的log正则化稀疏约束效果优于现有的CTL模型,且多层CTL-log的特征提取效果相较于单层取得了提升,在支持向量机(SVM)分类器的分类精度提升了2个百分点左右.     

罚函数凸优化迭代算法及在无人机路径规划中的应用

针对无人机路径规划问题,建立了具有定常非线性系统、非仿射等式约束、非凸不等式约束的非凸控制问题模型,并对该模型进行了算法设计和求解。基于迭代寻优的求解思路,提出了凸优化迭代求解方法和罚函数优化策略。前者利用凹凸过程(CCCP)和泰勒公式对模型进行凸化处理,后者将经处理项作为惩罚项施加到目标函数中以解决初始点可行性限制。经证明该方法严格收敛到原问题的Karush-Kuhn-Tucker(KKT)点。仿真实验验证了罚函数凸优化迭代算法的可行性和优越性,表明该算法能够为无人机规划出一条满足条件的飞行路径。     

稀疏性正则化的图像Laplace去噪及PR算子分裂算法*

在Bayesian-MAP框架下,建立了针对Laplace噪声的稀疏性正则化图像去噪凸变分模型,模型采用L1范数作为数据保真项,非光滑的正则项约束图像在过完备字典下表示系数的稀疏性。进一步基于Peaceman-Rachford算子分裂算法,提出了数值求解该非光滑模型的多步迭代快速算法,通过引入保真项与稀疏性正则项的邻近算子,可将原问题转换为两个简单子问题的迭代求解,降低了计算复杂性。实验结果验证了模型与数值算法的有效性,本算法在摄像自动报靶系统中得到了应用。     

压缩视频的正则化投影超分辨率重建

压缩视频超分辨率（SR）技术利用压缩后的低分辨率（LR）图像序列来重建高分辨率（HR）图像的技术,是当前视频超分辨率技术研究的热点。在正则化理论和凸集投影理论的基础上,利用比特流中的量化信息,提出了一种正则化投影超分辨率重建算法;通过正则化代价函数引入图像序列的时间域和空间域的先验信息,使用迭代梯度下降算法对正则化代价函数求解得到重建图像,最后利用凸集投影算法对求得的估计图像进行DCT域投影重建。仿真实验结果表明,该自适应算法较传统算法,其重建图像的主、客观质量有一定的提高,适合压缩图像的应用。     

基于小波稳健的超分辨率图像重建算法

针对超分辨率图像重建算法多存在计算量大、收敛稳定性不高且收敛慢的问题,提出一种基于小波稳健的正则化超分辨率图像重建算法。该算法利用小波变换生成初始图像,对重建图像的质量有明显提高。采用1-范式(L1)度量正则项,增强了算法的稳健性,通过导入自适应的正则参数提高了算法的效率。经仿真实验证明了算法的有效性。