|
1.
|
一种具有最优收敛速度的正则化境面下降算法
|
|
|
|
|
|
|
王惊晓 高乾坤 汪群山《计算机工程》,2014年第6期
|
|
|
Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。
|
|
2.
|
L1范数正则化SVM聚类算法
|
|
|
|
|
|
|
刘建伟 李双成 付捷 罗雄麟《计算机工程》,2012年第38卷第12期
|
|
|
提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式，采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明，L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近，而且能够实现特征选择。
|
|
3.
|
Ll-norm Regularized SVM Clustering Algorithm
|
|
|
|
|
|
|
LIU Jian-wei LI Shuang-cheng FU Jie LUO Xiong-lin《计算机工程》,2012年第38卷第12期
|
|
|
提出L1范数正则化支持向量机(SVM)聚类算法.该算法能够同时实现聚类和特征选择功能.给出LI范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题.在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择.
|
|
4.
|
L1正则化机器学习问题求解分析 被引次数：1
|
|
|
|
|
|
|
孔康 汪群山 梁万路《计算机工程》,2011年第37卷第17期
|
|
|
以稀疏学习为主线，从多阶段、多步骤优化思想的角度出发，对当前流行的L1正则化求解算法进行分类，比较基于次梯度的多步骤方法、基于坐标优化的多阶段方法，以及软L1正则化方法的收敛性能、时空复杂度和解的稀疏程度。分析表明，基于机器学习问题特殊结构的学习算法可以获得较好的稀疏性和较快的收敛速度。
|
|
5.
|
基于光滑L_(1/2)正则化理论的地震数据重建
|
|
|
|
|
|
|
《中国矿业大学学报》,2019年第5期
|
|
|
L_(1/2)正则化比L_1正则化有更稀疏的解,比L_0正则化更易求解.本文将L_(1/2)正则化引入到地震数据重建过程,提出了一种基于光滑L_(1/2)正则化的地震数据重建方法.首先建立L_(1/2)正则化地震数据重建模型,并利用光滑渐近函数逼近L_(1/2)正则项,克服了L_(1/2)正则化求解过程中的数值振荡问题;之后根据光滑L_(1/2)正则化理论改进了字典学习算法,提高了冗余字典的训练效率;最后利用训练的冗余字典和半阈值迭代算法对地震数据进行恢复重建.对具有232道、每道751个采样点的地震炮集数据应用结果表明,与基于L_1正则化的K-SVD重建方法相比,本方法重建结果的信噪比提高3.3 dB.在计算效率方面,本方法字典训练耗时仅为L_1正则化K-SVD的1/3,重建耗时仅为L_1正则化K-SVD一半的时间.
|
|
6.
|
基于变分的图像恢复算法及收敛性 被引次数：2
|
|
|
|
|
|
|
张永平 郑南宁 赵荣椿《自动化学报》,2002年第28卷第5期
|
|
|
提出了一种保持边缘的正则化图像恢复算法,该方法可有效地用于求解线性逆问题的非凸优化过程.通过对正则化函数及相应泛函性质的理论分析,得出了使泛函达到最小的正则化函数表达式;引入一个与原非凸泛函相应的二元泛函,将非凸优化问题转化为本质上的凸优化问题,采用松弛迭代算法获得非凸优化问题的局部极小解;证明了所提出的算法是全局收敛的.通过实验验证了算法的有效性.
|
|
7.
|
基于非凸L_(1-2)正则化的生物发光断层成像仿真研究
|
|
|
|
|
|
|
余景景 刘佳乐《中国激光》,2018年第4期
|
|
|
生物发光断层成像(BLT)是一种低成本、高灵敏、具有巨大潜力的光学分子成像模态,高效稳定的重建算法是将其推向实用的关键。为克服BLT重建的高不适定性,提出了基于非凸L_(1-2)正则化的重建方法,采用凸差分算法来解决非凸泛函最小化问题,在每一步迭代中采用带自适应惩罚项的交替方向乘子法高效求解。为评估该方法的有效性和稳健性,设计了单光源和双光源数字鼠仿体实验,并与3个典型的重建算法进行对比,仿真实验结果表明,所提L_(1-2)正则化方法在不同光源设置下都得到了最准确的光源定位。
|
|
8.
|
一种基于Comid的非光滑损失随机坐标下降方法 被引次数：1
|
|
|
|
|
|
|
陶卿 朱烨雷 罗强 孔康《电子学报》,2013年第41卷第4期
|
|
|
坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到Ο(√t/t)的收敛速度,在强凸条件下可以得到Ο(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果.
|
|
9.
|
稀疏性正则化的图像Laplace去噪及PR算子分裂算法*
|
|
|
|
|
|
|
吕占强 孙玉宝《计算机应用研究》,2011年第28卷第9期
|
|
|
在Bayesian-MAP框架下，建立了针对Laplace噪声的稀疏性正则化图像去噪凸变分模型，模型采用L1范数作为数据保真项，非光滑的正则项约束图像在过完备字典下表示系数的稀疏性。进一步基于Peaceman-Rachford算子分裂算法，提出了数值求解该非光滑模型的多步迭代快速算法，通过引入保真项与稀疏性正则项的邻近算子，可将原问题转换为两个简单子问题的迭代求解，降低了计算复杂性。实验结果验证了模型与数值算法的有效性，本算法在摄像自动报靶系统中得到了应用。
|
|
10.
|
L1/2正则化Logistic回归
|
|
|
|
|
|
|
赵谦 孟德宇 徐宗本《模式识别与人工智能》,2012年第25卷第5期
|
|
|
提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.
|
|
11.
|
一种有效的储备池在线稀疏学习算法
|
|
|
|
|
|
|
韩敏 王新迎《自动化学报》,2011年第37卷第12期
|
|
|
为克服传统储备池方法缺乏良好在线学习算法的问题, 同时考虑到储备池本身存在的不适定问题, 本文提出一种储备池在线稀疏学习算法, 对储备池目标函数施加L1正则化约束,并采用截断梯度算法在线近似求解.所提算法在对储备池输出权值进行在线调整的同时, 可对储备池输出权值的稀疏性进行有效控制, 有效保证了网络的泛化性能.理论分析和仿真实例证明所提算法的有效性.
|
|
12.
|
一种具有O(1/T)收敛速率的稀疏随机算法
|
|
|
|
|
|
|
姜纪远 夏良 章显 陶卿《计算机研究与发展》,2014年第51卷第9期
|
|
|
随机梯度下降(stochastic gradient descent,SGD)是一种求解大规模优化问题的简单高效方法,近期的研究表明,在求解强凸优化问题时其收敛速率可通过α-suffix平均技巧得到有效的提升.但SGD属于黑箱方法,难以得到正则化优化问题所期望的实际结构效果.另一方面,COMID(composite objective mirror descent)是一种能保证L1正则化结构的稀疏随机算法,但对于强凸优化问题其收敛速率仅为O(logT?T).主要考虑"L1+Hinge"优化问题,首先引入L2强凸项将其转化为强凸优化问题,进而将COMID算法和α-suffix平均技巧结合得到L1MD-α算法.证明了L1MD-α具有O(1?T)的收敛速率,并且获得了比COMID更好的稀疏性.大规模数据库上的实验验证了理论分析的正确性和所提算法的有效性.
|
|
13.
|
复合正则化联合稀疏贝叶斯学习的高光谱稀疏解混算法
|
|
|
|
|
|
|
孔繁锵 郭文骏 沈 秋 王丹丹《红外与毫米波学报》,2016年第35卷第2期
|
|
|
将稀疏贝叶斯学习引入线性混合像元分解中,提出一种基于复合正则化联合稀疏贝叶斯学习的高光谱稀疏解混算法.在多观测向量的稀疏贝叶斯框架下,对各参数建立概率模型,经贝叶斯推断得到基于L2,1正则化的联合稀疏贝叶斯解混模型,并将丰度向量的非负与和为一约束加入到凸优化的目标函数中,通过变量分离法将复合正则化问题分解成多个单一正则化问题交替迭代求解,并利用参数自适应算法对正则化参数进行更新.模拟数据和真实数据的实验结果表明,该算法比贪婪算法和凸优化算法能获得更高的解混精度,并且适用于端元个数较多和信噪比较低的高光谱数据.
|
|
14.
|
一种非光滑损失坐标下降算法
|
|
|
|
|
|
|
吴卫邦 朱烨雷 陶 卿《计算机应用研究》,2012年第29卷第10期
|
|
|
针对非光滑损失问题提出一种新的坐标下降算法,采用排序搜索的方式求解子问题解析解。分析了算法的时间复杂度,并给出了三种提高收敛速度的实用技巧。实验表明算法对正则化Hinge损失问题具有良好的性能,达到了预期的效果。
|
|
15.
|
稀疏重构算法
|
|
|
|
|
|
|
王汗三 陈杰《电子科技》,2013年第26卷第5期
|
|
|
在图像处理和统计中,对于一个大的欠定线性方程,找到一个稀疏的近似解,是一种常见问题。标准方法是对一个目标函数求极小值,其中目标函数由一个二次的误差项l2加一个正则项l1组成。针对一般性问题,目标函数有一个光滑的凸函数加上一个非光滑的正则项,提出了一种算法结构。该算法通过求解最优子问题,从而求出稀疏的近似解。仿真结果表明,该算法能够更快的求出近似解,在正则项是凸的情况下,可以证明目标函数的极小解是收敛的。
|
|
16.
|
对偶算法在紧框架域TV-L1去模糊模型中的应用
|
|
|
|
|
|
|
李旭超 马松岩 边素轩《中国图象图形学报》,2015年第20卷第11期
|
|
|
目的 建立准确的数学模型并获得有效的求解算法是图像恢复面临的“两难”问题,非光滑型能量泛函有利于准确描述图像的特征,但很难获得有效的求解算法。提出一种拟合项和正则项都是非光滑型能量泛函正则化模型,并推导出有效的交替迭代算法。方法 首先,对系统和椒盐噪声模糊的图像,在紧框架域,用L1范数描述拟合项,用加权有界变差函数半范数描述正则项。其次,通过引入辅助变量,将图像恢复正则化模型转化为增广拉格朗日模型。再次,利用变量分裂技术,将转化模型分解为两个子问题。最后,利用Fenchel变换和不动点迭代原理,将子问题分别转化为对偶迭代子问题和松弛迭代子问题,并证明迭代子问题的收敛性。结果 针对图像恢复模型的非光滑性,提出一种交替迭代算法。仿真实验表明,相对传统算法,本文算法能有效地恢复系统和椒盐噪声模糊的图像,提高峰值信噪比大约0.51分贝。结论 该正则化模型能有效地恢复图像的边缘,取得较高的峰值信噪比和结构相似测度,具有较快的收敛速度,适用于恢复椒盐噪声模糊的图像。
|
|
17.
|
一种改进的极端学习机算法
|
|
|
|
|
|
|
刘作志 刘欢《纺织高校基础科学学报》,2014年第4期
|
|
|
为了提高极端学习机算法的稳定性和学习速度,结合L1/2正则化理论提出一种改进的极端学习机算法——基于L1/2正则化的快速学习算法(L1/2-RELM).该算法首先采用L1/2正则项对极端学习机算法进行约束,其次运用half算法确定网络输出权重,提高了算法的稳定性和学习速度.数值实验表明,所提算法的学习速度比极端学习机算法的学习速度更快,且性能更加稳定.
|
|
18.
|
组合范数正则化稀疏编码和自适应加权残差的鲁棒跟踪
|
|
|
|
|
|
|
孔军 成静 蒋敏 柳晨华 顾晓峰《计算机辅助设计与图形学学报》,2018年第4期
|
|
|
针对基于稀疏表示的目标跟踪中编码系数采用L_0或L_1范数正则,易造成NP难优化或预估偏差增大等问题,提出一种基于贝叶斯框架下的组合范数正则化稀疏编码和自适应加权残差的鲁棒跟踪算法.首先提出组合范数正则化稀疏编码,对目标函数编码系数同时进行L_0和L_1正则,根据其贡献程度赋予不同的权值,以增强目标外观模型的鲁棒性;其次在目标函数中引入残差项,赋予其自适应权重来缓解噪声、腐蚀和光照等离群子干扰;最后求解目标函数最小化所涉及的非凸病态问题,在加速近邻梯度算法框架下提出一种广义阈值法来迭代求解最优值.采用大量具有挑战性的序列进行实验的结果表明,与现阶段其他主流算法相比,该算法具有更好的鲁棒性.
|
|
19.
|
基于L1正则化的贝叶斯网络分类器
|
|
|
|
|
|
|
王影 王浩 俞奎 姚宏亮《计算机科学》,2012年第39卷第1期
|
|
|
目前基于节点排序的贝叶斯网络分类器忽略了节点序列中已选变量和类标签之间的信息,导致分类器的准确率很难进一步提高。针对这个问题,提出了一种简单高效的贝叶斯网络分类器的学习算法:L1正则化的贝叶斯网络分类器(L1-BNC)。通过调整Lasso方法中的约束值,充分利用回归残差的信息,结合点序列中已选变量和类标签的信息,形成一条优秀的有序变量拓扑序列(L1正则化路径);基于该序列,利用K2算法生成优良的贝叶斯网络分类器。实验表明,L1-BNC在分类精度上优于已有的贝叶斯网络分类器。L1-BNC也与SVM,KNN和J48分类算法进行了比较,在大部分数据集上,L1-BNC优于这些算法。
|
|
20.
|
含有L1数据保真项的非凸优化脉冲噪声去除模型
|
|
|
|
|
|
|
陈静思 李春《计算机系统应用》,2018年第27卷第11期
|
|
|
随着数字图像处理技术的高速发展，图像恢复被广泛应用于医学领域、军事领域、公共防卫领域及农业气象领域.本文综合TVL1、ROF、STVL1（Squares TVL1）、SHI模型，提出了非凸非光滑关于脉冲噪声去除模型，并使用变量分离技术的ADMM算法对模型进行求解，通常情况下，基于梯度的方法不适合非光滑优化，半二次（half-quadratic）和重权最小二乘算法（IRLS）在零点不可微分情况下不能应用到非光滑函数上，Graduated NonConvexity （GNC） algorithms跟踪非光滑和非凸的最小值沿着一系列近似的非光滑能量函数的势能，需要考虑其计算时间.为了处理模型的非凸非光滑项，本文应用多阶凸松弛方法对模型的子问题进行求解，虽然该方法仅导致原始非凸问题的局部最优解，但该局部解是对初始凸松弛的全局解的改进.此外，因为每个阶段都是凸优化问题，所以该方法在计算上是高效的.利用遗传算法对模型参数进行选择，通过在不同图片及不同噪声上的大量实验表明，该模型的鲁棒性、运行时间和ISNR、PSNR都优于其他三个模型.并且该模型能够保持图像的局部信息具有更好的可视化质量.
|
|
