一种求解截断L1正则化项问题的坐标下降算法

L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.     

基于约束区域的BSB联想记忆模型

提出一种根据联想记忆点设计基于约束区域的ＢＳＢ（Ｂｒａｉｎ－Ｓｔａｔｅ－ｉｎｍ－ａ－Ｂｏｘ）神经网络模型,它保证了渐近稳定的平衡点集与样本点集相同,不渐近稳定的平衡点恰为实际的拒识状态,并且吸引域分布合理,从而将ＥＳＢ完善为理想的联想记忆器。     

非光滑凸问题投影型对偶平均优化方法的个体收敛性

对于一般凸问题,对偶平均方法的收敛性分析需要在对偶空间进行转换,难以得到个体收敛性结果.对此,文中首先给出对偶平均方法的简单收敛性分析,证明对偶平均方法具有与梯度下降法相同的最优个体收敛速率Ο(lnt/t).不同于梯度下降法,讨论2种典型的步长策略,验证对偶平均方法在个体收敛分析中具有步长策略灵活的特性.进一步,将个体收敛结果推广至随机形式,确保对偶平均方法可有效处理大规模机器学习问题.最后,在L1范数约束的hinge损失问题上验证理论分析的正确性.     

非线性规划神经网络模型

本文提出一种求解闭凸集上非线性规划问题的神经网络模型,给出了它的Liapunov函数,在适当的假设下,运用La Salle不变性原理证明了它的大范围渐近稳定性,并给出了计算机模拟。     

非光滑凸情形Adam型算法的最优个体收敛速率

Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解 ${l_1}$ 范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。     

基于Boosting学习算法的雷达弹道识别

弹道外推技术在炮位雷达的侦察和校射中起关键作用,弹道外推的精度直接决定着炮位侦察校射雷达的性能.在文献[1]中,作者提出了将弹道外推分为弹道识别和特定弹道外推两个阶段,并用支持向量机方法对弹道识别进行了系统研究.文中引进Boosting学习算法进行弹道识别.仿真结果表明,基于决策树的Boosting学习算法是一种有效的弹道识别方法,并且识别精度高于基于核技巧的支持向量机方法.     

求解非光滑强凸优化问题的减小方差加权随机算法*

在光滑问题随机方法中使用减小方差策略,能够有效改善算法的收敛效果.文中同时引用加权平均和减小方差的思想,求解“L1+L2+Hinge”非光滑强凸优化问题,得到减小方差加权随机算法(α-HRMDVR-W).在每步迭代过程中使用减小方差策略,并且以加权平均的方式输出,证明其具有最优收敛速率,并且该收敛速率不依赖样本数目.与已有减小方差方法相比,α-HRMDVR-W每次迭代中只使用部分样本代替全部样本修正梯度.实验表明α-HRMDVR-W在减小方差的同时也节省CPU时间.     

采用文曲利管降低柴油机NOx排放

废气再循环(EGR,Exhaust Gas Recirculation)是大幅降低整机排放污染物的有效办法,也是目前较为常用和有效的措施.废气再循环(EGR)就是通过将柴油机排出的废气重新引回到气缸内参与燃烧的装置,可更好地控制和减少其尾气中NOx的排放量.文中介绍了柴油机工作时产生NOx的机理和文曲利管降低柴油机NOx排放的原理,通过对安装有文曲利管的柴油机进行试验,分析废气再循环率对柴油机动力性能和NOx排放的影响.