非光滑凸问题投影型对偶平均优化方法的个体收敛性

对于一般凸问题,对偶平均方法的收敛性分析需要在对偶空间进行转换,难以得到个体收敛性结果.对此,文中首先给出对偶平均方法的简单收敛性分析,证明对偶平均方法具有与梯度下降法相同的最优个体收敛速率Ο(lnt/t).不同于梯度下降法,讨论2种典型的步长策略,验证对偶平均方法在个体收敛分析中具有步长策略灵活的特性.进一步,将个体收敛结果推广至随机形式,确保对偶平均方法可有效处理大规模机器学习问题.最后,在L1范数约束的hinge损失问题上验证理论分析的正确性.     

基于Boosting学习算法的雷达弹道识别

弹道外推技术在炮位雷达的侦察和校射中起关键作用,弹道外推的精度直接决定着炮位侦察校射雷达的性能.在文献[1]中,作者提出了将弹道外推分为弹道识别和特定弹道外推两个阶段,并用支持向量机方法对弹道识别进行了系统研究.文中引进Boosting学习算法进行弹道识别.仿真结果表明,基于决策树的Boosting学习算法是一种有效的弹道识别方法,并且识别精度高于基于核技巧的支持向量机方法.     

采用文曲利管降低柴油机NOx排放

废气再循环(EGR,Exhaust Gas Recirculation)是大幅降低整机排放污染物的有效办法,也是目前较为常用和有效的措施.废气再循环(EGR)就是通过将柴油机排出的废气重新引回到气缸内参与燃烧的装置,可更好地控制和减少其尾气中NOx的排放量.文中介绍了柴油机工作时产生NOx的机理和文曲利管降低柴油机NOx排放的原理,通过对安装有文曲利管的柴油机进行试验,分析废气再循环率对柴油机动力性能和NOx排放的影响.     

微型涡旋空气压缩机的冷却降温研究

对微型涡旋空气压缩机进行了理论和实验研究,研究了自然冷却、静盘强制冷却和动盘强制冷却等3种冷却方式对压缩机排气温度、排气量、功率等性能参数的影响规律.研究结果表明.自然冷却方式下压缩机的性能最差,动盘强制冷却的效果好于静盘强制冷却效果.     

一种求解截断L1正则化项问题的坐标下降算法

L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.     

基于支持向量机分类的回归方法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的分类技术,也是一种新的具有很好泛化性能的回归方法.提出了一种将回归问题转化为分类问题的新思想.这种方法具有一定的理论依据,与SVM回归算法相比,其优化问题几何意义清楚明确.     

Support Vector的几何解释及其在联想记忆中的应用

利用闭凸集上的投影解释support vector的几何意义，利用支持超平面讨论线性分类器的设计问题，对线性可分情形，Support vector由一类数据集合闭凸包在另一类数据集合闭凸包上投影的非零系数向量组成，SVM所决定的超平面位于两投影点关于各自数据集合支持超平面的中间，作为应用，文中给出一种设计理想联想记忆前馈神经网络的方法，它是FP算法的一般化。     

非光滑凸情形Adam型算法的最优个体收敛速率

Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解 ${l_1}$ 范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。