基于Boosting学习算法的雷达弹道识别

弹道外推技术在炮位雷达的侦察和校射中起关键作用,弹道外推的精度直接决定着炮位侦察校射雷达的性能.在文献[1]中,作者提出了将弹道外推分为弹道识别和特定弹道外推两个阶段,并用支持向量机方法对弹道识别进行了系统研究.文中引进Boosting学习算法进行弹道识别.仿真结果表明,基于决策树的Boosting学习算法是一种有效的弹道识别方法,并且识别精度高于基于核技巧的支持向量机方法.     

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

稀疏学习优化问题的求解综述

机器学习正面临着数据规模日益扩大的严峻挑战,如何处理大规模甚至超大规模数据问题,是当前统计学习亟需解决的关键性科学问题.大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题中的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,而且无法满足机器学习对结构的要求.目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化方法成为解决大规模问题的有效手段.针对L1 正则化问题,介绍了这些大规模算法的一些研究进展.     

大规模SVDD的坐标下降算法

支持向量数据描述(SVDD)是一种无监督学习算法,在图像识别和信息安全等领域有重要应用。坐标下降方法是求解大规模分类问题的有效方法,具有简洁的操作流程和快速的收敛速率。文中针对大规模SVDD提出一种高效的对偶坐标下降算法,算法每步迭代的子问题都可获得解析解,并可使用加速策略和简便运算减少计算量。同时给出3种子问题的选择方法,并分析对比各自优劣。实验对仿真和真实大规模数据库进行算法验证。与LibSVDD相比,文中方法更具优势,1。4s求解10⁵样本规模的ijcnn文本库。     

基于Adaboost算法的炮弹炸点检测

炮弹炸点检测是射击校射、毁伤效果评估和敌方火力位置估计的前提和基础。根据炮弹炸点的特点,对Haar特征进行了扩展,增加了一种中心环绕的Haar特征,并给出了其快速计算方法。以Adaboost算法为框架构建了一种炸点检测算法,采用真实炸点图像对提出的算法进行了实验验证,结果表明：与未扩展特征的Adaboost算法相比,本文算法对炸点类目标具有较高的检测性能。     

求解AUC优化问题的对偶坐标下降方法

AUC被广泛作为衡量不平衡数据分类性能的评价标准.与二分类问题不同,AUC问题的损失函数由来自两个不同类别的样本对组成.如何提高其实际收敛速度,是一个值得研究的问题.目前的研究结果表明：使用reservoir sampling技术的在线方法(OAM)表现出很好的AUC性能,但OAM仍存在诸如收敛速度慢、参数选择复杂等缺点.针对 AUC 优化问题的对偶坐标下降(AUC-DCD)方法进行了系统的研究,给出3种算法,即 AUC-SDCD,AUC- SDCDperm和AUC-MSGD,其中,AUC-SDCD和AUC-SDCDperm与样本数目有关,AUC-MSGD与样本数目无关.理论分析指出,OAM是AUC-DCD的一种特殊情形.实验结果表明,AUC-DCD在AUC性能和收敛速度两方面均优于OAM.研究结果表明,AUC-DCD是求解AUC优化问题的首选方法.     

一种减小方差求解非光滑问题的随机优化算法

随机优化算法是求解大规模机器学习问题的高效方法之一.随机学习算法使用随机抽取的单个样本梯度代替全梯度,有效节省了计算量,但却会导致较大的方差.近期的研究结果表明:在光滑损失优化问题中使用减小方差策略,能够有效提高随机梯度算法的收敛速率.考虑求解非光滑损失问题随机优化算法COMID(compositeobjective mirror descent)的方差减小问题.首先证明了COMID具有方差形式的O(1/√T+σ²/√T)收敛速率,其中,T是迭代步数,σ²是方差.该收敛速率保证了减小方差的有效性,进而在COMID中引入减小方差的策略,得到一种随机优化算法α-MDVR(mirror descent with variance reduction).不同于Prox-SVRG(proximal stochastic variance reduced gradient),α-MDVR收敛速率不依赖于样本数目,每次迭代只使用部分样本来修正梯度.对比实验验证了α-MDVR既减小了方差,又节省了计算时间.