基于Boosting框架的非稀疏多核学习方法

针对传统的分类器集成的每次迭代通常是将单个最优个体分类器集成到强分类器中,而其它可能有辅助作用的个体分类器被简单抛弃的问题,提出了一种基于Boosting框架的非稀疏多核学习方法MKL-Boost,利用了分类器集成学习的思想,每次迭代时,首先从训练集中选取一个训练子集,然后利用正则化非稀疏多核学习方法训练最优个体分类器,求得的个体分类器考虑了M个基本核的最优非稀疏线性凸组合,通过对核组合系数施加LP范数约束,一些好的核得以保留,从而保留了更多的有用特征信息,差的核将会被去掉,保证了有选择性的核融合,然后将基于核组合的最优个体分类器集成到强分类器中。提出的算法既具有Boosting集成学习的优点,同时具有正则化非稀疏多核学习的优点,实验表明,相对于其它Boosting算法,MKL-Boost可以在较少的迭代次数内获得较高的分类精度。     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

组合范数正则化稀疏编码和自适应加权残差的鲁棒跟踪

针对基于稀疏表示的目标跟踪中编码系数采用L_0或L_1范数正则,易造成NP难优化或预估偏差增大等问题,提出一种基于贝叶斯框架下的组合范数正则化稀疏编码和自适应加权残差的鲁棒跟踪算法.首先提出组合范数正则化稀疏编码,对目标函数编码系数同时进行L_0和L_1正则,根据其贡献程度赋予不同的权值,以增强目标外观模型的鲁棒性;其次在目标函数中引入残差项,赋予其自适应权重来缓解噪声、腐蚀和光照等离群子干扰;最后求解目标函数最小化所涉及的非凸病态问题,在加速近邻梯度算法框架下提出一种广义阈值法来迭代求解最优值.采用大量具有挑战性的序列进行实验的结果表明,与现阶段其他主流算法相比,该算法具有更好的鲁棒性.     

弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

图正则化稀疏判别非负矩阵分解

非负矩阵分解是一种流行的数据表示方法,利用图正则化约束能有效地揭示数据之间的局部流形结构。为了更好地提取图像特征,给出了一种基于图正则化的稀疏判别非负矩阵分解算法（graph regularization sparse discriminant non-negative matrix factorization,GSDNMF-L_2,1）。利用同类样本之间的稀疏线性表示来构建对应的图及权矩阵;以L_2,1范数进行稀疏性约束;以最大间距准则为优化目标函数,利用数据集的标签信息来保持数据样本之间的流形结构和特征的判别性,并给出了算法的迭代更新规则。在若干图像数据集上的实验表明,GSDNMF-L_2,1在特征提取方面的分类精度优于各对比算法。     

弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

混合非凸非光滑正则化约束的模糊图像盲复原

为能够复原出高质量的清晰图像,提出一种混合正则化约束的模糊图像盲复原方法。首先,根据模糊核的稀疏性,采用L₀范数的正则项对模糊核进行稀疏约束,以提高模糊核估计的准确性;然后,根据图像梯度的稀疏性,采用混合一阶和二阶图像梯度的L₀范数对图像梯度进行正则化约束,以保留图像边缘信息;最后,由于所提出的混合正则化约束模型本质上是非凸非光滑优化问题,通过交替方向乘子法对模型进行求解,并在非盲反卷积阶段采用L₁范数数据拟合项和全变分的方法复原清晰图像。实验结果表明,所提方法能够复原出更加清晰的细节和边缘信息,复原结果的质量更高。     

迭代再权共轭梯度q范数正则化线性最小二乘–支持 向量机分类算法

L2范数罚最小二乘–支持向量机(least square support vector machine algorithm,LS–SVM)分类器是得到广泛研究和使用的机器学习算法,其算法中正则化阶次是事先给定的,预设q=2.本文提出q范数正则化LS–SVM分类器算法,0q∞,把q取值扩大到有理数范围.利用网格法改变正则化权衡参数c和正则化阶次q的值,在所选的c和q值上,使用迭代再权方法求解分类器目标函数,找出最小分类预测误差值,使预测误差和特征选择个数两个性能指标得到提高.通过对不同领域的实际数据进行实验,可以看到提出的分类算法分类预测更加准确同时可以实现特征选择,性能优于L2范数罚LS–SVM.     

基于非负弹性网稀疏编码算法的图像分类方法

为提高图像分类的准确率,提出一种非负弹性网稀疏编码算法。利用非负稀疏编码算法和弹性网模型,在稀疏编码优化模型的目标函数中引入l_2范数正则项,增加编码系数的非负约束,并将该算法与空间金字塔模型相结合应用于图像分类。实验结果表明,与传统的稀疏编码算法相比,该算法不仅能提高编码的判别性与有效性,而且可使相似的特征描述符编码后仍然相似,增强编码的稳定性,具有较高的分类准确度。     

基于近端凸差分方法的多层卷积变换学习算法

卷积变换学习(CTL)结合了无监督学习与卷积神经网络的优点,通过无监督的方式训练卷积核,是一种新兴的稀疏表示方法.现有的单层CTL模型仅通过一层稀疏编码,不仅难以有效提取输入信号的深层语义信息,并且,基于l₀范数的CTL模型得到的稀疏解虽然稀疏度强,但它的求解是一个NP-hard难题,而基于l₁范数的CTL模型则存在稀疏度不足和参数过度惩罚的问题.针对以上问题,本文提出了一种基于log正则化函数的多层CTL模型(CTLlog):为了提取输入信号更具鉴别性与丰富语义的稀疏特征,对单层的CTL模型进行多层拓展,同时使用稀疏度强,偏差性小的非凸log正则化函数作为CTL模型的稀疏约束方法.通过使用近端凸差分方法对模型的非凸优化问题进行优化求解,开发出基于近端凸差分方法的多层卷积变换学习算法.实验表明,本文提出的基于近端凸差分方法的多层卷积变换学习算法所使用的log正则化稀疏约束效果优于现有的CTL模型,且多层CTL-log的特征提取效果相较于单层取得了提升,在支持向量机(SVM)分类器的分类精度提升了2个百分点左右.