弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

一种改进的显性多核支持向量机

在支持向量机(Support vector machine, SVM)中, 对核函数的定义非常重要, 不同的核会产生不同的分类结果. 如何充分利用多个不同核函数的特点, 来共同提高SVM学习的效果, 已成为一个研究热点. 于是, 多核学习(Multiple kernel learning, MKL)方法应运而生. 最近, 有的学者提出了一种简单有效的稀疏MKL算法,即GMKL (Generalized MKL)算法, 它结合了L1 范式和L2范式的优点, 形成了一个对核权重的弹性限定. 然而, GMKL算法也并没有考虑到如何在充分利用已经选用的核函数中的共有信息. 另一方面, MultiK-MHKS算法则考虑了利用典型关联分析(Canonical correlation analysis, CCA)来获取核函数之间的共有信息, 但是却没有考虑到核函数的筛选问题. 本文模型则基于这两种算法进行了一定程度的改进, 我们称我们的算法为改进的显性多核支持向量机 (Improved domain multiple kernel support vector machine, IDMK-SVM). 我们证明了本文的模型保持了GMKL 的特性, 并且证明了算法的收敛性. 最后通过模拟实验, 本文证明了本文的多核学习方法相比于传统的多核学习方法有一定的精确性优势.     

联合弹性碰撞与梯度追踪的WSNs压缩感知重构

为提高压缩感知(Compressed sensing,CS)大规模稀疏信号重构精度,提出了一种联合弹性碰撞优化与改进梯度追踪的WSNs(Wireless sensor networks)压缩感知重构算法.首先,创新地提出一种全新的智能优化算法|弹性碰撞优化算法(Elastic collision optimization algorithm,ECO),ECO模拟物理碰撞信息交互过程,利用自身历史最优解和种群最优解指导进化方向,并且个体以N(0,1)概率形式散落于种群最优解周围,在有效提升收敛速度的同时扩展了个体搜索空间,理论定性分析表明ECO依概率1收敛于全局最优解,而种群多样性指标分析证明了算法全局寻优能力.其次,针对贪婪重构算法高维稀疏信号重构效率低、稀疏度事先设定的缺陷,在设计重构有效性指数的基础上将ECO应用于压缩感知重构算法中,并引入拟牛顿梯度追踪策略,从而实现对大规模稀疏度未知数据的准确重构.最后,利用多维测试函数和WSNs数据采集环境进行仿真,仿真结果表明,ECO在收敛精度和成功率上具有一定优势,而且相比于其他重构算法,高维稀疏信号重构结果明显改善.     

两两关系马尔科夫网的自适应组稀疏化学习

稀疏化学习能显著降低无向图模型的参数学习与结构学习的复杂性, 有效地处理无向图模型的学习问题. 两两关系马尔科夫网在多值变量情况下, 每条边具有多个参数, 本文对此给出边参数向量的组稀疏化学习, 提出自适应组稀疏化, 根据参数向量的模大小自适应调整惩罚程度. 本文不仅对比了不同边势情况下的稀疏化学习性能, 为了加速模型在复杂网络中的训练过程, 还对目标函数进行伪似然近似、平均场自由能近似和Bethe自由能近似. 本文还给出自适应组稀疏化目标函数分别使用谱投影梯度算法和投 影拟牛顿算法时的最优解, 并对比了两种优化算法进行稀疏化学习的性能. 实验表明自适 应组稀疏化具有良好的性能.     

基于平行坐标下降法的图像修复

以压缩传感和稀疏表示为理论依据,提出了一种基于平行坐标下降法的图像修复 模型。该模型用小波变换作为图像的稀疏表示,以稀疏性作为正则化项;同时基于松弛阈值来 标记函数实现全局优化,并采用该模型算法得到全局最优解。从峰值信噪比、收敛速度和视觉 效果等3 个方面验证了算法的有效性。结果表明新的模型无论是在客观还是视觉主观上都有更 好的效果,同时算法具有更快的收敛速度。     

基于Adam局部优化的分布式近似牛顿深度学习模型训练

分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一.DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习.其具有收敛速度快且无须计算Hessian矩阵逆的优点,从而可以在高维情况下显著减少通信和计算开销.为了进一步提高计算效率,就需要研究如何加快DANE的局部优化.选择使用最流行的自适应梯度优化算法Adam取代常用的随机梯度下降法来求解DANE的局部单机子优化问题是一种可行的方法.实验表明,基于Adam的优化在收敛速度上可以明显快于原始的基于S GD的实现,且几乎不会牺牲模型泛化性能.     

基于AdaBoost的弹性网型正则化多核学习算法

在正则化多核学习中,稀疏的核函数权值会导致有用信息丢失和泛化性能退化,而通过非稀疏模型选取所有核函数则会产生较多的冗余信息并对噪声敏感。针对上述问题,基于AdaBoost框架提出一种弹性网型正则化多核学习算法。在迭代选取基本分类器时对核函数的权值进行弹性网型正则化约束,即混合L_1范数和L_p范数约束,构造基于多个基本核最优凸组合的基本分类器,并将其集成到最终的强分类器中。实验结果表明,该算法在保留集成算法优势的同时,能够实现核函数权值稀疏性和非稀疏性的平衡,与L_1-MKL和L_p-MKL算法相比,能够以较少的迭代次数获得分类精度较高的分类器。     

基于稀疏连接的层次化多核K-Means算法

多核学习(Multiple Kernel Learning, MKL)的目标是寻找一个最优的一致性核函数。在层次化多核聚类算法(HMKC)中，通过从高维空间中对样本特征进行逐层提取的方式来实现最大化地保留有效信息，但是却忽略了层与层之间的信息交互。该模型中只有相邻层中对应的结点会进行信息交互，对于其他结点来说是孤立的，而采用全连接的方式又会削弱最终一致性矩阵的多样性。因此，文中提出了一种基于稀疏连接的层次化多核K-Means算法(Sparse Connectivity Hierarchical Multiple Kernel K-Means, SCHMKKM)。该算法通过稀疏率来控制分配矩阵以达到稀疏连接的效果，从而将层与层之间信息蒸馏得到的特征进行局部融合。最后，在多个数据集上进行聚类分析，并在实验中与全连接的层次化多核K-Means算法(FCHMKKM)进行实验对比，证明了具有更多差异性的信息融合有利于学习更好的一致性划分矩阵，并且稀疏连接的融合策略优于全连接的策略。     

轴承故障诊断FastICA算法性能优化方法

为提高FastICA算法的收敛平稳性和速度，克服FastICA算法对初始值选取敏感的问题，提出在最速下降法中引入松弛因子优化FastICA算法中解混矩阵初始值的方法。首先，按最速下降法负梯度原理确定初始值目标函数最速收敛方向，以最快速度选取靠近目标函数解的粗优值；然后，通过引入松弛因子[αk]，限制目标函数的下降性质，促使其进入牛顿迭代法收敛区域，最终达到收敛。将优化后的FastICA算法应用于轴承故障诊断中，根据多次仿真次数下迭代时长及时长的波动趋势验证优化FastICA算法在平稳性和速度方面优于传统FastICA算法，且不影响FastICA算法的分离性能，能准确诊断出轴承的故障类型。     

随机ADD算法的不确定网络优化研究

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢.加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率.但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证.基于此,提出了一种随机形式的ADD算法来解决该网络优化问题.理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值.实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级.     

多输出数据依赖核支持向量回归快速学习算法

针对基于递推下降法的多输出支持向量回归算法在模型参数拟合过程中收敛速度慢、预测精度低的情况,使用一种基于秩2校正规则且具有二阶收敛速度的修正拟牛顿算法（BFGS）进行多输出支持向量回归算法的模型参数拟合,同时为了保证模型迭代过程中的下降量和全局收敛性,应用非精确线性搜索技术确定步长因子。通过分析支持向量机（SVM）中核函数的几何结构,构造数据依赖核函数替代传统核函数,生成多输出数据依赖核支持向量回归模型。将模型与基于梯度下降法、修正牛顿法拟合的多输出支持向量回归模型进行对比。实验结果表明,在200个样本下该算法的迭代时间为72.98 s,修正牛顿法的迭代时间为116.34 s,递推下降法的迭代时间为2065.22 s。所提算法能够减少模型迭代时间,具有更快的收敛速度。     

A primal method for multiple kernel learning

The canonical support vector machines (SVMs) are based on a single kernel, recent publications have shown that using multiple kernels instead of a single one can enhance interpretability of the decision function and promote classification accuracy. However, most of existing approaches mainly reformulate the multiple kernel learning as a saddle point optimization problem which concentrates on solving the dual. In this paper, we show that the multiple kernel learning (MKL) problem can be reformulated as a BiConvex optimization and can also be solved in the primal. While the saddle point method still lacks convergence results, our proposed method exhibits strong optimization convergence properties. To solve the MKL problem, a two-stage algorithm that optimizes canonical SVMs and kernel weights alternately is proposed. Since standard Newton and gradient methods are too time-consuming, we employ the truncated-Newton method to optimize the canonical SVMs. The Hessian matrix need not be stored explicitly, and the Newton direction can be computed using several Preconditioned Conjugate Gradient steps on the Hessian operator equation, the algorithm is shown more efficient than the current primal approaches in this MKL setting. Furthermore, we use the Nesterov’s optimal gradient method to optimize the kernel weights. One remarkable advantage of solving in the primal is that it achieves much faster convergence rate than solving in the dual and does not require a two-stage algorithm even for the single kernel LapSVM. Introducing the Laplacian regularizer, we also extend our primal method to semi-supervised scenario. Extensive experiments on some UCI benchmarks have shown that the proposed algorithm converges rapidly and achieves competitive accuracy.     

通用稀疏多核学习

针对L1范数多核学习方法产生核权重的稀疏解时可能会导致有用信息的丢失和泛化性能退化,Lp范数多核学习方法产生核权重的非稀疏解时会产生很多冗余信息并对噪声敏感,提出了一种通用稀疏多核学习方法。该算法是基于L1范数和Lp范数(p>1) 混合的网状正则化多核学习方法,不仅能灵活的调整稀疏性,而且鼓励核权重的组效应,L1范数和Lp范数多核学习方法可以认为是该方法的特例。该方法引进的混合约束为非线性约束,故对此约束采用二阶泰勒展开式近似,并使用半无限规划来求解该优化问题。实验结果表明,改进后的方法在动态调整稀疏性的前提下能获得较好的分类性能,同时也支持组效应,从而验证了改进后的方法是有效可行的。     

弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

Image category learning and classification via optimal linear combination of multiple partially matching kernels

Multiple kernel learning (MKL) aims at simultaneously optimizing kernel weights while training the support vector machine (SVM) to get satisfactory classification or regression results. Recent publications and developments based on SVM have shown that by using MKL one can enhance interpretability of the decision function and improve classifier performance, which motivates researchers to explore the use of homogeneous model obtained as linear combination of various types of kernels. In this paper, we show that MKL problems can be solved efficiently by modified projection gradient method and applied for image categorization and object detection. The kernel is defined as a linear combination of feature histogram function that can measure the degree of similarity of partial correspondence between feature sets for discriminative classification, which allows recognition robust to within-class variation, pose changes, and articulation. We evaluate our proposed framework on the ETH-80 dataset for several multi-level image encodings for supervised and unsupervised object recognition and report competitive results.     

拟合矩阵与两阶融合迭代加速推荐算法

传统的矩阵分解模型无法充分探索用户与物品在均值、偏置和特征之间的内在联系,提出拟合矩阵模型,通过构建用户与物品矩阵分别代表用户与物品特性来提高预测性能。矩阵分解模型在推荐系统领域有精度优势,但求解模型参数最常用的梯度下降法收敛速度缓慢,因此考虑与拟牛顿法融合,加快收敛速度。提出的算法命名为拟合矩阵与两阶融合迭代加速推荐算法（fitting matrix and two orders fusion iterative,FAST）,实验表明,FAST算法比传统的非负矩阵分解（NMF）、奇异值矩阵分解（SVD）、正则化奇异值矩阵分解（RSVD）在平均绝对误差（MAE）与均方根误差（RMSE）上有下降,在迭代效率上有显著提高,缓解了精度与迭代效率难以平衡的问题。     

基于Im2col的并行深度卷积神经网络优化算法

针对大数据环境下并行深度卷积神经网络（DCNN）算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征提取策略MHO-PFES,提取数据中的目标特征作为卷积神经网络的输入,有效避免了数据冗余特征多的问题;其次,设计基于Im2col方法的并行模型训练策略IM-PMTS,通过设计马氏距离中心值去除冗余卷积核,并结合MapReduce和Im2col方法并行训练模型,提高了卷积层运算速度;最后提出改进的小批量梯度下降策略IM-BGDS,排除异常节点的训练数据对批梯度的影响,解决了损失函数收敛性差的问题。实验结果表明,IA-PDCNNOA算法在大数据环境下进行深度卷积神经网络计算具有较好的性能表现,适用于大规模数据集的并行化深度卷积神经网络模型训练。