基于随机傅里叶特征空间的高斯核近似模型选择算法

核方法是一种把低维空间的线性不可分问题转化为高维空间中线性可分问题的方法,其广泛应用于多种学习模型。然而现有的核模型选择方法在大规模数据中计算效率较低,时间成本很大。针对这一问题,本文引入随机傅里叶特征变换,将原始核特征空间转换为另一个相对低维的显式随机特征空间,并给出核近似误差上界理论分析以及在核近似的随机特征空间中训练学习模型的误差上界,得到核近似的收敛一致性和误差上界与核近似参数之间的关系。基于随机傅里叶特征空间选择出最优模型参数,避免了对最优原始高斯核模型参数的大规模搜索,从而大幅降低原始高斯核模型选择所需的时间成本。实验表明,本文给出的误差上界确由核近似参数控制,核近似选择的最优模型相较于原始高斯核模型有较高的准确率,并且模型选择时间相对网格搜索法大幅减小。     

基于随机优化的大规模噪声数据集快速学习方法

针对包含噪声与干扰数据的大规模机器学习问题,采用非凸Ramp损失函数抑制噪声和干扰数据的影响,提出一种基于随机优化的非凸线性支持向量机快速学习方法,有效改进训练速度和预测精度.实验结果表明该方法降低学习时间,在MNIST数据集上较传统学习方法的训练时间降低4个数量级.同时在一定程度上改进预测速度,并有效提升分类器对噪声数据集的泛化性能.     

用路径跟踪法和核距离矩阵优化大规模SVM

支持向量机在大规模训练集上学习时,存在学习时间长、泛化能力下降的问题。路径跟踪算法具有O(n L)的时间复杂度,能够在多项式时间内求解大规模QP问题。分析了影响SVM分类超平面的主要因素,使用路径跟踪内点算法和核距离矩阵快速约简训练集,再用约简后的训练集重新训练SVM。实验结果表明,重新训练后的SVM模型得到了简化,模型的泛化能力也得到提高。     

使用迭代方法求解核主成分分析

核主成分分析方法是使用核方法将经典的线性算法主成分分析推广到高维空间,用来处理复杂非线性数据的一种常用的特征提取算法,该算法首先在高维空间中计算所有样本之间的核矩阵,然后使用特征分解技术计算核矩阵的特征解,其计算的时间和空间复杂度分别为O(m2)和O(m3).然而在大规模数据集的情况下,由于储存和计算的问题无法进行正常的求解.文中提出首先使用幂迭代方法计算核矩阵的高阶特征解,然后重复使用Schur-Weilandt收缩方法分别计算出核矩阵的其它阶特征解.文中算法在计算过程中,不需要像传统的计算方法那样需要事先存储核矩阵,空间复杂度只有O(m).通过在模拟和真实数据的实验结果充分验证了算法的有效性.     

共轭梯度型支撑向量机

求解支撑向量机的二次规划有不同的变形.对于线性问题,从一个变形出发,利用Lagrangian对偶技巧,将特征空间的高维二次规划问题转化为输入空间的低维无约束、可微凸的对偶规划.针对目标函数的分片二次特征,结合快速精确的一维搜索技术,提出共轭梯度型支撑向量机来求解该问题.利用Cholesky分解或非完全(incomplete)Cholesky分解方法分解核矩阵,在算法复杂度增加很少的条件下可实现基于核函数的非线性分类.该算法可以在普通计算机上快速求解上百万规模的线性训练问题和较大规模的非线性训练问题.大量数据实验和复杂度分析表明,该算法与同类算法如ASVM、LSVM相比是有效的.     

基于改进KNPE算法的化工过程故障检测

核邻域保持嵌入(KNPE)算法能够较好地在非线性空间中进行故障检测,但高斯核函数仅对数据的局部空间有较强学习能力,泛化能力较差。针对上述问题,在高斯核函数的基础上,引入泛化能力较强的多项式核函数与其进行线性加权组合,提出基于组合核函数的邻域保持嵌入(CKNPE)算法。该算法在注重数据局部学习能力的同时增强了外推、预测能力,更多地保留了原始数据的特征信息。通过田纳西—伊斯曼(TE)仿真实验,与CKPCA、CMKPCA算法进行横向比较,并与NPE、KNPE算法进行纵向比较,证明了CKNPE算法对非线性故障检测的优越性。     

基于近似高斯核显式描述的大规模SVM求解

大规模数据集上非线性支持向量机(support vector machine,SVM)的求解代价过高,然而对于线性SVM却存在高效求解算法.为了应用线性SVM高效求解算法求解非线性SVM,并保证非线性SVM的精确性,提出一种基于近似高斯核显式描述的大规模SVM求解方法.首先,定义近似高斯核并建立其与高斯核的关系,推导近似高斯核与高斯核的偏差上界.然后给出近似高斯核对应的再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS)的显式描述,由此可精确刻画SVM解的结构,增强SVM方法的可解释性.最后显式地构造近似高斯核对应的特征映射,并将其作为线性SVM的输入,从而实现了用线性SVM算法高效求解大规模非线性SVM.实验结果表明,所提出的方法能提高非线性SVM的求解效率,并得到与标准非线性SVM相近的精确性.     

一种大规模支持向量机的高效求解算法

现有大规模支持向量机求解算法需要大量的内存资源和训练时间,通常在大集群并行环境下才能实现。提出了一种大规模支持向量机(SVM)的高效求解算法,以在个人PC机求解大规模SVM。它包括3个步骤:首先对大规模样本进行子采样来降低数据规模;然后应用随机傅里叶映射显式地构造随机特征空间,使得可在该随机特征空间中应用线性SVM来一致逼近高斯核SVM;最后给出线性SVM在多核环境下的并行实现方法以进一步提高求解效率。标准数据集的对比实验验证了该求解算法的可行性与高效性。     

融合互信息与线性变换的非线性特征提取

由于线性变换无法较好保留数据的非线性结构而非线性变换往往需要进行大量的复杂运算,提出一种快速、高效的非线性特征提取方法。该方法通过研究互信息梯度在核空间中的线性不变性,采用互信息二次熵快速算法及梯度上升寻优策略,在有效降低计算量的同时能够提取有判别力的非线性高阶统计量。详细的数据投影和分类实验表明该方法在分类性能和算法时间复杂度上都优于传统算法。     

基于核学习方法的短时交通流量预测

基于核学习的强大非线性映射性能,针对短时交通流量预测,提出一类基于核学习方法的预测模型。核递推最小二乘(KRLS)基于近似线性依赖(approximate linear dependence,ALD) 技术可降低计算复杂度及存储量,是一种在线核学习方法,适用于较大规模数据集的学习;核偏最小二乘(KPLS)方法将输入变量投影在潜在变量上,利用输入与输出变量之间的协方差信息提取潜在特征;核极限学习机(KELM)方法用核函数表示未知的隐含层非线性特征映射,通过正则化最小二乘算法计算网络的输出权值,能以极快的学习速度获得良好的推广性。为验证所提方法的有效性,将KELM、KPLS、ALD-KRLS用于不同实测交通流数据中,在同等条件下,与现有方法进行比较。实验结果表明,不同核学习方法的预测精度和训练速度均有提高,体现了核学习方法在短时交通流量预测中的应用潜力。