基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.     

SVRRPMCC:一种支持向量回归机的正则化路径近似算法

正则化路径算法是数值求解支持向量回归机(Support Vector Regression,SVR)的有效方法。根据SVR正则化路径的分段线性性质,该类算法可在相当于一次SVR求解的时间复杂度内求得正则化参数的所有可能取值及对应SVR的解。由于在解路径建立过程中需要求解线性方程组,已有的精确计算方法难以处理大规模的样本数据,因此研究了正则化路径近似算法,并提出了SVR正则化路径近似算法SVRRPMCC。首先,应用Monte Carlo方法实现线性方程组系数矩阵的随机采样,求得近似系数矩阵; 然后,应用Cholesky分解方法实现快速求解系数逆矩阵;进一步,分析了SVRRPMCC算法的近似误差和计算复杂性;最后,在标准数据集上的实验验证了SVRRPMCC算法的合理性和较高的计算效率。     

共轭梯度型支撑向量机

求解支撑向量机的二次规划有不同的变形.对于线性问题,从一个变形出发,利用Lagrangian对偶技巧,将特征空间的高维二次规划问题转化为输入空间的低维无约束、可微凸的对偶规划.针对目标函数的分片二次特征,结合快速精确的一维搜索技术,提出共轭梯度型支撑向量机来求解该问题.利用Cholesky分解或非完全(incomplete)Cholesky分解方法分解核矩阵,在算法复杂度增加很少的条件下可实现基于核函数的非线性分类.该算法可以在普通计算机上快速求解上百万规模的线性训练问题和较大规模的非线性训练问题.大量数据实验和复杂度分析表明,该算法与同类算法如ASVM、LSVM相比是有效的.     

一种基于Cholesky分解的动态无偏LS-SVM学习算法

针对最小二乘支持向量机用于在线建模时存在的计算复杂性问题,提出一种动态无偏最小二乘支持向量回归模型.该模型通过改进标准最小二乘支持向量机结构风险的形式消除了偏置项.得到了无偏的最小二乘支持向量机,简化了回归系数的求解.根据模型动态变化过程中核函数矩阵的特点,设计了基于Cholesky分解的在线学习算法.该算法能充分利用历史训练结果,减少计算复杂性.仿真实验表明了所提出模型的有效性.     

基于GPU的稀疏矩阵Cholesky分解

稀疏矩阵Cholesky分解是求解大规模稀疏线性方程组的核心算法,也是求解过程中最耗时的部分.近年来,一系列并行算法通过图形处理器(GPU)获得了显著的加速比,然而,由于访存的不规则性以及任务间的大量数据依赖关系,稀疏矩阵Cholesky分解算法在GPU上的计算效率很低.文中实现了一种新的基于GPU的稀疏矩阵Cholesky分解算法.在数据组织方面,改进了稀疏矩阵超节点数据结构,通过超节点合并和分块控制计算粒度;在计算调度方面,将稀疏矩阵Cholesky分解过程映射为一系列的数据块任务,并设计了相应的任务生成与调度算法,在满足数据依赖性的前提下提高任务的并行性.实验结果表明,该算法能够显著提高稀疏矩阵Cholesky分解算法在GPU上的实现效率,在单个GPU上获得了相对4核CPU平台2.69~3.88倍的加速比.     

代价约束多核最小二乘支持向量机及其应用

针对多核最小二乘支持向量机(multiple kernel least squares support vector machine,MK-LSSVM)忽略了核函数的代价以及缺乏稀疏性的问题,提出了一种代价约束的稀疏多核最小二乘支持向量机方法.将MK-LSSVM的原始优化问题转化为二阶锥规划形式,引入核函数代价因子,约束复杂核函数的权重,以节约变量存储空间利计算时间,利用Schmidt 正交化理论约简核矩阵,进一步减小计算量,并根据支持向量的数目以及活动核函数的类型评估多核学习的总代价.测试数据集仿真结果表明,相比传统的MK-LSSVM,该方法利用更少的支持向量和更简单的组合核函数达到了相同的精度要求,代价更小.采用该方法预测浮选回收率的代价值降低了27.56.     

求解大规模问题的多核学习正则化路径算法

多核学习在处理异构、不规则和分布不平坦的样本数据时表现出良好的灵活性和可解释性.针对精确正则化路径算法难以处理大规模样本数据的问题,文中提出正则化路径近似算法.根据采样分布函数进行抽样,在原始核矩阵的基础上生成近似矩阵,同时在拉格朗日乘子向量中抽取对应行,实现矩阵乘积的近似计算,提高多核学习正则化路径的求解效率.最后分析多核学习正则化路径近似算法的近似误差界和计算复杂性.在标准数据集上的实验验证文中算法的合理性和计算效率.     

基于相似度差的大间隔快速学习模型

许多模式分类方法比如支持向量机和L₂核分类器等都会利用核方法并转化为二次规划问题进行求解,而计算核矩阵需要O(m²)的空间复杂度,求解QP问题则需要O(m³)的时间复杂度,这就使得此类方法在大样本数据上的学习性能非常低下。对此,首次提出了相似度差支持向量机算法DSSVM。算法旨在寻求样本与某类相似度的一个最佳线性表示,并从线性表示的稀疏性以及相似度差意义上的间隔最大化角度构造了新的最优化问题。同时,证明了该算法等价于中心约束型最小包含球问题,这样就可以通过引入最小包含球的快速学习理论将相似度差支持向量机扩展为相似度差核支持向量机DSCVM,从而较好地解决了大规模数据集的分类问题。实验证明了相似度差支持向量机和相似度差核支持向量机的有效性。     

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法.针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程.采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性.采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性.实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度.     

基于CUR矩阵分解的多核学习正则化路径近似算法

多核学习在解决不规则、大规模数据问题时表现出良好的优越性。正则化路径是一种多次求解多核学习,选择最优模型的措施。针对多核学习正则化路径算法处理大规模数据时,核矩阵规模较大,计算代价高,影响优化模型效率的问题,提出一种基于CUR矩阵分解的多核学习正则化路径近似算法(Multiple kernel learning regularization path approximation algorithm with CUR, MKLRPCUR)。该算法首先采用CUR算法获得核矩阵的低秩近似矩阵的多个分解矩阵,然后在求解过程中利用低维的分解矩阵相乘替代核矩阵,调整相关矩阵计算的顺序,从而简化算法中核矩阵和拉格朗日乘子向量乘积的计算。 MKLRPCUR算法降低了矩阵的计算规模,优化了矩阵计算,提高了精确算法的计算效率。 从理论上分析低秩近似矩阵的相对误差和算法的时间复杂度,验证了近似算法的合理性。同时,在UCI数据集、ORL和COIL图像数据库上的实验结果表明,本文提出的近似算法不仅保证了学习的准确率,并且降低了算法的运行时间,提高了模型的效率。     

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。     

核矩阵列相关低秩近似分解算法

提出一种核矩阵低秩近似分解方法。首先针对传统核矩阵分解列与类别独立的假设,研究列之间的关系,结合类别设计核矩阵的列选取策略。在此基础上,将核矩阵的分解分为两个阶段,与传统分解算法只考虑对角元素占优不同,利用核矩阵列之间以及列与类别之间的关系获取的Cholesky因子进行分解,并将其基向量扩展到整个空间。最后给出近似误差界的期望值。该算法不需要列之间或列与类别独立的假设,将列与类别关联,能提取有判别能力的子矩阵,并避免对核矩阵整体进行特征值分解运算,有效降低计算量。多个数据集的实验和分析验证该算法的合理性和有效性。     

基于NMF-SVM模型的上肢sEMG手势识别方法

针对基于表面肌电信号进行动作识别的问题,按照不同的运动形态对应的各肌肉激活程度不同的思路,建立基于非负矩阵分解（NMF）与支持向量机（SVM）的联合模型,对从肌电信号中提取的特征值按照行表示肌肉类型,列表示特征值类型的规则组成规律性的特征矩阵,并对特征矩阵进行非负矩阵分解降维,降维得到的表征各肌肉激活程度的系数矩阵送入到支持向量机中训练并分类。基于非负矩阵分解与支持向量机联合模型与传统SVM模型相比,计算效率提高了一半,识别率提高了5.2%;通过样本分离实验表明,该算法依然有91.7%以上的识别率,验证了算法的有效性。     

基于线性规划的多类支持向量机算法

多类支持向量机一般采用多个两类分类支持向量机来求解,这就需要解多个二次规划问题,从而导致算法的计算复杂性很高.根据一类分类思想,提出一种基于线性规划的多类分类算法及其分解形式,所给算法通过引入核函数能够独立地对每一类样本形成一个紧致的优化区域,从而达到分类的目的.对人工三螺旋线数据和几组实际数据库的识别实验表明,所给算法在保持良好的分类精度前提下,能有效地降低程序的运行时间.     

一种无约束凸规划多平面修正TWSVM

对支持向量机（Twin Support Vector Machine,TWSVM）的优化思想源于基于广义特征值近似支持向量机（Proximal SVM based on Generalized Eigenvalues,GEPSVM）。该算法将传统SVM问题分解为两个凸规划问题,使得训练速度缩减到原来的1/4。对TWSVM做了修正,基于新的优化准则设计了一种特殊TWSVM（GTWSVM）,在此基础上,提出了快速GTWSVM（FGTWSVM）,其将GTWSVM转换为无约束凸规划问题求解。该算法在保证得到与TWSVM相当的分类性能以及较快的计算速度的同时,还减少了输入空间的特征数以及内存占用。对于非线性问题,FGTWSVM可以减少核函数数目。     

基于核矩阵学习的XML文档相似度量方法

XML文档作为一种新的数据形式,成为当前的研究热点.XML文档间相似度的计算是XML文档分析、管理及文本挖掘的基础.结构链接向量模型(structuredlink vector model,简称SLVM)是一种综合考虑XML文档结构信息与内容信息进行XML文档相似度量的方法.体现XML文档结构单元关系的核矩阵在结构链接向量模型中扮演着重要角色.为自动捕获XML文档结构单元关系,提出了两种核矩阵的学习算法,分别是基于支持向量机(support vector machine,简称SVM)的回归学习算法和基于矩阵迭代的学习算法.相似搜索实验对比结果表明,基于核矩阵学习方法的XML文档相似度量方法的准确性明显优于其他方法.进一步实验表明,基于矩阵迭代学习的核矩阵学习算法与基于支持向量机的回归学习算法相比,不仅具有更高的准确性,而且所需训练文档更少、计算代价更小.     

基于采样的POMDP近似算法

部分可观察马尔科夫决策过程（POMDP）是一种描述机器人在动态不确定环境下行动选择的问题模型。对于具有稀疏转移矩阵的POMDP问题模型，该文提出了一种求解该问题模型的快速近似算法。该算法首先利用QMDP算法产生的策略进行信念空间采样，并通过点迭代算法快速生成POMDP值函数，从而产生近似的最优行动选择策略。在相同的POMDP试验模型上，执行该算法产生的策略得到的回报值与执行其他近似算法产生的策略得到的回报值相当，但该算法计算速度快，它产生的策略表示向量集合小于现有其他近似算法产生的集合。因此，它比这些近似算法更适应于大规模的稀疏状态转移矩阵POMDP模型求解计算。     

一种基于Vague-Sigmoid核的支持向量机研究

Sigmoid核最初起源于神经网络,目前在支持向量机中也得到了广泛应用,但由于核矩阵的非半正定性,其应用受到一些限制.研究表明Sigmoid核可以用简单的模糊三角隶属函数来近似替代,使得其学习效率能进一步提高.本文首先分析模糊支持向量机的特性,将模糊理论用于支持向量机的核中,并在此基础上提出了基于Vague-Sigmoid核函数的支持向量分类器.该方法充分结合了Vague集的自身优势,用基于Vague集的相似度量来代替了常规中的样本间的点积计算方法.将文中提出的方法应用于标准数据集中,并与传统的Sigmoid核方法、Fuzzy -Sigmoid核方法进行了实验分析, 实验表明文中提出的方法在不损失精度的情况下,能较好的提高算法的执行效率,取得了较好的实验结果;同时也表明在支持向量机中能利用Vague-S igmoid核取代替传统的Sigmoid核,从而减少对Sigmoid核的限制.     

稀疏结构化最小二乘双支持向量回归机

最小二乘双支持向量回归机（LSTSVR）通过引入最小二乘损失将双支持向量回归机（TSVR）中的二次规划问题简化为两个线性方程组的求解,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险易导致以下不足：（1）“过学习”问题;（2）模型的解缺乏稀疏性,难以训练大规模数据。针对（1）,提出结构化最小二乘双支持向量回归机（S-LSTSVR）以提升模型的泛化能力;针对（2）,进一步利用不完全Choesky分解对核矩阵进行低秩近似,给出求解S-LSTSVR的稀疏算法SS-LSTSVR,使模型能有效地训练大规模数据。人工数据和UCI数据集中的实验证明SS-LSTSVR不但可以避免“过学习”,而且能够高效地解决大规模训练问题。     

求解互补支持向量机的非单调信赖域算法

求解支持向量机的核心问题是对一个大规模凸二次规划问题进行求解。基于支持向量机的修正模型,得到一个与之等价的互补问题,利用Fischer-Burmeister互补函数,从一个新的角度提出了求解互补支持向量机的非单调信赖域算法。新算法避免了求解Hesse矩阵或矩阵求逆运算,减少了工作量,提高了运算效率。在不需要任何假设的情况下,证明算法具有全局收敛性。数值实验结果表明,对于大规模非线性分类问题,该算法的运行速度比LSVM算法和下降法快,为求解SVM优化问题提供了一种新的可行方法。