正定矩阵支持向量机正则化路径算法

正则化路径算法是数值求解支持向量机 (support vector machine, SVM)分类问题的有效方法,它可在相当于一次SVM求解的时间复杂度内得到所有的正则化参数及对应SVM的解.现有的SVM正则化路径算法或者不能处理具有重复数据、近似数据或线性相关数据,或者计算开销较大.针对这些问题,应用正定矩阵方程组求解方法来求解SVM正则化路径,提出正定矩阵SVM正则化路径算法(positive definite SVM path, PDSVMP).PDSVMP算法将迭代方程组的系数矩阵转换为正定矩阵,并采用Cholesky分解方法求解路径上各拐点处Lagrange乘子增量向量;与已有算法中直接求解正则化参数不同,该算法根据活动集变化情况确定参数增量,并在此基础上计算正则化参数,这样保证了理论正确性和数值稳定性,并可降低计算复杂性.实例数据集及标准数据集上的实验表明,PDSVMP算法可正确处理包含重复数据、近似数据或线性相关数据的数据集,并具有较高的计算效率.     

基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.     

正则化路径上的支持向量机模型组合方法

模型组合是提高支持向量机泛化性的重要方法,但存在计算效率较低的问题。提出一种基于正则化路径上贝叶斯模型平均的支持向量机模型组合方法,在提高支持向量机泛化性的同时,具有较高的计算效率。基于正则化路径算法建立初始模型集,引入对支持向量机的概率解释。模型的先验可看做是一个高斯过程,模型的后验概率通过贝叶斯公式求得,使用贝叶斯模型平均对模型进行组合。在标准数据集上,实验比较了所提出的模型组合方法与交叉验证及广义近似交叉验证（GACV）方法的性能,验证所提出的模型组合方法的有效性。     

求解大规模问题的多核学习正则化路径算法

多核学习在处理异构、不规则和分布不平坦的样本数据时表现出良好的灵活性和可解释性.针对精确正则化路径算法难以处理大规模样本数据的问题,文中提出正则化路径近似算法.根据采样分布函数进行抽样,在原始核矩阵的基础上生成近似矩阵,同时在拉格朗日乘子向量中抽取对应行,实现矩阵乘积的近似计算,提高多核学习正则化路径的求解效率.最后分析多核学习正则化路径近似算法的近似误差界和计算复杂性.在标准数据集上的实验验证文中算法的合理性和计算效率.     

基于流形正则化的支持向量回归及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对回归问题的新算法。该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机回归已有的结果,解决半监督学习的回归问题,提高了泛化能力。通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性,与支持向量回归相比,具有更高的学习精度。     

一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

一种向量预选取的分段支持向量机回归算法

针对数据波动剧烈时,一组特定的支持向量机回归参数无法满足随数据分布而改变的要求,导致回归曲线达不到所要求的精度的问题,同时针对如何有效删除在回归过程中某些非必要的数据以加快求解速度的问题,本文提出一种向量预选取的分段支持向量机回归算法．该算法首先根据数据空间分布特点删除一些非必要数据,然后根据不同区域样本的复杂程度对区间进行分段,针对各个区域设置相应的参数．仿真实验证明：p-p-SVR算法在保持回归精度的同时,较传统方法具有更好的泛化性能．     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

有效的ν支持向量回归机的ν解路径算法?

由 Sch?lkopf 等人提出的ν支持向量回归机具有通过参数ν控制支持向量和错误向量个数的优点,然而与标准的支持向量机相比,其形式更为复杂,迄今为止仍没有有效的算法计算ν解路径.基于ν支持向量回归机的修改形式,提出了一种新的解路径算法,它能够追踪参数ν对应的所有解,并通过理论分析和实验,说明了该算法能够尽可能地避免不可行的更新路径,并在有限步内拟合出所有的ν解路径.     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

基于CUR矩阵分解的多核学习正则化路径近似算法

多核学习在解决不规则、大规模数据问题时表现出良好的优越性。正则化路径是一种多次求解多核学习,选择最优模型的措施。针对多核学习正则化路径算法处理大规模数据时,核矩阵规模较大,计算代价高,影响优化模型效率的问题,提出一种基于CUR矩阵分解的多核学习正则化路径近似算法(Multiple kernel learning regularization path approximation algorithm with CUR, MKLRPCUR)。该算法首先采用CUR算法获得核矩阵的低秩近似矩阵的多个分解矩阵,然后在求解过程中利用低维的分解矩阵相乘替代核矩阵,调整相关矩阵计算的顺序,从而简化算法中核矩阵和拉格朗日乘子向量乘积的计算。 MKLRPCUR算法降低了矩阵的计算规模,优化了矩阵计算,提高了精确算法的计算效率。 从理论上分析低秩近似矩阵的相对误差和算法的时间复杂度,验证了近似算法的合理性。同时,在UCI数据集、ORL和COIL图像数据库上的实验结果表明,本文提出的近似算法不仅保证了学习的准确率,并且降低了算法的运行时间,提高了模型的效率。     

KMA-α:一个支持向量机核矩阵的近似计算算法

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo方法和不完全Cholesky分解方法,提出一个新的核矩阵近似算法KMA-α,该算法首先对核矩阵进行Monte Carlo随机采样,采样后不直接进行奇异值分解,而是应用具有对称置换的不完全Cholesky分解来计算接近最优的低秩近似.以KMA-α输出的近似核矩阵作为支持向量机的输入,可提高支持向量机二阶锥规划求解的效率.进一步,分析了KMA-α的算法复杂性,证明了KMA-α的近似误差界定理.最后,通过标准数据集上的实验,验证了KMA-α的合理性和计算效率.理论分析与实验结果表明,KMA-α是一合理、有效的核矩阵近似算法.     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

支持向量机分类回归核函数

基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题。分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了。另外,有些适用于分类问题的快速优化算法岁不能用于回归算法中。研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据。     

一种基于支持向量机的图像数字水印算法

为了使数字水印综合性能更好，根据图像邻域像素之间具有很强的相关性这一特点，提出了一种基于支持向量机的图像水印算法。该算法将支持向量机的思想用于数字水印，并取得了较好的效果。由于支持向量机在有限训练样本的情况下具有很好的学习和泛化能力，因此，可以首先利用回归型支持向量机较好地建立图像邻域像素之间的关系模型，然后，通过调整模型的输出值与中心像素值之间的大小关系来嵌入或提取水印。实验表明，用该技术嵌入水印后的图像不仅具有很好的图像感知质量和较强的鲁棒性，对图像增强、JPEG压缩、噪声、几何剪切等抵抗强，而且安全性好、实用性较强。     

支持向量机回归的参数选择方法

综合4种支持向量机回归的参数选择方法的优点,提出一种对训练样本进行分析并直接确定参数的方法。在标准测试数据集上的试验证明,该方法与传统网格搜索法相比,在时间和预测精度方面取得了更好的结果,可以较好地解决支持向量机在实际应用中参数难以选择、消耗时间长的问题。     

同伦支持向量机

支持向量机(SVM)作为一种新颖的人工智能技术,已越来越广泛地运用于各个学科领域。同伦正则化方法也是近几年新兴的一种正则化方法,在数理方程反问题中得到了广泛的应用。将同伦正则化的思想应用到支持向量机中,建立了一种新的支持向量机模型,并对最常用的核函数——高斯核进行了修改。与传统的正则化方法相比,新模型最大的优点就是正则化参数的取值范围由无限区间变成了有限区间(0,1),从而大大缩短了正则化参数的优化时间。     

基于核路径算法的支持向量回归机参数选择

参数选择是支持向量机研究领域的重要问题.针对核参数的选择,提出一种基于二分法的核参数解路径算法.由于解为核参数的非线性光滑函数,该算法随着参数的更新,可以在已有参数得出的解的基础上通过更新公式进行推导计算,从而求得当前参数所对应的解,其目标函数的极值所对应的参数值即为最优参数解.该算法可以快速地求得最优参数.将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明了该算法的可行性和有效性.     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。