鲁棒最小二乘支持向量回归机

针对最小二乘支持向量回归机(LS-SVR)对异常值较敏感的问题,通过设置异常值所造成的损失上界,提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性,利用凹凸过程(CCCP)将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比,该算法对异常值具有较强的鲁棒性,获得了更优的泛化能力,同时在运行时间上也具有明显优势。     

基于Rescaled Hinge损失函数的多子支持向量机

针对多分类学习模型性能会受异常值影响的问题,提出基于Rescaled Hinge损失函数的多子支持向量机（RHMBSVM）。首先,该方法通过引入有界、非凸的Rescaled Hinge损失函数来构建相应的优化问题;然后,利用共轭函数理论将优化问题作等价变换;最后,使用变量交替策略形成一个迭代算法来求解非凸优化问题,该方法在求解的过程中可自动调节每个样本点的惩罚权重,从而削弱了异常值对K个超平面的影响,增强了鲁棒性。使用5折交叉验证的方法进行数值实验,实验结果表明,在数据集无异常值的情况下,该方法的正确率比多子支持向量机（MBSVM）提升了1.11个百分点,比基于Rescaled Hinge损失函数的鲁棒支持向量机（RSVM-RHHQ）提升了0.74个百分点;在数据集有异常值的情况下,该方法的正确率比MBSVM提升了2.10个百分点,比RSVM-RHHQ提升了1.47个百分点。实验结果证明了所提方法在解决有异常值的多分类问题上的鲁棒性。     

基于Rescaled Hinge损失函数的多子支持向量机

针对多分类学习模型性能会受异常值影响的问题，提出基于Rescaled Hinge损失函数的多子支持向量机（RHMBSVM）。首先，该方法通过引入有界、非凸的Rescaled Hinge损失函数来构建相应的优化问题；然后，利用共轭函数理论将优化问题作等价变换；最后，使用变量交替策略形成一个迭代算法来求解非凸优化问题，该方法在求解的过程中可自动调节每个样本点的惩罚权重，从而削弱了异常值对K个超平面的影响，增强了鲁棒性。使用5折交叉验证的方法进行数值实验，实验结果表明，在数据集无异常值的情况下，该方法的正确率比多子支持向量机（MBSVM）提升了1.11个百分点，比基于Rescaled Hinge损失函数的鲁棒支持向量机（RSVM-RHHQ）提升了0.74个百分点；在数据集有异常值的情况下，该方法的正确率比MBSVM提升了2.10个百分点，比RSVM-RHHQ提升了1.47个百分点。实验结果证明了所提方法在解决有异常值的多分类问题上的鲁棒性。     

基于随机优化的大规模噪声数据集快速学习方法

针对包含噪声与干扰数据的大规模机器学习问题,采用非凸Ramp损失函数抑制噪声和干扰数据的影响,提出一种基于随机优化的非凸线性支持向量机快速学习方法,有效改进训练速度和预测精度.实验结果表明该方法降低学习时间,在MNIST数据集上较传统学习方法的训练时间降低4个数量级.同时在一定程度上改进预测速度,并有效提升分类器对噪声数据集的泛化性能.     

基于最小二乘支持向量机的声波测距系统消噪处理

针对声波测距系统噪声复杂,淹没在噪声中的回波难以检测的问题,以机器统计学习理论为基础,采用最小二乘支持向量机(LS-SVM)建立系统模型,实现了声波测距系统异常值的预测和噪声的消除,并与传统的时间序列分析方法建立的自回归滑动平均求和模型(ARIMA)的消噪效果进行了仿真对比。仿真结果表明,利用最小二乘支持向量机建立的模型预测精度高,能有效地抑制声波测距系统中的噪声。     

多阶灰色支持向量机集成预测模型研究

对灰色预测模型GM(1,1)和支持向量机SVM预测模型进行分析,提出了多阶灰色支持向量机集成预测模型Dm_GM(1,1)-SVM。通过多阶缓冲算子改进灰色预测模型的预测精度,对最终预测值的各个相关指标进行预测;同时,采用粒子群优化算法对支持向量机模型进行径向基核参数和惩罚参数寻优,得到最佳参数对(c,g),从而确定支持向量机的最佳回归模型;最后将各指标预测值作为支持向量机模型的输入,依据预测模型和预测模型的输入值求得预测结果。实验实例表明,多阶灰色支持向量机集成模型和传统的预测模型相比,在本例中预测精度更高,说明多阶灰色预测模型和支持向量机模型相结合在解决实际预测问题中具有实用价值。     

一族三次样条光滑半监督支持向量机

针对半监督支持向量分类优化中的非凸非光滑化问题,建立光滑半监督支持向量机模型,提出基于分段多项式函数和插值思想构造一个新的三次样条光滑函数,从而可以更好地逼近对半监督支持向量机中非光滑的对称铰链损失函数部分,构造出基于此光滑函数的具有二阶光滑的半监督支持向量机模型。进而可以用优化中的光滑算法来求解该模型,并分析所构造的三次样条函数对对称铰链损失函数的逼近精度。通过数据实验证明所构造的新的光滑半监督模型具有较好的分类效果和效率。     

分段光滑的半监督支持向量分类机

为了解决半监督支持向量分类优化模型中的非凸非光滑问题,基于分段逼近的思想提出了一个分段函数,并以此逼近非凸非光滑的目标函数。给出的分段函数可以根据不同的精度要求选择不同的逼近参数,同时构造出基于上述分段函数的光滑半监督支持向量机模型。采用了LDS(Low Density Separation)算法求解模型,分析了其对对称铰链损失函数的逼进精度。理论分析和数值实验结果都证明分段光滑的半监督支持向量机的分类性能和效率优于以往提出的光滑模型。     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数，提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样，最小二乘隐空间支持向量机不需要核函数满足正定条件，从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数，最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划，这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于PSO优化的SVM预测应用研究*

支持向量机参数对支持向量机的性能有着重要影响,参数选择问题是支持向量机的重要研究内容。针对此问题,提出一种基于粒子群优化算法的支持向量机参数选择方法。实验结果表明,经粒子群优化算法优化的支持向量机回归模型具有较高的预测精度,粒子群优化算法是选取支持向量机参数的有效方法。     

稀疏结构化最小二乘双支持向量回归机

最小二乘双支持向量回归机（LSTSVR）通过引入最小二乘损失将双支持向量回归机（TSVR）中的二次规划问题简化为两个线性方程组的求解,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险易导致以下不足：（1）“过学习”问题;（2）模型的解缺乏稀疏性,难以训练大规模数据。针对（1）,提出结构化最小二乘双支持向量回归机（S-LSTSVR）以提升模型的泛化能力;针对（2）,进一步利用不完全Choesky分解对核矩阵进行低秩近似,给出求解S-LSTSVR的稀疏算法SS-LSTSVR,使模型能有效地训练大规模数据。人工数据和UCI数据集中的实验证明SS-LSTSVR不但可以避免“过学习”,而且能够高效地解决大规模训练问题。     

距离加权极端支持向量机

由于极端支持向量分类机（ESVM）在对样本进行分类时并没有考虑到数据集中样本点的分布情况,对所有样本点的误差项都给予了相同的惩罚因子,使得分类器的分类效果很容易受到噪声、野值数据的干扰,针对这个问题,在ESVM的基础上提出了一种基于距离加权的极端支持向量机（WESVM）。由于不同的样本到其类中心距离的不同,因此对不同的样本给予不同的权重。分类实验结果表明WESVM与ELM、ESVM相比具有更好的分类精度。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

利用矢量基学习和自适应迭代算法改进LSSVR

针对最小二乘支持向量回归缺乏传统SVR的稀疏性和鲁棒性等问题,综合矢量基学习和自适应迭代算法的优势,提出了一种改进的加权最小二乘支持向量回归算法（LSSVR）。该算法通过引入用矢量基学习和自适应迭代相结合的方式得到一个小的支持向量集,可以避免递推时可能出现的误差积累问题,有效提高算法的稀疏性和稳定性;同时采用加权方法确定权值系数以减小训练样本中非高斯噪声的影响。实验结果表明,改进的LSSVR具有较好的鲁棒性、支持向量稀疏性和动态建模实时性。     

稀疏表示亲近支持向量机

通过广义特征值分类的局部信息亲近支持向量机(LIPSVM)将数据点分类到由广义特征值产生的两个不平行平面中最相近者,研究发现LIPSVM方法性能对模型参数具有较强的敏感性,对此,基于稀疏表示技术,提出一种鲁棒的稀疏表示亲近支持向量机(SPSVM),通过挖掘数据点间的有判别的稀疏表示信息,SPSVM除了保持LIPSVM所具备的运算时间快和分类精度高的优势外,还具备噪声学习环境下的鲁棒性(即对噪声或离群点数据具有自然的判别力),且避免了LIPSVM中模型参数选择问题。人工和基准数据集实验结果证实SPSVM具有相较于现有相关方法更优或可比较的学习性能。     

基于pinball损失的结构模糊多分类支持向量机算法

针对多分类支持向量机（MSVM）对噪声较强的敏感性、对重采样数据的不稳定性以及泛化性能低等缺陷,将pinball损失函数、样本模糊隶属度以及样本结构信息引入到简化的多分类支持向量机（SimMSVM）算法中,构建了基于pinball损失的结构模糊多分类支持向量机算法Pin-SFSimMSVM。在人工数据集、UCI数据集以及添加不同比例噪声的UCI数据集上的实验结果显示：所提出的Pin-SFSimMSVM算法与SimMSVM算法相比,准确率均提升了0~5.25个百分点;所提出的算法不仅具有避免多类数据存在不可分区域和计算速度快的优点,而且具有对噪声较好的不敏感性以及对重采样数据的稳定性,同时考虑了不同数据样本在分类时扮演不同角色的事实以及数据中包含的重要先验知识,从而使分类器训练更准确。     

基于启发式算法的混沌支持向量机流量预测

针对现有混沌支持向量机回归模型存在流量预测效率低下的问题,利用差分进化(DE)算法、遗传算法和粒子群优化算法确定模型的径向基核函数系数、惩罚系数、不敏感系数等参数,在此基础上建立改进的混沌支持向量机回归模型进行流量预测。实例表明,相比其他启发式算法,DE算法能以较高的效率搜索到混沌支持向量机回归模型的最优参数,并且该模型具有较高的预测精度。     

鲁棒双子支持向量回归

针对传统支持向量回归机缺乏鲁棒性而鲁棒支持向量回归机稀疏性不理想,提出了新的支持向量回归方法（鲁棒双子支持向量回归）。为了求解的方便,该方法的损失函数由两个可微的凸函数构成,并且采用CCCP技术对其进行求解。该方法在获得良好稀疏性的同时有效地抑制了过失误差的影响。通过人工数据和现实真实数据对该方法的测试,验证了新方法的有效性。