支持向量机的一步光滑牛顿法

基于支持向量机的一个修正模型,将支持向量机优化问题转化为与之对偶规划等价的互补问题,简化了原二次规划问题.并利用Fischer-Burmeister互补函数,给出了一个求解该问题的一步光滑化牛顿算法.该算法每次迭代只需求解一个线性方程组,执行一次线性搜索,提高了运算效率,且算法可以任意选取初始点并具有二次收敛性质.初步的仿真实验表明该算法是可行有效.     

一种混合核函数支持向量机算法

提出一种基于混合核函数的支持向量机算法.首先证明了常用核函数的非负线性组合也是满足Mercer条件的核函数.然后通过最小化衡量二次损失函数支持向量机泛化能力的RM界来进行各子核函数参数、混合核函数组合系数以及惩罚系数的选取.仿真实验表明,基于混合核函数的支持向量机的泛化性能优于基于单一核函数的支持向量机.     

基于组合核函数支持向量机的人脸识别

利用K-L变换首先对人脸图像进行特征参数提取,再利用支持向量机进行识别。为了得到学习能力和泛化能力较好的核函数,根据核函数性质,将局部核函数和全局核函数线性组合成新的核函数-组合核函数,采用Cross-Validation方法对其参数和组合系数进行优化选择;将该核函数应用于支持向量机中,并对YALE人脸库和ORL人脸库进行实验。仿真结果验证了该核函数的有效性。与普通核函数的支持向量机的比较实验表明:该组合核函数的支持向量机优于普通核函数的支持向量机。     

离散神经网络求解支持向量机中的凸优化问题

针对正定核函数的支持向量机所导出的凸二次优化问题,提出了一个离散型神经网络模型。利用Karush-Kuhn-Tucker(KKT)条件和投影理论构造投影方程,使得投影方程的解与优化问题的解一一对应;进一步基于投影方程建立离散神经网络;理论结果表明,网络的平衡点与优化问题的最优解相对应,且网络具有全局指数收敛性。相比于连续网络,所提出的网络结构简单,减少了计算的复杂度;所得理论结果保证了网络能够有效求解支持向量机中的优化问题。最后,利用分类问题和标准数据集进行实验,数值结果验证了本文所设计的网络在求解支持向量机优化问题的有效性。     

非稀疏多核组合的支持向量回归方法

为了改善支持向量回归机的性能,本文提出了一种利用多核学习解决回归问题的算法(NS-MKR),算法对基本核函数的组合系数施加了Lp范数的约束(p>1),以得到组合系数的非稀疏解,并采用了两步优化方法,首先求解基于加权组合核的标准支持向量回归问题,用于学习拉格朗日乘子,然后采用简单的计算,求得基本核函数的组合系数,这两个步骤交替进行,直到满足事先定义的收敛准则。在人工数据集和真实数据集上的实验表明,相对于传统的单核和稀疏多核支持向量回归方法,本文提出的算法有更好的泛化性能。     

基于多层感知器的深度核映射支持向量机

为改善支持向量机的性能,从深度学习的角度研究核学习的方法,提出了基于多层感知器的深度核映射支持向量机模型( deep kernel mapping support vector machine,DKMSVM)以及相应的学习算法。该模型首先通过多层感知器学习一个从原始输入空间到合适维度空间的核映射代替传统意义上的核函数,然后直接在合适维度空间使用支持向量机进行分类,而不是采用核技巧进行求解。实验结果验证了DKMSVM的有效性。     

一种基于谱聚类的聚类核半监督支持向量机

针对传统半监督支持向量机的高斯核函数无法恰当描述流形数据特性,从而导致流形数据分类精度下降的问题,提出一种基于谱聚类的聚类核半监督支持向量机.利用谱聚类方法在特征向量空间中对原始样本数据进行重新表述,使得在新表述中同一聚类中的样本能够更好地积聚在一起,构建聚类核函数,并进而构造聚类核半监督支持向量机,使样本更好地满足半监督学习必须遵循的聚类假设.研究结果表明:聚类核半监督支持向量机对未标记样本的分类精度高且算法性能稳定,对控制参数的设置不敏感,适于解决流形数据的分类问题.     

SVM核函数对分类精度影响的研究

支持向量机是一种基于统计学习理论的新型机器学习算法,它通过求解最优化问题,在高维空间中寻找最优分类超平面,从而解决复杂数据的分类、回归问题.文中介绍了支持向量机的基本算法原理及其分类方法,重点研究将核函数引入不可分的情形.本文通过改变核函数的参数,采用对比实验来比较分类精度,同时根据Mercer条件形成新的线性组合核函数,最后得出通过改变核函数参数与线性组合核函数的方法可以明显提高分类的精度.     

双核函数最小二乘支持向量机汽油干点软测量建模

针对单核函数最小二乘支持向量机容易陷入局部最优值,提出双核函数最小二乘支持向量机软测量建模算法。该方法利用Sigmoid核函数与RBF核函数线性加权构成双核函数,去除部分较小支持向量样本的方法,改善最小二乘支持向量机的稀疏特性,提高模型运算速度,用k-交叉验证法进行部分参数的优化,最后将此方法用于建立汽油干点软测量模型,并与标准支持向量机、单核最小二乘支持向量机比较,结果表明双核函数最小二乘支持向量机软测量模型具有更高的计算精度和更好的推广能力。     

光滑孪生参数化不敏感支持向量回归机

作为机器学习方法之一的孪生参数化不敏感支持向量回归机(TPISVR)有着简洁的数学模型,良好的学习性能,特别适合于求解带有结构异方差噪声的数据回归问题,然而TPISVR的训练速度较低,训练效率有待提高.TPISVR的传统算法可以归结为通过转化对偶问题的方法求解2个带有不等式约束的二次规划问题,然而这种求解二次规划问题的...     

Least squares weighted twin support vector machines with local information

A least squares version of the recently proposed weighted twin support vector machine with local information(WLTSVM) for binary classification is formulated. This formulation leads to an extremely simple and fast algorithm, called least squares weighted twin support vector machine with local information(LSWLTSVM), for generating binary classifiers based on two non-parallel hyperplanes. Two modified primal problems of WLTSVM are attempted to solve, instead of two dual problems usually solved. The solution of the two modified problems reduces to solving just two systems of linear equations as opposed to solving two quadratic programming problems along with two systems of linear equations in WLTSVM. Moreover, two extra modifications were proposed in LSWLTSVM to improve the generalization capability. One is that a hot kernel function, not the simple-minded definition in WLTSVM, is used to define the weight matrix of adjacency graph, which ensures that the underlying similarity information between any pair of data points in the same class can be fully reflected. The other is that the weight for each point in the contrary class is considered in constructing equality constraints, which makes LSWLTSVM less sensitive to noise points than WLTSVM. Experimental results indicate that LSWLTSVM has comparable classification accuracy to that of WLTSVM but with remarkably less computational time.     

基于支持向量机和粒子群算法的结构损伤识别

为了有效地进行结构的损伤识别,提出了一种基于支持向量机和粒子群算法的结构损伤识别方法。首先利用支持向量机为损伤裂缝指标、损伤位置与各阶频率和一阶振型建立函数关系,然后将利用该函数关系得到的频率和振型与实测频率和振型间的差异作为优化目标,进而实现结构的损伤识别。为提高损伤识别的精度,将优化目标转化为多目标优化问题,并利用所提出的灰色粒子群算法进行求解。实验结果表明,该方法在结构损伤识别中具有较好的效果。     

基于支持向量机和粒子群算法的结构损伤识别

为了有效地进行结构的损伤识别,提出了一种基于支持向量机和粒子群算法的结构损伤识别方法。首先利用支持向量机为损伤裂缝指标、损伤位置与各阶频率和一阶振型建立函数关系,然后将利用该函数关系得到的频率和振型与实测频率和振型间的差异作为优化目标,进而实现结构的损伤识别。为提高损伤识别的精度,将优化目标转化为多目标优化问题,并利用所提出的灰色粒子群算法进行求解。实验结果表明,该方法在结构损伤识别中具有较好的效果。     

基于GWO-SVM的下肢假肢穿戴者骑行相位识别

针对下肢假肢穿戴者骑行相位识别的问题,提出基于灰狼算法优化的支持向量机(GWO-SVM)分类模型. 建立下肢多源信息系统,采集膝关节、踝关节的加速度信号以及膝关节角度信号. 应用奇异值分解,对采集到的信号进行降噪处理. 在对信号进行降噪处理之后,为了避免单一信号不确定的影响,从数据冗余角度,选取各信号的特征点,开展归一化处理,组成多维特征向量,作为SVM分类模型的输入. 为了能够进一步提高分类精度,加强全局优化能力,利用GWO算法对核参数进行优化. 通过与PSO-SVM分类模型、GA-SVM分类模型对比表明,基于GWO优化的SVM分类模型对骑行相位的识别率为94%,高于其他方法优化的SVM分类模型.     

基于支持向量机的增量式算法

为了扩展支持向量机在大规模数据集和成批出现数据领域的应用,提出了一种基于支持向量机的增量式学习算法.利用标准的支持向量机算法训练得到初始的目标概念,通过增量式步骤不断更新初始的目标概念.更新模型是求解一个与标准支持向量机具有类似的数学形式的凸二次规划问题.证明了在可分情况下,如果新增加的样本不是位于边界区,那么增量式过程既不会改变分类平面也不会改变分类平面的表达.与现有的增量式支持向量机算法相比,该算法无需额外计算就可实现增量式的逆过程并且训练时间与增量式步骤数成反比.实验结果表明,该算法满足稳定性、能够不断改进性能以及性能回复三个准则.     

不确定数据的一个支持向量机分类方法

给出了输入数据含有不确定信息的一个支持向量机分类方法.通过未确知数理论,得到支持向量机分类的一个概率约束模型,然后通过一定方法将概率约束转化为一般约束,由此将给出的概率约束优化模型转化为一个确定性支持向量机分类模型,从而有效解决了含有不确定数据的分类计算问题.     

一种具有统计不相关性的最优边界鉴别向量集

为了解决现有维数约简算法受样本分布影响较大、不支持小样本学习等问题,在分析线性鉴别分析(LDA)中最优鉴别向量与支持向量机(SVM)中分类超平面法向量之间关系的基础上,基于统计不相关最优鉴别向量集优于正交最优鉴别向量集的事实,提出了通过对改进的SVM的二次优化问题进行递归求解来获取具有统计不相关性的最优边界鉴别向量集的算法,并使用核方法将其推广到可以解决非线性特征抽取问题.结果表明:在采用相同参数并使用k-最近邻分类器进行训练和测试的情况下,提出的算法对实际数据集Waveform,Heart,Diabetis的分类精度均高于SVM和RSVM,不会出现当抽取超过最优维数时随着抽取维数的增加分类精度反而降低的现象,体现了本算法在抽取不相关特征向量方面的有效性.     

Water inrush evaluation of coal seam floor by integrating the water inrush coefficient and the information of water abundance

The method of singular coefficient of water inrush to achieve safety mining has limitation and one sidedness. Aiming at the problem above, large amounts of data about water inrush were collected. Then the data, including the maximum water inrush, water inrush coefficient and water abundance in aquifers of working face, were processed by the statistical analysis. The analysis results indicate that both water inrush coefficient and water abundance in aquifers should be taken into consideration when evaluating the danger of water inrush from coal seam floor. The prediction model of safe-mining evaluation grade was built by using the support vector machine, and the result shows that this model has high classification accuracy. A feasible classification system of water-inrush safety evaluation can be got by using the data visualization method which makes the implicit support vector machine models explicit.     

模糊支持向量机在径流预测中的应用

在分析现有径流预测模型局限性的基础上,考虑径流量随时间变化的不确定因素,建立了基于模糊支持向量机的径流预测模型,使得较近时间的径流数据与较远时间的径流数据相比,对预测精度的提高影响更大.将该模型应用于新疆伊犁河雅马渡站年径流预测中,与传统的支持向量机预测模型比较表明,模糊支持向量机预测精度有较大的提高,并能进一步在其他流域径流预测中推广应用.