一种求解半定规划的非单调信赖域算法

提出一种求解半定规划的非单调信赖域算法。利用推广至矩阵域的光滑Fischer-Burmeister函数,转化半定规划的最优性条件,改写半定规划的中心路径,得到与其等价的无约束优化问题的非线性可微光滑方程组,在求解信赖域子问题时,利用当前迭代点的一阶梯度信息,给出信赖域半径的选取机制。仿真结果表明,与经典的内点算法相比,对于一般规模(n, m≤30)的半定规划问题,该算法的运行速度较快。对于大规模的半定规划问题(n, m＞30),该算法更适合处理Norm min、Lovasz这2类问题。     

非单调信赖域方法求解无约束非光滑优化问题

提出了非单调信赖域算法求解无约束非光滑优化问题,并和经典的信赖域方法作比较分析。同时,设定了一些条件,在这些假设条件下证明了该算法是整体收敛的。数值实验结果表明,非单调策略对无约束非光滑优化问题的求解是行之有效的,拓展了非单调信赖域算法的应用领域。     

求解二次规划逆问题的非单调信赖域算法

为了提高求解二次规划逆问题的速度,提出了针对求解该问题的非单调信赖域算法.为了降低问题的复杂度,将二次规划逆问题转换为决策变量相对较少的对偶问题,采用增广Lagrange法构造对偶问题的子问题,并通过引入光滑函数将子问题转换为无约束优化问题,利用非单调信赖域算法进行求解.数值实验结果表明,该算法的迭代次数比牛顿算法、Gauss回代交替方向法少,运行速度快.因此,对于大规模二次规划逆问题,该算法更加有效.     

一种求解无约束优化问题的非单调信赖域算法

提出了非单调信赖域算法求解基于锥模型的无约束优化问题,该算法在求解信赖域子问题时充分利用了当前迭代点的一阶梯度信息。提出了一个新的信赖域半径的选取机制,并和经典的信赖域方法作比较分析。设定了一些条件,在这些假设条件下证明了算法是整体收敛的。数值实验结果表明,该算法对基于锥模型的无约束优化问题的求解是行之有效的,拓展了非单调信赖域算法的应用领域。     

互补支持向量机

基于支持向量机的修正模型,得到一个互补支持向量机。利用Fischer-Burmeister互补函数,提出了一个新的下降算法。该算法不是基于支持向量机最优化问题本身,而是一个与之等价的互补问题。新算法不需要计算任何Hesse矩阵或矩阵求逆运算,实现简单,计算量小,克服了Mangasarian等人提出的LSVM算法需要求逆矩阵而造成不适合求解大规模非线性分类问题的缺陷。在不需要任何假设的情况下,证明了算法的全局收敛性。仿真实验表明算法是可行有效的。     

一类新的带记忆模型的非单调信赖域算法

本文就无约束优化问题提出了一个带记忆模型的非单调信赖域算法。与传统的非单调信赖域算法不同,文中的信赖域子问题的逼近模型为记忆模型,该模型使我们可以从更全面的角度来求得信赖域试探步,从而避免了传统非单调信赖域方法中试探步的求取完全依赖于当前点的信息而过于局部化的困难。文中提出了一个带记忆模型的非单调信赖域
域算法,并证明了其全局收敛性。     

一种非线性互补问题的信赖域算法收敛性

针对非线性互补问题求解困难,利用信赖域算法,并结合极大熵函数法给出该类问题的一种新的有效算法．该算法首先利用极大熵函数将非线性互补问题转化为一个无约束最优化问题,然后应用信赖域算法来优化该问题,并在一定条件下证明该算法具有全局收敛性。数值算例表明算法的有效性。     

支持向量机的算法及应用

统计学习理论是由Vapnik建立的一种专门研究小样本情况下机器学习规律的理论,支持向量机（SVM）是在这一理论基础上发展而来的一种新的通用学习方法。目前SVM已成为国际上机器学习领域新的研究热点,本文是一篇综述,旨在介绍SVM的一般理论、算法及应用,以引起国内学者的进一步关注。     

应用非单调线搜索求解一类互补问题

考虑一类含非Lipschtizian连续函数的非线性互补问题。引入plus函数的一类广义光滑函数,讨论其性质。应用所引入函数将互补问题重构为一系列光滑方程组,提出一个具有非单调线搜索的Newton算法求解重构的方程组以得到原问题的解。在很弱的条件下,该算法具有全局收敛性和局部二次收敛性。利用该算法求解一自由边界问题,其数值结果显示该算法是有效的。     

求解广义支持向量机的光滑型算法

提出一种求解支持向量机(SVMs)的光滑型算法.该算法基于其对偶优化模型的KKT系统,提出一类新的光滑函数族,将其KKT系统重构为一个光滑方程组,并采用光滑型算法进行求解.在适当的条件下,该算法是全局收敛和局部超线性收敛的.多个算例表明该算法非常有效,具有广阔的应用前景.     

一种支持向量机的快速分类算法

鉴于传统支持向量机分类过程的计算量和支持向量的个数成正比,为了提高分类决策的速度,提出一种约简支持向量的快速分类算法,该算法对原始的支持向量进行特定比例的模糊均值聚类操作,按照分类误差最小的原则构建最小线性二乘回归模型,求解新的支持向量系数和决策函数的偏置.人造数据集和标准数据集上的实验表明,约简50%支持向量后,可以在保持分类精度在无统计意义的明显损失的前提下,使得分类速度提高50%.     

双隶属度模糊支持向量机算法

对现有的模糊支持向量机进行分析，提出一种改进的模糊支持向量机算法——双隶属度模糊支持向量机法（DM FSVM）。在传统的模糊支持向量机模型中，每一个训练样本的隶属函数中只有一个隶属度，而DM FSVM中每一个训练样本拥有两个隶属度。它既能保持传统模糊支持向量机的优点，又能充分利用有限样本，增加其分类推广能力。实验表明该算法较好地提高了分类精度。     

一种改进的局部支持向量机算法

局部支持向量机是一种用途广泛的分类器,无论在理论研究还是实际应用方面,局部支持向量机都受到越来越多的关注。目前,许多传统的局部支持向量机算法都存在一个问题,即模型中样本比例失衡,导致无法提高分类精度。在加权支持向量机的启发下,提出了将加权思想应用在局部支持向量机Falk-SVM中的WFalk-SVM算法,并通过实验分析验证了WFalk-SVM的可行性及其有效性,最后对WFalk-SVM算法进行分析总结。     

一种改进的支持向量机增量学习算法

提出了一种改进的支持向量机增量学习算法。分析了新样本加入后,原样本和新样本中哪些样本可能转化为新支持向量。基于分析结论提出了一种改进的学习算法。该算法舍弃了对最终分类无用的样本,并保留了有用的样本。对标准数据集的实验结果表明,该算法在保证分类准确度的同时大大减少了训练时间。     

基于核函数的支持向量机样本选取算法

使用支持向量机求解大规模数据分类需要较大内存来存储Hessian矩阵,而矩阵的大小则依赖于样本数1,因此在一定程度上导致支持向量机分类效率及质量难以提高.考虑到只有成为支持向量的样本才对决策函数起作用,为了减少训练样本时所需空间及时间开销,提高支持向量机分类效率与质量,提出了一种基于核函数的样本选取算法.该算法通过选取最大可能成为支持向量的样本,以达到减少训练时存储Hessian矩阵所需空间及时间开销的目的.实验结果表明,该算法所筛选出的样本不仅可以提高样本训练准确率,而且可以提高分类计算速度和减少存储空间开销.     

A bi-fuzzy progressive transductive support vector machine(BFPTSVM) algorithm

Transductive support vector machine (TSVM) is a well-known algorithm that realizes transductive learning in the field of support vector classification. This paper constructs a bi-fuzzy progressive transductive support vector machine (BFPTSVM) algorithm by combining the proposed notation of bi-fuzzy memberships for the temporary labeled sample appeared in progressive learning process and the sample-pruning strategy, which decreases the computation complexity and store memory of algorithm. Simulation experiments show that the BFPTSVM algorithm derives better classification performance and converges rapidly with better stability compared to the other learning algorithms.     

基于类内超平面的模糊支持向量机

分析基于样本与类中心距离设计模糊支持向量机隶属度函数的缺点,使用类内超平面代替类中心,提出基于样本到超平面距离的隶属度函数设计方法.该方法降低隶属度函数对样本集几何形状的依赖,提高模糊支持向量机的泛化能力.最后数值实验表明,与传统的支持向量机和现有的3种不同隶属度函数的模糊支持向量机相比,新隶属度函数可达到最好的分类效果而且速度快.     

一种改进的模糊支持向量机算法

模糊隶属度函数设计是模糊支持向量机中的关键步骤.Lin & Wang提出的基于类中心距离的模糊隶属度设计方法,不能从样本集中有效区分噪声或野值点,而且可能降低支持向量的隶属度.针对上述不足,提出一种改进的隶属度函数设计方法.通过引入一个半径控制因子,充分利用样本间的信息,更加合理地设计样本的模糊隶属度.与基于类中心的隶属度方法相比,该方法在不增加时间复杂度的情况下,通过数值实验表明了方法的优势,大大提高了模糊支持向量机的分类精度.     

支持向量机理论及算法研究综述

介绍了SVM的理论基础和它的多种主要算法及这些算法的利弊与发展现状,并介绍了SVM在现实生活中的应用原理及应用现状。最后分析了SVM在发展中的不足之处,指出了其研究方向及前景,并提出在分布式支持向量机这个方向上可以进行更深层次的研究。