多拉格朗日乘子协同优化的SVM快速学习算法研究

提出了一个利用多个拉格朗日乘子协同优化的支持向量机快速学习方法(MLSVM),并给出了每个乘子的可行域范围的定义公式,由于在每个乘子的优化过程中使用了解析表达式,使得算法可以更加精确和快速地逼近最优解,可以证明SMO算法是该方法的一个特例.在此方法的理论指导下,根据不同的学习策略,程序实现了3种不同的具体算法(MLSVM1,MLSVM2,MLSVM3),其中前两个算法在数据集不大时(＜5000条记录)学习速度与SMO算法相当,但当数据集更大时,算法就失效了.MLSVM3是一个改进算法,总结了MLSVM1和MLSVM2失效的原因,对SMO算法中学习效率较低的部分进行了改进,在多个数据集上测试,MLSVM3算法速度超过了SMO算法7.4%~4130%.     

一种快速SVM学习算法

在对两种SVM学习算法(SMO和SVMlight)进行分析的基础上,提出了一种改进的基于集合划分和SMO的算法SDBSMO。该算法根据样本违背最优化条件的厉害程度将训练集划分为多个集合,每次迭代后利用集合信息快速更新工作集和相关参数,从而减少迭代开销,提高训练速度。实验结果表明该算法能很好地提高支持向量机的训练速度。     

径向基函数（RBF）神经网络的一种极大熵学习算法

RBF神经网络中心向量的确定是整个网络学习的关键,该文基于信息论中的极大熵原理构造了训练中心向量的极大熵聚类算法,由此给出了网络的极大熵学习算法。文中最后分别用一个时间序列预测和系统辨识问题验证了该学习算法的有效性,同RBF网络和多层感知机的误差回传算法相比,该算法不仅在学习精度和泛化推广能力上有一定程度的提高,而且学习时间有显著的降低。     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

一种回归神经网络的快速在线学习算法

针对回归神经网络BP学习算法收敛慢的缺陷,提出了一种新的快速在线递推学习算法.本算法在目标函数中引入了遗忘因子,并借助于非线性系统的最大似然估计原理成功地解决了动态非线性系统回归神经网络模型权系数学习的实时性和快速性问题.仿真结果表明,该算法比传统的回归BP学习算法具有更快的收敛速度.     

前馈神经网络的一种快速学习算法

提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数,这个优化目标函数对于权值和隐层输出来说为凸函数,不存在局部最小。首先把隐层输出作为变量进行优化更新,然后快速计算出隐层前后的权值。数值实验表明：此算法简单,收敛速度快,泛化能力强,并大大降低了学习误差。     

一种新的对角回归神经网络快速学习算法

提出一种新的动态对角回归神经网络学习算法－局部动态误差反传算法（LDBP），该算法定义了一种新的局部均方差函数，并为回归单元建立一种新的学习结构。如果估计出各层的期望输出值，多层回归网络便可分解成一组自适应单元（Adaline），而每个单元可通过二次优化方法进行训练。采用可在有限步人找出全局最优解的共轭梯度法（CG）进行寻优。由于学习过程采用超线性搜索，大大减少了循环步数和计算时间。     

一种基于多目标优化的神经网络快速学习算法

本文根据多目标优化理论、认知科学和神经科学等学科的最新成果，提出了一种基于多目标优化的神经网络快速学习算法．实验结果表明，该学习算法可以解决目前神经网络普遍存在的学习时间长、容易陷入局部极小和网络结构优化难等问题.     

一种SVM训练样本集寻优算法

首先运用Bagging算法解决样本数据变化带来的不稳定性,然后运用网格搜索法寻找合适的训练样本尺寸,再结合两者的特点,提出了一种自助网格搜索算法,从多个支持向量机(SVM)分类器中寻求一个最优的SVM分类器.实验结果表明,算法有效地提高了分类器的学习精度与学习性能,对大样本数据来说,可以用相对较少的样本进行训练后的性能来预测它对一个非常庞大的训练集的性能,大大减少了SVM训练的时间.     

一种新的基于KKT条件的错误驱动SVM增量学习算法

分析了SVM增量学习过程中, 样本SV集跟非SV集的转化, 考虑到初始非SV集和新增样本对分类信息的影响, 改进了原有KKT条件, 并结合改进了的错误驱动策略, 提出了新的基于KKT条件下的错误驱动增量学习算法, 在不影响处理速度的前提下, 尽可能多的保留原始样本中的有用信息, 剔除新增样本中的无用信息, 提高分类器精度, 最后通过实验表明该算法在优化分类器效果, 提高分类器性能方面上有良好的作用。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。     

超球体单类支持向量机的SMO训练算法

由于One-class支持向量机能用于无监督学习,被广泛用于信息安全、图像识别等领域中.而超球体One class支持向量机能生成一个合适的球体,将训练样本包含其中,故更适合于呈球形分布的样本学习.但由于超球体One-class支持向量机没有一种快速训练算法,使其在应用中受到限制.SMO算法成功地训练了标准SVM,其训练思想也可用于超球体One-class支持向量机的训练.本文提出了超球体One-class支持向量机的SMO训练算法,并对其空间和时间复杂度进行了分析.实验表明,这种算法能迅速、有效地训练超球体One-class支持向量机.     

一种Adaboost快速训练算法

为解决基于Adaboost算法的人脸检测训练耗时的问题,提出一种Adaboost快速训练算法。基于原算法,在训练中使用序列化表格选取弱特征,在一轮训练结束后不进行样本权值更新,直接在已选分类器的基础上利用直方图统计的方法进行下一轮训练。实验证明该算法有较高的训练效率。     

基于蚁群算法的SVM模型选择研究

为了提高SVM的分类器性能，提出使用蚁群算法来指导SVM模型参数的选择，并针对采用RBF作为核函数的SVM进行了实验。然后将该方法与基于GA的SVM模型选择方法进行了比较。实验证明采用蚁群算法具有一定的优势，它能在较短的时间内寻找到最优解，且最终得到的分类结果优于遗传算法。     

基于蚁群算法的SVM模型选择研究

为了提高SVM的分类器性能,提出使用蚁群算法来指导SVM模型参数的选择,并针对采用RBF作为核函数的SVM进行了实验。然后将该方法与基于GA的SVM模型选择方法进行了比较。实验证明采用蚁群算法具有一定的优势,它能在较短的时间内寻找到最优解,且最终得到的分类结果优于遗传算法。     

一种基于凸壳算法的SVM集成方法

为提高支持向量机(SVM)集成的训练速度,提出一种基于凸壳算法的SVM集成方法,得到训练集各类数据的壳向量,将其作为基分类器的训练集,并采用Bagging策略集成各个SVM。在训练过程中,通过抛弃性能较差的基分类器,进一步提高集成分类精度。将该方法用于3组数据,实验结果表明,SVM集成的训练和分类速度平均分别提高了266％和25％。     

基于改进SVM方法的入侵检测

在入侵检测应用中,SVM能够在小样本条件下保持良好的检测状态。该文提出了一种改进的SVM方法,其在特定概率指导下删减训练集中的非有效样本,取得了更优的分类效果,改善了传统SVM训练和分类中存在的高资源占用和时耗过高的状况。对DARPA数据的检测实验表明,该方法在入侵检测上有较好的表现。     

基于SVM算法的用户行为认证方法

为提高手机安全性,提出一种基于SVM的用户操作行为认证方法.通过监听手机触摸屏设备,持续获取用户操作时的滑动轨迹、接触面积等原始数据.设计用户行为特征提取算法以建立用户特征样本,经SVM算法加以训练形成用户行为特征模型;综合用户访问目标及历史认证结果采用不同认证策略,达到重点保护敏感数据,方便用户访问非敏感数据的效果.在Android系统环境下的实验验证表明,该方法具有良好的认证效果.