一种改进的并行处理SVM学习算法

支持向量机(SVM)解决小样本、非线性及高维模式识别问题有许多优势,但处理大规模数据集时训练速度缓慢.为此在循环迭代算法的基础上,提出改进的SVM学习算法.该算法将大规模数据集划分为若干个小数据集,然后并行的在各个小数据集上训练SVM,再采用合并算法对SVM进行两两合并,得到最终的SVM.最后通过仿真实验发现,改进的SVM学习算法可以加快训练速度,并具有较高的识别率.     

改进的SMO文本分类算法

支持向量机（SVM）的文本分类算法被广泛应用,其中序列最小优化算法（SMO）是它的一个特例。SMO算法使用了块与分解技术,简单并且容易实现,但是它的收敛较慢,迭代次数较多。解决的办法是改进SMO算法中工作集的选择算法,并更新步长因子,目的是为了使目标函数尽可能地下降。文中基于这个目标提出了改进的SMO算法来进一步提高SVM的训练速度和分类的准确程度。     

基于Matlab平台人脸识别仿真过程的探究

Matlab是一种科学与工程计算的高级语言,广泛地运用在包括信号与图像处理、控制系统设计等方面,我们使用Matlab作为平台,设计GUI,探究人脸识别的过程。在特征提取方面,运用主成分分析法(PCA)算法,对高维特征进行降维,保证了高位数据不失真,在分类器算法上采用支持向量机(SVM)和自适应提升(Adaboost)算法进行对比实验,SVM通过求解由全部训练样本对检测样本最佳线性表示的稀疏向量来进行分类,Adaboost算法针对不同的训练集训练同一个基本分类器(弱分类器)进行多次迭代,每次迭代增加错样本的权重,构成一个更强的最终的分类器(强分类器),实验结果表明,仿真能够达到较高的识别率和缩短识别的时间。     

基于历史梯度平均方差缩减的协同参数更新方法

随机梯度下降算法(SGD)随机使用一个样本估计梯度,造成较大的方差,使机器学习模型收敛减慢且训练不稳定。该文提出一种基于方差缩减的分布式SGD,命名为DisSAGD。该方法采用历史梯度平均方差缩减来更新机器学习模型中的参数,不需要完全梯度计算或额外存储,而是通过使用异步通信协议来共享跨节点的参数。为了解决全局参数分发存在的“更新滞后”问题,该文采用具有加速因子的学习速率和自适应采样策略:一方面当参数偏离最优值时,增大加速因子,加快收敛速度;另一方面,当一个工作节点比其他工作节点快时,为下一次迭代采样更多样本,使工作节点有更多时间来计算局部梯度。实验表明:DisSAGD显著减少了循环迭代的等待时间,加速了算法的收敛,其收敛速度比对照方法更快,在分布式集群中可以获得近似线性的加速。     

基于历史梯度平均方差缩减的协同参数更新方法

随机梯度下降算法(SGD)随机使用一个样本估计梯度,造成较大的方差,使机器学习模型收敛减慢且训练不稳定。该文提出一种基于方差缩减的分布式SGD,命名为DisSAGD。该方法采用历史梯度平均方差缩减来更新机器学习模型中的参数,不需要完全梯度计算或额外存储,而是通过使用异步通信协议来共享跨节点的参数。为了解决全局参数分发存在的“更新滞后”问题,该文采用具有加速因子的学习速率和自适应采样策略：一方面当参数偏离最优值时,增大加速因子,加快收敛速度;另一方面,当一个工作节点比其他工作节点快时,为下一次迭代采样更多样本,使工作节点有更多时间来计算局部梯度。实验表明：DisSAGD显著减少了循环迭代的等待时间,加速了算法的收敛,其收敛速度比对照方法更快,在分布式集群中可以获得近似线性的加速。     

基于FCM隶属度的支持向量机

传统SVM在训练大规模数据集时,训练速度慢,时间消耗代价大.针对此问题,提出利用FCM算法对训练样本集进行预处理,依据样本隶属度提取出所有可能的支持向量进行SVM训练.利用原始数据集对算法进行验证,此算法在保证SVM分类精度的同时,大大提高了训练速度,算法具有可行性.     

无线传感器网络下线性支持向量机分布式协同训练方法研究

针对无线传感器网络中分散在各节点上的训练数据传输到数据融合中心集中训练支持向量机(Support Vector Machine, SVM)时存在的高通信代价和高能量消耗问题,该文研究了仅依靠相邻节点间的相互协作,在网内分布式协同训练线性SVM的方法。首先,在各节点分类器决策变量与集中式分类器决策变量相一致的约束下,对集中式SVM训练问题进行等价分解,然后利用增广拉格朗日乘子法,对分解后的SVM问题进行求解和推导,进而提出基于全局平均一致性的线性SVM分布式训练算法(Average Consensus based Distributed Supported Vector Machine, AC-DSVM);为了降低AC-DSVM算法中全局平均一致性的通信开销,利用相邻节点间的局部平均一致性近似全局平均一致性,提出基于一次全局平均一致性的线性SVM分布式训练算法(Once Average Consensus based Distributed Supported Vector Machine, 1-AC-DSVM)。仿真实验结果表明,与已有算法相比,AC-DSVM算法的迭代次数和数据传输量略高,但其能够完全收敛到集中式训练结果;1-AC-DSVM算法具有较好的收敛性,而且在收敛速度和数据传输量上也表现出显著优势。     

基于卷积神经网络的脱机单个手写汉字识别

本文在GoogLeNet网络基础上搭建了一个适合手写汉字识别的卷积神经网络.研究建立了新的手写汉字训练集,新训练集综合了现有的训练集并剔除了其中的错误,同时加入印刷体训练集,增加书写风格的多样性.训练神经网络时采用随机梯度下降算法,并加入动量项加速网络参数的收敛,使用正则项防止过度拟合,最终训练出的神经网络在训练集上的正确率为99.56％,在验证集上的正确率达到96％,并具有很好的泛化能力.     

基于SVM后验概率的红外弱小目标检测

针对复杂云层背景中背景边缘干扰严重的问题,提出基于支持向量机(SVM)后验概率的红外弱小目标检测算法。该算法将红外弱小目标检测视作目标与背景的二分类问题,根据红外图像特性,以各像素点8个方向的梯度作为目标和背景的分类依据,选取能够表现目标和背景特征的梯度作为SVM训练样本的主要参考量,设定训练集,并通过训练获得SVM分类模型。基于SVM后验概率的检测算法将待测样本各像素点的8方向梯度作用于分类模型,获得的SVM后验概率作为检测输出。实验结果证明了该算法的有效性。     

基于优化Adaboost迭代过程的SVM集成算法

为提高Adaboost算法迭代过程中生成基分类器的分类精度以及简化整个集成学习系统的复杂度,文章提出了一种优化Adaboost迭代过程的SVM集成算法。该算法提出了一种在其迭代过程中加入样本选择和特征选择的集成方法。通过均值近邻算法对样本进行选择,并利用相对熵法进行特征选择,最后利用优化得到的特征样本子集对基分类器SVM进行训练,并用加权投票法融合各个SVM基分类器的决策结果进行最终判决。通过对UCI数据集的仿真结果表明,本算法与支持向量机集成算法相比,能够在更少的样本以及特征的基础上,实现较高的识别正确率。     

基于FSMO的SVM训练核的设计与实现

为了解决支持向量机（Support Vector Machine, SVM）训练的复杂性与实时性,本文提出基于单循环的快速序列最小优化算法（Fast Sequential Minimal Optimization,FSMO）来构建新的SVM训练模型.首先,针对传统序列最小优化算法（Sequential Minimal Optimization,SMO）中待优化乘子选择繁复问题,提出了轮询加随机的优选方法并设计了单循环迭代的FSMO训练架构,降低算法复杂度.其次,采用集中计算体系结构分模块设计了新的SVM训练IP核.并且将该SVM训练IP核移植到FPGA平台上进行了验证与分析.结果表明,相较于传统SMO的训练IP核,在训练准确率相似的情况下,基于FSMO的SVM训练IP核训练速度提升约39%,可节省约47%的硬件资源.     

基于SVM的二次下降有效集算法

针对现有的有效集方法应用到支持向量机(support vector machine,SVM)优化问题时收敛速度较慢的问题,提出了一种基于二次下降法和推测赋值法的有效集算法.该算法在每次迭代过程中利用映射因子将迭代向量值限制在优化问题的不等式约束中,并通过调整步长使目标优化问题的函数值较传统的有效集算法进一步下降.由于函...     

一种自适应B样条网络学习算法

本文提出Ｂ样网络的一种自适应学习算法,在这种算法中,网络隐层Ｂ样条基函数的个数根据训练数据自动确定,而非零Ｂ样条基函数对应的内结点位置和连接权通过梯度下降法迭代调整,计算机模拟结果表明该算法比现有的Ｂ样条网络学习算法更加有效和实用。     

一种基于Under-sampling的BGP异常流量检测方法

针对BGP数据中两类样本在分布上的非平衡性,本文引入Under-s锄pling算法对训练数据集进行预处理,结合SVM学习过程,通过改变SVM中训练集的样本分布来消除非平衡分布带来的不良影响.实验结果表明:引入Under-sampling算法,SVM有更好的分类效果,能更有效地检测出BGP异常流量.     

基于RBF神经网络的超高压继电保护的算法研究

提出一种基于RBF神经网络的超高压继电保护的算法。是由于径向基神经网络（RBFN）具有学习性,可以根据已有的继电保护参数样本集进行训练,从中分析出故障检测、故障定位,自适应自动重合闸技术、差动保护以及距离保护的内在联系,实现对以后的继电保护数据样本进行自适应控制。该算法的优点就是在构造过程考虑了径向基神经网络（RBFN）的预测精度和训练时间,采用了线性最小二乘法（LLS）和梯度下降法的方法,运用Matlab做了仿真实验,获得了较为准确的预测结果。     

一种改进的SVM增量学习算法研究

通过对训练样本集的几何特征和机器学习迭代过程中支持向量的变化情况分析,文章提出一种改进的基于KKT条件和壳向量的SVM增量学习算法。算法使用包含原支持向量集的小规模扩展集—壳向量,将其作为新一轮迭代的初始训练样本集。同时,基于样本是否违背KKT条件的错误驱动策略,对新增的大量样本进行筛选,以此得到更加精简有效的新增样本集。实验结果表明,与传统的增量学习算法相比,改进的算法在模型训练的收敛速度和对未知样本集的分类准确度方面都有明显的提高。     

基于随机平均梯度下降和对比源反演的非线性逆散射算法研究

采用非线性对比源反演(CSI)算法求解电磁逆散射问题时,在每次迭代过程中都涉及到求解散射场数据关于对比源和总场的微分,即Jacobi矩阵,该矩阵求解导致算法存在计算代价大和收敛速度慢等问题。该文在CSI框架下,采用一种基于随机平均梯度下降的对比源反演算法(SAG-CSI)代替原来的全梯度交替共轭梯度算法来重构介质目标介电常数的空间分布信息。该方法在每次迭代中只需计算随机抽取的部分测量数据在目标函数中的梯度信息,同时目标函数对未抽中的测量数据的梯度信息保持不变,用以上两部分梯度信息共同求解出目标函数的最优值。由模拟数据结果表明,该方法与传统CSI方法在成像精度相比拟的情况下,降低了计算代价并提高算法收敛速度。     

基于BP神经网络的彩色图像边缘检测方法研究

本文主要研究了基于动量梯度下降算法的BP神经网络在彩色图像边缘检测中的应用,减少了样本训练的迭代次数,缩短了样本训练时间。同时开发了相应图形用户界面（GUI）,实现了将本文的算法与传统边缘检测算法的检测效果对比,显示不同算法的图像边缘检测效果,以及保存处理完成的图片等功能。     

基于BP神经网络的彩色图像边缘检测方法研究

本文主要研究了基于动量梯度下降算法的BP神经网络在彩色图像边缘检测中的应用,减少了样本训练的迭代次数,缩短了样本训练时间。同时开发了相应图形用户界面（GUI）,实现了将本文的算法与传统边缘检测算法的检测效果对比,显示不同算法的图像边缘检测效果,以及保存处理完成的图片等功能。     

一种大数据集上的非线性PSVM训练方法

PSVM作为一种新型SVM方法，避免了求解二次规划问题，具有更快的计算速度，但对于大规模数据集，采用传统方法求解非线性PSVM面临大矩阵求逆的困难。文章基于共轭梯度法结合低秩估计提出了一个大数据集上的非线性PSVM训练方法NPSVM-LD，通过多次迭代的矩阵乘积运算避免了对大矩阵的求逆。在UCI数据集上的实验表明。该方法能够在应用非线性核函数条件下，使PSVM有效处理规模在10000以内的训练集的情况。