改进的球结构SVM多分类增量学习算法

针对球结构支持向量机(support vector machine,SVM)增量学习算法在训练时间和分类精度上的不足,提出了一种改进的球结构SVM多分类增量学习算法.该算法首先构造一个完全二叉树用于多类分类;分析新增样本的加入对原支持向量集的影响,将新增样本集中部分样本和原始训练集中的支持向量以及分布在球体一定范围内的样本合并做为新的训练集,完成分类器的重构.实现通过减少训练样本缩短训练时间和完善分类器提高分类精度的目的.通过UCI标准数据集实验,结果表明,该算法在所需训练的样本数、训练时间以及准确率3方面都优于球结构SVM增量学习算法,尤其当样本分布不平衡时,该算法有更高的分类准确率.     

基于局部敏感Hash的半监督直推SVM增量学习算法

为了提高机器学习在大数据集中的学习性能,提出了一种基于局部敏感Hash的半监督支持向量机增量学习算法.首先利用局部敏感Hash能快速查找相似数据特性的能力,筛选出第一次增量中与有标签样本相似的样本,通过TSVM(Transductive support vector machine)得到支持向量并筛选出再次增量中有可能成为支持向量的无标记样本,然后与已有支持向量和有标签样本一起作为后续训练的基础,最后使用多个数据集对算法进行验证.实验表明:提出的半监督TSVM增量学习算法能有效地提高训练学习的速度和分类准确率.     

基于壳向量的线性支持向量机快速增量学习算法

提出了一种新的基于壳向量的增量式支持向量机快速学习算法.在增量学习的过程中，利用训练样本集中的几何信息，在样本中选取一部分最有可能成为支持向量的样本--壳向量，它是支持向量集的一个规模较小的扩展集，将其作为新的训练样本集，再进行支持向量训练.这在很大程度上减少了求取支持向量过程中的二次优化运算时间，使增量学习的训练速度大为提高.与单纯使用支持向量代表样本数据集合进行增量学习的传统算法相比，使用该算法使分类精度得到了提高.针对肝功能检测标准数据集（BUPA）的实验验证了该算法的有效性.     

基于多支持向量机分类器的增量学习算法研究

为了将一般增量学习算法扩展到并行计算环境中,提出一种基于多支持向量机分类器的增量学习算法.该算法根据多分类器对新增样本集的分类结果,以样本到分类超平面的平均距离为条件重新构造支持向量集更新分类器,直到所有分类器的分类精度满足指定阈值.实验结果表明了该算法的可行性和正确性.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

边界偏转覆盖增量支持向量机

为了利用不断积累的网络样本提高故障诊断效能,针对标准支持向量机不直接支持增量学习的问题,提出一种边界偏转覆盖增量支持向量机. 根据违背Karush Kuhn Tucker条件的新增样本在特征空间中可引起原分类边界改变的情况,设计边界偏转覆盖算法预选支持向量再生区作为增量训练工作集,解决了难以确定的非支持向量向支持向量的转化问题. 理论分析和实验结果表明,该方法能有效简化训练工作集,在保证故障诊断精度的同时大幅度提高增量训练效率.     

基于支持向量机的增量学习算法研究

分析了支持向量机理论中支持向量的特性,利用支持向量与样本空间划分的等价性,提出一种新的基于支持向量机的增量学习算法.该算法考虑新增样本集的分布可能改变对已有样本的分类结果,利用支持向量的分布特性,用对样本的划分差集构造新的支持向量集和分类平面,使差集中的样本点对分类贡献尽可能最大,有效提高了分类精度.同时差集操作简单易行,有效降低了问题的计算复杂度.实验结果表明,与常规增量算法相比,该算法在不改变时间复杂度量级的前提下对分类精度有显著提高.     

一种基于局部线性嵌入的SVM增量学习方法

由于SVM对高维数据分类的耗时较长,计算复杂度较高,而PCA-SVM对高维数据分类的准确率相对较低,提出了利用LLE-ISVM方法对高维数据降维后采用SVM方法进行分类,利用LLE降维对新增样本进行约减后,淘汰新增样本中的非支持向量用于简化运算,实现了基于局部线性嵌入(LLE)的SVM增量学习过程(LLE-ISVM)。并将该算法用于MNIST数据库和瓷片表面缺陷检测分类过程。实验结果表明:该算法对高维数据的运算速度与精度都有所提高,能实现完整增量学习过程,较为准确快速地实现磁片表面的缺陷检测分类过程。     

基于支持向量机和多球体的一对多分类器

为了提高支持向量机（SVM）多分类器的训练效率,将多球体思想引入有指导学习,对训练样本按类别分别进行一类支持向量机（1-SVM）训练得到多球体分类器.针对多球体的冗余区域,构造简化一对多分类器将各球内混叠样本与正常样本分离.以上两个分类器性能互补,可以加权组合为多球体一对多分类器.同时给出了组合分类器基于交叉验证的权重估计和参数调整.仿真实验表明,相对于一对多算法,该分类器训练时间较短且分类正确率较高;相对于一对一算法,该分类器决策速度较快,有助于解决大样本的多分类问题.     

一种基于多支持向量机分类器的并行学习算法

为了在并行计算系统中应用支持向量机,提出一种基于多支持向量机分类器的并行学习算法.分析了w-model算法的不足,并在训练过程中采用循环式反馈更新各支持向量机分类器以避免样本的分布状态对各分类器性能的影响,提高各分类器的训练精度.学习过程以平均分类精度为阈值,对部分分类器重新训练,实现对多分类器学习系统性能的全局优化.在UCI标准测试数据集上进行的实验结果表明,循环式反馈能有效地平衡多分类器学习性能相差过大的问题,算法较w-model具有更高的训练效率和分类效率.     

多视图交叉一致性学习的半监督水面目标检测

为缓解基于半监督学习的水面目标检测对有限标注样本过拟合的问题,提高无标注样本中目标提取的有效性,提出了基于多视图交叉一致性学习的半监督水面目标检测算法。首先,该算法通过数据增强的方式为训练样本生成不同的视图以丰富数据集的多样性;然后,利用所提出的多视图目标判别器为无标注样本在线生成伪标签,有助于提取无标注样本的有效信息;最后,利用所提出的多视图交叉一致性学习使同一目标实例的不同视图的输出实现交叉一致性正则化,以促进检测模型学习判别性的特征从而降低过拟合的风险。在海上和内河数据集上的实验结果表明：文中所提算法能够提高特征提取的判别性,对多类别的水面目标检测精度达到91.0%,比全监督检测算法提高了18.7%,比其他半监督检测算法提高了3.8%以上;在检测速度上,该算法达到13.1帧/s,基本满足实时性要求。所提算法通过多视图交叉一致性学习提高特征的判别性和缓解检测模型的过拟合风险,有助于提高半监督水面目标检测的性能。     

基于卷积神经网络的木材缺陷识别

为提高木材缺陷识别率,提出一种基于卷积神经网络算法的识别方法。采用渐近式学习方法来确定训练样本数目,给出了对应的网络结构,降低了算法消耗的时间。试验结果表明,该方法无需对图像进行复杂的预处理,能识别多种木材缺陷,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点。     

基于支持向量机的增量式算法

为了扩展支持向量机在大规模数据集和成批出现数据领域的应用,提出了一种基于支持向量机的增量式学习算法.利用标准的支持向量机算法训练得到初始的目标概念,通过增量式步骤不断更新初始的目标概念.更新模型是求解一个与标准支持向量机具有类似的数学形式的凸二次规划问题.证明了在可分情况下,如果新增加的样本不是位于边界区,那么增量式过程既不会改变分类平面也不会改变分类平面的表达.与现有的增量式支持向量机算法相比,该算法无需额外计算就可实现增量式的逆过程并且训练时间与增量式步骤数成反比.实验结果表明,该算法满足稳定性、能够不断改进性能以及性能回复三个准则.     

基于集成深度学习的时间序列预测模型

基于高斯过程的条件受限玻尔兹曼机(GCRBM)时序模型可以很好的预测单一种类时序数据,但是该模型难以预测多类别的真实高维数据。针对这个问题,提出基于集成深度学习的时间序列预测模型,对多类时序对应训练多个深可信网络(deep belief networks, DBN)模型来学习低维特征,利用低维特征对应训练多个GCRBM时序模型。预测时序时先通过训练出的一组DBN模型对目标数据进行降维并通过重建误差识别类别,然后通过识别到的类别所对应的GCRBM模型预测目标数据的后期时序。在CASIA-A步态数据集上的试验结果表明:本方法能够准确识别出步态序列,而且预测结果能够模拟出真实的步态序列,证实了本模型的有效性。     

基于改进k-means算法的入侵检测方法设计

在网络安全问题日益突出的今天,如何迅速而有效地利用入侵检测系统发现各种入侵行为,对于保证系统和网络资源的安全十分重要。改进的k-means聚类算法解决了传统聚类算法在入侵检测领域所面临的混合类型数据相异度计算的问题。理论分析表明,此方法具有较好的时间复杂度,适合采用增量聚类,具有较好的扩展性,而且适用干任何数据类型,可应用于大规模的数据集。     

在线Lagrangian支撑向量回归

为快速求解在线支撑向量回归算法,给出了一种基于Lagrangian支撑向量回归(LSVR)的在线增量学习算法.LSVR得到的无约束最优化问题可以采用快速迭代算法求解,该迭代算法可以从任何初始点收敛.LSVR求解时,在迭代开始只需要对阶数为输入样本数加一的矩阵求逆.在线增量LSVR学习算法在线性情况下采用S-M-W公式可以明显减少运算时间,在非线性情况下矩阵求逆充分利用了历史学习结果,减少了很多重复计算.通过在多个数据集上进行对比,实验结果表明:该算法与以前算法相比不仅保持了较好的精度,同时训练时间大大减少.