一种回归SVM选择性集成方法

泛化能力是机器学习关心的一个根本问题,采用集成学习技术可以有效地提高泛化能力.本文提出了一种将支持向量机(Support Vector Machine, SVM)进行选择性集成回归的方法.通过引入三个阈值,可以选择合适的子SVM,从而进一步提高了整个集成学习的效率.实验结果表明,本文提出的选择性集成方法可以在一定程度上解决SVM的模型选择问题和大规模数据集的学习问题,与传统的集成方法Bagging相比具有更高的泛化能力.     

基于集成学习支持向量机的步态识别

提出一种基于Bagging算法和SVM的步态识别方法。首先应用背景差分法分割出运动人体轮廓,然后将人体分为多个可变区域,并通过计算获取特征向量。采用SVM分类器进行分类识别,为了提高SVM的识别率,采用Bagging算法对分类结果进行分类集成,实验结果表明,该算法取得了很好地识别性能。     

适用于智能传感器系统的SVM集成研究

以支持向量机(SVM)为代表的人工智能技术在智能传感器系统中得到了广泛的应用,但传统的SVM有"灾难性遗忘"现象,即会遗忘以前学过的知识,并且不能增量学习新的数据,这已无法满足智能传感器系统实时性的要求。而Learn++算法能够增量地学习新来的数据,即使新来数据属于新的类,也不会遗忘已经学习到的旧知识。为了解决上述问题,提出了一种基于壳向量算法的Learn++集成方法。实验结果表明:该算法不但具有增量学习的能力,而且在保证分类精度的同时,提高了训练速度,减小了存储规模,可以满足当下智能传感器系统在线学习的需求。     

一种基于凸壳算法的SVM集成方法

为提高支持向量机(SVM)集成的训练速度,提出一种基于凸壳算法的SVM集成方法,得到训练集各类数据的壳向量,将其作为基分类器的训练集,并采用Bagging策略集成各个SVM。在训练过程中,通过抛弃性能较差的基分类器,进一步提高集成分类精度。将该方法用于3组数据,实验结果表明,SVM集成的训练和分类速度平均分别提高了266％和25％。     

基于Bagging-SVM的Android恶意软件检测模型

针对Android恶意软件检测中数据不平衡导致检出率低的问题,提出一种基于Bagging-SVM（支持向量机）集成算法的Android恶意软件检测模型。首先,提取AndroidManifest.xml文件中的权限信息、意图信息和组件信息作为特征;然后,提出IG-ReliefF混合筛选算法用于数据集降维,采用bootstrap抽样构造多个平衡数据集;最后,采用平衡数据集训练基于Bagging算法的SVM集成分类器,通过该分类器完成Android恶意软件检测。在分类检测实验中,当良性样本和恶意样本数量平衡时,Bagging-SVM和随机森林算法检出率均高达99.4%;当良性样本和恶意样本的数量比为4：1时,相比随机森林和AdaBoost算法,Bagging-SVM算法在检测精度不降低的条件下,检出率提高了6.6%。实验结果表明所提模型在数据不平衡时仍具有较高的检出率和分类精度,可检测出绝大多数恶意软件。     

基于Bagging集成学习的水华预测方法研究

随着经济社会的高速发展和工业化建设程度不断提高,水环境问题已经严重影响甚至威胁了人类的健康。近年来,国家大力推行水环境的预测预警,许多专家学者利用人工神经网络等智能方法在富营养化评价及水华预测中得到了较为广泛的运用,也取得了一定成效。然而,人工神经网络的性能受到样本训练算法等方面的影响,在选取合适的神经网络模型、算法以及设置参数麻烦、耗时。随着问题复杂程度的增加,单个网络的隐层节点数将增加很多,训练时间将大大增加,从而造成训练困难。且由于训练过度或不够,往往导致泛化能力较差。为解决此问题,本文在对湖库水华形成机理深入分析的基础上,建立了BP网络的水华预测模型,并利用Bootstrap采样技术获取不同的数据集,分别训练多个BP网络,最终将多个网络进行集成用于建立太湖流域水华预测模型。通过基于Bagging算法的集成学习,可以对样本包含的信息进行充分挖掘,更全面的刻画因素之间的相互联系和变化规律。实验表明基于Bagging算法的BP网络集成模型预测结果与单个BP网络模型预测结果对比,具有较高的预测能力,从而获得了相对理想的预测效果。     

一种新的SVM对等增量学习算法

在分析支持向量机（SVM）寻优问题的KKT条件和样本分布之间关系的基础上,分析了新增样本的加入对SV集的影响,定义了广义KKT条件。基于原训练样本集和新增训练样本集在增量训练中地位等同,提出了一种新的SVM增量学习算法。算法在及时淘汰对后继分类影响不大的样本的同时保留了含有重要分类信息的样本。对标准数据集的实验结果表明,算法获得了较好的性能。     

基于集成学习的入侵检测方法

为解决传统入侵检测中存在的检测效率低、对未知的入侵行为检测困难等问题,提出了将改进的BP神经网络算法和支持向量机集成的入侵检测模型.实验表明,集成改进的BP神经网络和支持向量机与检出率最好的单个神经网络、单个SVM相比检测率有所提高,同时提高了对未知入侵行为的识别.     

基于SVM集成学习的网络故障诊断方法

针对现有支持向量机(support vector machine,SVM)多分类方法在网络故障诊断中识别精度较低的问题,提出一种基于二叉树结构和模型二重扰动的SVM集成学习算法;通过集成学习思想提高网络故障诊断的精度;在集成过程中对二叉树结构和核参数进行扰动,加大个体分类器的差异度,提升了诊断模型的泛化性;在实际网络中的诊断实验表明,所提的方法较二叉树等其它SVM多分类方法具有更高的诊断精度。     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

一种用于软测量建模的增量学习集成算法

针对软测量模型在实际应用中遇到的问题, 结合AdaBoost 集成学习思想, 提出适用于软测量回归的集成学习算法, 以提高传统软测量模型的精度. 为了克服模型更新技术对软测量实际应用的制约, 将增量学习机制加入软测量集成建模中, 使软测量模型具有在线实时更新的增量学习能力. 对浆纱过程使用新方法建立上浆率软测量模型, 并使用实际生产数据对模型进行检验, 检验结果表明, 该模型具有很好的预测精度, 并能够较好地实现在线更新.

     

基于多种LBP特征集成学习的人脸识别*

单一的特征与分类器只能对限定条件下的人脸进行较好的识别,当在非限定条件下(如光照、背景等发生变化时)将出现人脸识别率较低问题,针对该问题,提出了一种基于多种局部二进制特征集成学习的人脸识别算法。首先,使用监督梯度下降法 (SDM)对人脸特征点定位,应用中心对称局部二进制(CSLBP)算子提取每个特征点邻域特征,将所有人脸特征点邻域特征合成为精细的纹理特征;同时运用分区LBP直方图算法提取人脸区域的微观空间结构特征;然后,使用K最近邻算法(KNN)和支持向量机(SVM)分别训练这两种特征,得到类别排序列表和投票决策矩阵;最后,利用加权求和的规则融合决策矩阵,构成最优集成分类器,从而得到输出类别。通过在非限制性人脸库LFW上实验结果表明,所提算法采用集成的方法明显优于单一的特征和分类器。     

基于SVM的信息融合新方法*

利用SVM对大规模数据进行训练时,需要占用很大的内存空间,甚至会因内存不够而无法训练。为此,提出了将大规模数据分块求解,然后将分块求解的结果进行信息融合的新方法。首先训练得到各模块的支持向量,将所有支持向量进行融合,得到决策模型和一组支持向量。当有新的数据加入时,将其作为一个子模块,训练得到该模块的支持向量,与原模型中获得的支持向量进行融合,训练得到新的决策模型。利用KDDCUP99数据进行实验,结果表明该方法的测试精度与在所有数据集上训练的精度相当,花费时间少,适用于增量学习。     

基于加速遗传算法的选择性支持向量机集成*

为有效提升支持向量机的泛化性能,提出基于加速遗传算法的选择性支持向量机集成。通过Bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,提高子SVM的泛化性能,并增大其之间差异度。利用加速遗传算法计算各子SVM在加权平均中的最优权重,然后选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的集成效率和泛化性能。     

基于邻域粗糙集的入侵检测集成算法

入侵检测领域的数据往往具有高维性及非线性特点,且其中含有大量的噪声、冗余及连续型属性,这就使得一般的模式分类方法不能对其进行有效的处理。为了进一步提高入侵检测效果,提出了基于邻域粗糙集的入侵检测集成算法。采用Bagging技术产生多个具有较大差异性的训练子集,针对入侵检测数据的连续型特点,在各训练子集上使用具有不同半径的邻域粗糙集模型进行属性约简,消除冗余与噪声,实现属性约简以提高属性子集的分类性能,同时也获得具有更大差异性的训练子集,采用SVM为分类器训练多个基分类器,以各基分类器的检测精度构造权重进行加权集成。KDD99数据集的仿真实验结果表明,该算法能有效地提高入侵检测的精度和效率,具有较高的泛化性和稳定性。     

基于DCNN特征与集成学习的车型分类算法

针对传统人工设计特征描述不充分及单分类器泛化能力弱等问题,提出一种基于深度卷积神经网络(DCNN)特征与集成学习相结合的车型分类算法。微调VGG16深度卷积神经网络模型,将全连接层Fc7输出的4096维矢量采用PCA方法降至100维,作为图像的特征表示;采用拉格朗日支持向量机(LSVM)作为基分类器,以Adaboost方法自动学习各样本及基分类器的权重实现分类器集成。基于BIT和MIO-TCD数据集的对比实验结果表明,平均分类精度分别达到84.5%与83%,优于其它传统特征与单分类器方法。     

基于支持向量机的电容式压力传感器建模方法

将支持向量机(SVM)引入传感器建模研究中,这里,SVM作为校正误差的一个逆模型.SVM有效地解决了小样本学习问题,因此,该方法对试验数据无特殊要求.最后,电容式压力传感器(CPS)建模试验结果证明了该方法的可行性和高效性.     

压力传感器的支持向量机非线性回归建模

压力传感器的输出特性易受到环境因素,尤其是温度变化的影响。针对该问题,提出了利用支持向量机(SVM)对压力传感器输出特性进行非线性补偿的校正模型。校正模型利用SVM的回归算法来逼近非线性函数的特点,通过建立压力传感器输出特性与其实际电压值之间非线性映射关系的校正模型来实现压力传感器的校正。实例表明:该方法能有效地减少温度变化对传感器输出的影响,且校正后的压力传感器具有更高的测量精度和温度稳定性。