基于加速遗传算法的选择性支持向量机集成*

为有效提升支持向量机的泛化性能,提出基于加速遗传算法的选择性支持向量机集成。通过Bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,提高子SVM的泛化性能,并增大其之间差异度。利用加速遗传算法计算各子SVM在加权平均中的最优权重,然后选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的集成效率和泛化性能。     

基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

基于粗集理论的选择性支持向量机集成

集成分类器的性能很大程度决定于各成员分类器的构造和对各成员分类器的组合方法。提出一种基于粗集理论的选择性支持向量机集成算法,该算法首先利用粗集技术产生一个属性约简集合,然后以各约简集为样本属性空间构造各成员分类器,其次通过对各成员分类器精度与差异度的计算,选择既满足个体的精度要求,又满足个体差异性要求的成员分类器进行集成。最后通过对UCI上一组实验数据的测试,证实该方法能够有效提高支持向量机的推广性能。     

选择性支持向量机集成算法

为有效提升支持向量机泛化性能,提出了基于差分进化算法和负相关学习的选择性支持向量机集成。通过bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,既提高子SVM的泛化性能,又增大其之间差异度。利用差分进化算法计算各子SVM在加权平均中的最优权重,选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的泛化性能。     

基于支持向量机集成的故障诊断

为提高故障诊断的准确性,提出了一种基于遗传算法的支持向量机集成学习方法,定义了相应的遗传操作算子,并探讨了集成下的分类器的构造策略。对汽轮机转子不平衡故障诊断的仿真实验结果表明,集成学习方法的性能通常优于单个支持向量机,而所提方法性能则优于Bagging与Boosting等传统集成学习方法,获得的集成所包括的分类器数目更少,而且结合多种分类器构造策略可提高分类器的多样性。该方法能容易地推广到神经网络、决策树等其他学习算法。     

基于属性约简和支持向量机集成的乳腺癌诊断决策

针对遗传算法(GA)与支持向量机(SVM)集成相结合的疾病诊断方法存在属性冗余的问题,提出了一种改进的约简和诊断乳腺癌决策方法。该方法将最小化约简属性个数、最大化区分矩阵可区别属性的个数以及最大化约简属性对决策属性的依赖度这三种目标函数相结合作为GA的适应度函数。在约简属性后取多个子集,以便利用SVM集成学习。在UCI数据库中乳腺癌数据集的实验表明,与原始的SVM算法相比,该方法在分类诊断的准确度以及敏感性方面有一定的提高,其中分类准确度至少提高了2%。     

一种基于粗糙集和支持向量机的混合分类算法

结合粗糙集的属性约简和支持向量机的分类机理,提出了一种混合算法。应用粗糙集理论的属性约简过程作为预处理器,可以把冗余的属性和冲突的对象从决策表中删去,但不损失任何有效信息;然后基于支持向量机进行分类建模和预测。这样可以大大降低数据维数,降低支持向量机分类过程中的复杂度,减少占用的存储空间,并在不同程度上避免了训练模型的过拟合现象,但分类性能并不会隆低．最后的仿真实例说明了所提方法的有效性．     

基于约束投影的支持向量机选择性集成

提出两种基于约束投影的支持向量机选择性集成算法。首先利用随机选取的must-link和cannot-link成对约束集确定投影矩阵,将原始训练样本投影到不同的低维空间训练一组基分类器;然后,分别采用遗传优化和最小化偏离度误差两种选择性集成技术对基分类器进行组合。基于UCI数据的实验表明,提出的两种集成算法均能有效提高支持向量机的泛化性能,显著优于Bagging,Boosting,特征Bagging及LoBag等集成算法。     

基于支持向量机集成的分类

支持向量机是一种基于结构风险最小化原理的分类技术,本文提出了将支持向量机分类器进行集成的分类思想。首先．在原始样本的基础上形成子支持向量机,得到待检样本的子预测;进而对子预测进行适当的组合,以确定样本最终的类别预报。模拟实验结果表明,该方法具有明显优于单一支持向量机的更高的分类准确率。     

基于离散化方法的支持向量机集成研究

基于数据离散化方法,提出一种新的支持向量机集成算法,该算法采用粗糙集和布尔推理离散化方法构造有差异的基分类器.并引入一致度指标控制离散化过程,可进一步提高集成学习的分类性能.实验结果表明,该算法不仅具有明显优于单一支持向量机的分类性能.而且能取得比传统集成学习算法Bagging和Adaboost更高的分类正确率.     

基于邻域粗糙集的入侵检测集成算法

入侵检测领域的数据往往具有高维性及非线性特点,且其中含有大量的噪声、冗余及连续型属性,这就使得一般的模式分类方法不能对其进行有效的处理。为了进一步提高入侵检测效果,提出了基于邻域粗糙集的入侵检测集成算法。采用Bagging技术产生多个具有较大差异性的训练子集,针对入侵检测数据的连续型特点,在各训练子集上使用具有不同半径的邻域粗糙集模型进行属性约简,消除冗余与噪声,实现属性约简以提高属性子集的分类性能,同时也获得具有更大差异性的训练子集,采用SVM为分类器训练多个基分类器,以各基分类器的检测精度构造权重进行加权集成。KDD99数据集的仿真实验结果表明,该算法能有效地提高入侵检测的精度和效率,具有较高的泛化性和稳定性。     

一种基于粗糙集属性约简的多分类器集成方法

为提高多分类器系统的分类精度,提出了一种基于粗糙集属性约简的分类器集成方法 MCS_ARS。该方法利用粗糙集属性约简和数据子集划分方法获得若干个特征约简子集和数据子集,并据此训练基分类器;然后利用分类结果相似性得到验证集的若干个预测类别;最后利用多数投票法得到验证集的最终类别。利用UCI标准数据集对方法 MCS_ARS的性能进行测试。实验结果表明,相较于经典的集成方法,方法 MCS_ARS可以获得更高的分类准确率和稳定性。     

基于免疫遗传算法的粗糙集属性约简算法

属性约简是粗糙集理论中一个重要的研究课题,为了有效获取属性最小相对约简,提出了一种基于免疫遗传算法的粗糙集属性约简算法。该算法将免疫算法和遗传算法结合,并将核引入免疫遗传算法的初始抗体群来提高算法的性能,依照决策属性对条件属性的依赖度,并结合抗体浓度,能维持进化过程中个体的多样性,从而提高了算法的全局搜索能力,避免陷入局部最优。实验证明该算法能够快速得到相对最小约简。     

一种基于Bagging-SVM的智能传感器集成学习方法

集成多个传感器的智能片上系统( SoC)在物联网得到了广泛的应用.在融合多个传感器数据的分类算法方面,传统的支持向量机( SVM)单分类器不能直接对传感器数据流进行小样本增量学习.针对上述问题,提出一种基于Bagging-SVM的集成增量算法,该算法通过在增量数据中采用Bootstrap方式抽取训练集,构造能够反映新信息变化的集成分类器,然后将新老分类器集成,实现集成增量学习.实验结果表明:该算法相比SVM单分类器能够有效降低分类误差,提高分类准确率,且具有较好的泛化能力,可以满足当下智能传感器系统基于小样本数据流的在线学习需求.     

小波能量差分布和SVM结合的PQD识别

提出了小波能量差分布和支持向量机（Support Vector Machine,SVM）相结合的电能质量扰动（Power Quality Disturbance,PQD）识别方法。该方法用小波变换对PQD信号进行分析,提取信号各层暂态能量与标准信号的能量之差和扰动持续时间为特征向量,组成训练样本和测试样本;使用基于邻域粗糙集模型对训练样本集进行预处理,剔除噪声和异常样本;使用具有二元树结构的SVM对PQD样本进行训练,实现PQD的识别。测试结果表明,该方法可以实现 7种PQD的识别,准确率高（平均可达97%）,抗噪声能力强,辨识速度快,适用于PQD识别系统。     

基于DCNN特征与集成学习的车型分类算法

针对传统人工设计特征描述不充分及单分类器泛化能力弱等问题,提出一种基于深度卷积神经网络(DCNN)特征与集成学习相结合的车型分类算法。微调VGG16深度卷积神经网络模型,将全连接层Fc7输出的4096维矢量采用PCA方法降至100维,作为图像的特征表示;采用拉格朗日支持向量机(LSVM)作为基分类器,以Adaboost方法自动学习各样本及基分类器的权重实现分类器集成。基于BIT和MIO-TCD数据集的对比实验结果表明,平均分类精度分别达到84.5%与83%,优于其它传统特征与单分类器方法。     

基于独立负样本集和SVM的人脸确认算法

在许多人脸确认应用领域,例如人脸计算机安全登录系统中,没有用于SVM训练的人脸数据库可以提供,在现有基于SVM的人脸确认算法的基础上,根据实际应用的需求,提出了一种新的基于独立负样本集和SVM的人脸确认算法,该方法对注册的用户图像通过眼睛抖动的方法生成足够多的正样本,利用FLD技术进行特征提取,并利用基于Rank的一对多的识别方法去除同类项,解决了训练样本与负样本类别冲突问题.正负样本送SVM进行训练可以得到相应的SVM模型,对于待确认的人脸图像就可以采用SVM进行验证了.对SCUT人脸数据库的测试表明：足够数量的负样本能够保证较低的FAR,且支持向量的数量不会随着负样本集的数量增长而增长.应用这个算法,实现了一个计算机安全登录系统.