基于粗集理论的支持向量机分类方法研究

介绍了粗集理论的基本概念和支持向量机分类的基本原理,提出将粗集理论和支持向量机方法相结合.通过应用粗集理论对数据的预处理,消除决策表中大量的冗余信息和冲突对象,但不丢失任何有用信息.通过这样对数据维数的约简,大大简化了支持向量分类模型的结构,同时也有效地提高了支持向量机的分类效率.通过对一组实验数据的仿真验证了该方法的可行性.     

基于约束投影的支持向量机选择性集成

提出两种基于约束投影的支持向量机选择性集成算法。首先利用随机选取的must-link和cannot-link成对约束集确定投影矩阵,将原始训练样本投影到不同的低维空间训练一组基分类器;然后,分别采用遗传优化和最小化偏离度误差两种选择性集成技术对基分类器进行组合。基于UCI数据的实验表明,提出的两种集成算法均能有效提高支持向量机的泛化性能,显著优于Bagging,Boosting,特征Bagging及LoBag等集成算法。     

选择性支持向量机集成算法

为有效提升支持向量机泛化性能,提出了基于差分进化算法和负相关学习的选择性支持向量机集成。通过bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,既提高子SVM的泛化性能,又增大其之间差异度。利用差分进化算法计算各子SVM在加权平均中的最优权重,选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的泛化性能。     

基于加速遗传算法的选择性支持向量机集成*

为有效提升支持向量机的泛化性能,提出基于加速遗传算法的选择性支持向量机集成。通过Bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,提高子SVM的泛化性能,并增大其之间差异度。利用加速遗传算法计算各子SVM在加权平均中的最优权重,然后选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的集成效率和泛化性能。     

基于双重扰动的选择性支持向量机集成

为了进一步提升支持向量机泛化性能,提出一种基于双重扰动的选择性支持向量机集成算法。利用Boosting方法对训练集进行扰动基础上,采用基于相对核的粗糙集相对约简与重采样技术相结合的动态约简算法进行特征扰动以生成个体成员,然后基于负相关学习理论构造遗传个体适应度函数,利用加速遗传算法选择权重大于阈值的最优个体进行加权集成。实验结果表明,该算法具有较高的泛化性能和较低的时、空复杂性,是一种高效的集成方法。     

基于支持向量机集成的分类

支持向量机是一种基于结构风险最小化原理的分类技术,本文提出了将支持向量机分类器进行集成的分类思想。首先．在原始样本的基础上形成子支持向量机,得到待检样本的子预测;进而对子预测进行适当的组合,以确定样本最终的类别预报。模拟实验结果表明,该方法具有明显优于单一支持向量机的更高的分类准确率。     

基于支持向量机集成的故障诊断

为提高故障诊断的准确性,提出了一种基于遗传算法的支持向量机集成学习方法,定义了相应的遗传操作算子,并探讨了集成下的分类器的构造策略。对汽轮机转子不平衡故障诊断的仿真实验结果表明,集成学习方法的性能通常优于单个支持向量机,而所提方法性能则优于Bagging与Boosting等传统集成学习方法,获得的集成所包括的分类器数目更少,而且结合多种分类器构造策略可提高分类器的多样性。该方法能容易地推广到神经网络、决策树等其他学习算法。     

基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

基于属性约简和支持向量机集成的乳腺癌诊断决策

针对遗传算法(GA)与支持向量机(SVM)集成相结合的疾病诊断方法存在属性冗余的问题,提出了一种改进的约简和诊断乳腺癌决策方法。该方法将最小化约简属性个数、最大化区分矩阵可区别属性的个数以及最大化约简属性对决策属性的依赖度这三种目标函数相结合作为GA的适应度函数。在约简属性后取多个子集,以便利用SVM集成学习。在UCI数据库中乳腺癌数据集的实验表明,与原始的SVM算法相比,该方法在分类诊断的准确度以及敏感性方面有一定的提高,其中分类准确度至少提高了2%。     

基于邻域粗糙集与支持向量机的油层识别研究

运用邻域粗糙集理论,对储层含油性的属性进行约简,并将约简后的属性作为支持向量机输入变量,对某油田的3口井油层类别进行实证研究,将结果与人工神经网络方法进行了比较,结果表明该方法是行之有效的方法。具体步骤为：先把邻域粗糙集作为前置系统对属性进行约减,剔除冗余信息,将剩余的属性作为支持向量机的输入变量。而支持向量机作为后置系统,不仅能消除指标之间信息重叠,而且可以降维。它们之间各司其责,相互配合从而得到好的评价结果。     

基于选择性集成SVM的数据类型识别

提出基于选择性集成支持向量机的语音、话带数据信号分类方法,根据集成算法的差异性定义,采用两层级联结构的动态叠加算法完成决策输出。该方法能够在训练阶段准确地选择具有较高识别精度和差异性的成员分类器,在测试阶段对各成员分类器进行动态集成,保证最终的分类结果最优。构建时域、频域相结合的特征向量,并具有较好的抗噪声能力。实验结果表明,该方法无论在分类还是在运算复杂度上都取得较好的效果。     

一种基于粗糙集属性约简的多分类器集成方法

为提高多分类器系统的分类精度,提出了一种基于粗糙集属性约简的分类器集成方法 MCS_ARS。该方法利用粗糙集属性约简和数据子集划分方法获得若干个特征约简子集和数据子集,并据此训练基分类器;然后利用分类结果相似性得到验证集的若干个预测类别;最后利用多数投票法得到验证集的最终类别。利用UCI标准数据集对方法 MCS_ARS的性能进行测试。实验结果表明,相较于经典的集成方法,方法 MCS_ARS可以获得更高的分类准确率和稳定性。     

基于子图策略的选择性分类器集成算法

为了去除集成学习中的冗余个体,提出了一种基于子图选择个体的分类器集成算法。训练出一批分类器,利用个体以及个体间的差异性构造出一个带权的完全无向图;利用子图方法选择部分差异性大的个体参与集成。通过使用支持向量机作为基学习器,在多个分类数据集上进行了实验研究,并且与常用的集成方法Bagging和Adaboost进行了比较,结果该方法获得了较好的集成效果。     

基于SVM混合集成的信用风险评估模型

准确的信用风险评估可以降低金融机构的风险。为了进一步提高信用风险评估模型的预测准确率,将基于SVM的集成学习模型应用到信用风险评估问题中,提出了一种混合集成策略,称作RSA。RSA是随机子集模型和AdaBoost两种流行策略的合成,能提高组合成员分类器的多样性,从而提高集成学习模型的预测准确率。模型在两组公开信用数据集上进行了应用,实验结果表明基于RSA的SVM的集成学习模型可以作为信用风险评估的有效模型。     

基于改进离散二进制粒子群的SVM选择集成算法

针对基于离散二进制粒子群（BPSO）的SVM选择集成算法的分类精度不高,以及所选分类器个数过多等问题,利用改进的离散二进制粒子群算法（IBPSO）和SVM选择集成算法相结合,提出基于IBPSO的SVM选择集成算法。通过选用合适的适应度函数以及调节因子[k],进行多次仿真,实验表明,对由boostrap方式生成的SVM集合,基于IBPSO的SVM选择集成在精度和分类器个数方面均优于基于BPSO的SVM选择集成,证明了IBPSO算法的优越性。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

基于粗集和SVM的客户抵押贷款违约评估

信贷风险是金融机构风险的主要来源。支持向量机是基于VC维和统计学习理论理念的一种新的机器学习方法。它在解决两类问题时是一种较好的分类方法,同时学习结果模型有较强的稳定性。在实际应用中,采用Grid-search方法调整支持向量机的惩罚参数,达到了更好的推广能力和预测结果。采用粗集对数据集进行预处理,属性约简,删除了多余的属性,然后再用支持向量机进行分类建立了住房抵押贷款信用风险评估模型,并与其他算法进行了比较,取得了良好的分类效果。     

多模式扰动模型动态加权SVM集成研究

针对集成学习中bootstrap方法不能产生具有较大差异性的成员分类器,提出基于多模式扰动模型动态加权SVM集成方法。该方法在训练样本中使用bootstrap采样产生扰动,在输入特征中使用PCA特征滤波子空间法产生扰动,用自动模型选择法来动态扰动每个成员分类器的参数,用分类精度对成员分类器加权集成扰动输出。实验结果表明该方法比常用的bootstrap集成方法具有更好的集成效果。