基于双重扰动的选择性支持向量机集成

为了进一步提升支持向量机泛化性能,提出一种基于双重扰动的选择性支持向量机集成算法。利用Boosting方法对训练集进行扰动基础上,采用基于相对核的粗糙集相对约简与重采样技术相结合的动态约简算法进行特征扰动以生成个体成员,然后基于负相关学习理论构造遗传个体适应度函数,利用加速遗传算法选择权重大于阈值的最优个体进行加权集成。实验结果表明,该算法具有较高的泛化性能和较低的时、空复杂性,是一种高效的集成方法。     

粗SVM方法及其在发动机故障诊断中的应用

支持向量机是一种具有完备统计学习理论基础和出色学习性能的新型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约简过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊断.对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约筒过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊 .对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法     

采用二重扰动机制的支持向量机的集成训练算法

为了有效提升支持向量机的泛化性能,提出两种集成算法对其进行训练.首先分析了扰动输入特征空间和扰动模型参数两种方式对于增大成员分类器之间差异性的作用;然后提出两种基于二重扰动机制的集成训练算法.其共同特点是,同时扰动输入特征空间和模型参数以产生成员分类器,并利用多数投票法对它们进行组合.实验结果表明,因为同时缩减了误差的偏差部分和方差部分,所以两种算法均能显著提升支持向量机的泛化性能.     

基于粗糙集与改进LSSVM的入侵检测算法研究

提出了基于粗糙集和改进最小二乘支持向量机的入侵检测算法。算法利用粗糙集理论的可辨识矩阵对样本属性进行约简,减少样本维数;利用稀疏化算法对最小二乘支持向量机进行改进,使其既具备稀疏化特性又具备快速检测的特点,提高了数据样本分类的准确性。结合算法不仅充分发挥粗糙集对数据有效约简和支持向量机准确分类的优点,同时克服了粗糙集在噪声环境中泛化性较差,支持向量机识别有效数据和冗余数据的局限性。通过实验证明,基于粗糙集和改进最小二乘支持向量机的入侵检测算法的检测精度高,误报率和漏报率较低,检测时间短,验证了算法的实效性。     

一种改进的基于RS与SVM的故障诊断方法

传统的基于粗糙集与支持向量机的故障诊断方法在用支持向量机分类前用粗糙集进行数据约简,仅将粗糙集作为数据约简的工具,忽视了粗糙集所获取的决策规则对原有数据中所隐含知识的概括表达作用.本文提出了一种改进的基于粗糙集与支持向量机的故障诊断方法,首先基于粗糙集对样本数据进行约简和初步决策规则获取,然后将获取的规则作为先验知识集成到支持向量机中进行故障诊断.该方法结合了粗糙集的处理高维数据的优点和支持向量机具有较高推广能力的优势,并且在用支持向量机分类时有效地利用了粗糙集获取的决策规则,提高了故障诊断的准确率.使用该方法对柴油机常见故障进行诊断实验,结果表明了方法的有效性. 前用粗糙集进行数据约简,仅将粗糙集作为数据约简的工具,忽视了粗糙集所获取的决策规则对原有数据中所隐舍知识的概括表达作用.本文提出了一种改进的基于粗糙集与支持向量机的故障诊断方法,首先基于粗糙集对样本数据进行约简和初步决策规则获取,然后将获取的规则作为先验知识集成到支持向量机中进行故障诊断.该方法结合了粗糙集的处理高维数据的优点和支持向量机具有较高推广能力的优势,并且在用支持向量机分类时有效地利用了粗糙集获取的决策规则,提高了故障诊断的准确率.使用该 法对柴油机常见故障进行诊断实验,结果表明了方法的有效性. 前用粗糙集进行数据约简,仅将粗糙集     

选择性支持向量机集成算法

为有效提升支持向量机泛化性能,提出了基于差分进化算法和负相关学习的选择性支持向量机集成。通过bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,既提高子SVM的泛化性能,又增大其之间差异度。利用差分进化算法计算各子SVM在加权平均中的最优权重,选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的泛化性能。     

基于成对差异性度量的选择性集成方法

有效地产生泛化能力强、差异大的个体学习器,是集成学习算法的关键。为了提高学习器的差异性和精度,文中提出一种基于成对差异性度量的选择性集成方法。同时研究一种改进方法,进一步提高方法的运算速度,且支持并行计算。最后通过使用BP神经网络作为基学习器,在UCI数据集上进行实验,并与Bagging、基于遗传算法的选择性集成(GASEN)算法进行比较。实验结果表明,该改进算法在性能上与GASEN算法相近的前提下,训练速度得到大幅提高。     

基于子图策略的选择性分类器集成算法

为了去除集成学习中的冗余个体,提出了一种基于子图选择个体的分类器集成算法。训练出一批分类器,利用个体以及个体间的差异性构造出一个带权的完全无向图;利用子图方法选择部分差异性大的个体参与集成。通过使用支持向量机作为基学习器,在多个分类数据集上进行了实验研究,并且与常用的集成方法Bagging和Adaboost进行了比较,结果该方法获得了较好的集成效果。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

基于加速遗传算法的选择性支持向量机集成*

为有效提升支持向量机的泛化性能,提出基于加速遗传算法的选择性支持向量机集成。通过Bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,提高子SVM的泛化性能,并增大其之间差异度。利用加速遗传算法计算各子SVM在加权平均中的最优权重,然后选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的集成效率和泛化性能。     

基于形态学属性剖面的高光谱影像集成分类

传统高光谱遥感影像逐像素分类方法未考虑像元之间的空间关联性且泛化性能较低。形态学属性剖面是表征影像空间结构的有效方法,同时集成学习可显著提升分类算法的泛化能力。为了在高光谱影像分类中充分利用影像的空间信息并提高分类的稳定性,提出一种基于形态学属性剖面高光谱遥感影像集成学习分类方法。首先,用主成分分析和最小噪声变换进行特征提取,并借助形态学属性剖面获取影像的多重空间特征;然后用极限学习和支持向量机的方法进行分类;最后将多个分类结果以多数投票的方式集成。区别于已有集成学习方法,综合考虑了不同特征提取和不同分类方法的联合集成,并将形态学属性剖面引入其中以充分利用影像的空间信息。采用AVIRIS和ROSIS两组高光谱数据检验该方法的分类性能,实验结果表明该方法可获得高精度和高稳定性的分类结果,总体精度分别达到83.41%和95.14%。     

基于K均值聚类和粒子群优化的多核SVM图像分割

图像分割是图像理解和计算机视觉的重要内容.针对单核SVM在进行图像分割过程中不能兼顾分割精度高和泛化性能好的问题,提出一种基于K均值聚类和优化多核SVM的图像分割算法.该算法首先运用K均值聚类算法自动选取训练样本,然后提取其颜色特征和纹理特征作为训练样本的特征属性,并使用其对构造的多核SVM分割模型进行训练,最后用粒子群优化算法对多核核参数、惩罚因子以及核权重系数联合寻优,使生成的多核SVM具有更好的分割性能.实验结果表明,本文方法在有效提取图像目标细节的同时,获得了更高的分割精度,与基于单核的SVM分割模型相比,具有更强的泛化能力.     

一种基于凸壳算法的SVM集成方法

为提高支持向量机(SVM)集成的训练速度,提出一种基于凸壳算法的SVM集成方法,得到训练集各类数据的壳向量,将其作为基分类器的训练集,并采用Bagging策略集成各个SVM。在训练过程中,通过抛弃性能较差的基分类器,进一步提高集成分类精度。将该方法用于3组数据,实验结果表明,SVM集成的训练和分类速度平均分别提高了266％和25％。     

基于差分进化的ELM加权集成分类

集成分类通过将若干个弱分类器依据某种规则进行组合,能有效改善分类性能。在组合过程中,各个弱分类器对分类结果的重要程度往往不一样。极限学习机是最近提出的一个新的训练单隐层前馈神经网络的学习算法。以极限学习机为基分类器,提出了一个基于差分进化的极限学习机加权集成方法。提出的方法通过差分进化算法来优化集成方法中各个基分类器的权值。实验结果表明,该方法与基于简单投票集成方法和基于Adaboost集成方法相比,具有较高的分类准确性和较好的泛化能力。     

改进蚁群算法在SVM参数优化研究中的应用

支持向量机参数的选择决定着支持向量机的分类精度和泛化能力,而其参数优化缺乏理论指导,在此背景下提出了ACO-SVM模型。该模型将SVM分类预测准确率作为目标函数,对蚁群算法进行改进,引入有向搜索和基于时变函数更新的信息素更新原则,利用蚁群算法的并行性、正反馈机制和较强的鲁棒性,以求得最优目标并得到SVM的最优参数组合。数值实验结果表明,改进蚁群算法在SVM参数优化选取中具有更好的寻优性能,具有较高的分类准确率;该方法具有较好的并行性和较强的全局寻优能力。     

基于互信息选择聚类集成的网络流量分类方法

针对互联网流量标注困难以及单个聚类器的泛化能力较弱,提出一种基于互信息(MI)理论的选择聚类集成方法,以提高流量分类的精度。首先计算不同初始簇个数K的K均值聚类结果与训练集中流量协议的真实分布之间的规范化互信息(NMI);然后基于NMI的值来选择用于聚类集成的K均值基聚类器的K值序列;最后采用二次互信息(QMI)的一致函数生成一致聚类结果,并使用一种半监督方法对聚类簇进行标注。通过实验比较了聚类集成方法与单个聚类算法在4个不同测试集上总体分类精度。实验结果表明,聚类集成方法的流量分类总体精度能达到90%。所提方法将聚类集成模型应用到网络流量分类中,提高了流量分类的精度和在不同数据集上的分类稳定性。     

基于Gabor和支持向量机的人脸识别

支持向量机(SVM)在处理小样本高维数据及泛化性能强等方面的优势,以及Gabor小波可以很好地模拟哺乳动物视觉神经简单细胞的感受野轮廓降低外界因素的影响,提出了基于Gabor与SVM的人脸识别方法。通过对经Gabor变换人脸图像的独立成分分析得到一组Gabor人脸独立基,并且用遗传算法求得一组最优的Gabor独立基,不但可以降低特征维数,减少计算量,而且可以提高识别率。通过对耶鲁大学人脸图像数据库的测试,证实本文算法有效性。     

优化的支持向量机集成分类器在非平衡数据集分类中的应用

传统的分类算法大都建立在平衡数据集的基础上,当样本数据不平衡时,这些学习算法的性能往往会明显下降.对于非平衡数据分类问题,提出了一种优化的支持向量机(SVM)集成分类器模型,采用KSMOTE和Bootstrap对非平衡数据进行预处理,生成相应的SVM模型并用复合形算法优化模型参数,最后利用优化的参数并行生成SVM集成分类器模型,采用投票机制得到分类结果.对5组UCI标准数据集进行实验,结果表明采用优化的SVM集成分类器模型较SVM模型、优化的SVM模型等分类精度有了明显的提升,同时验证了不同的bootNum取值对分类器性能效果的影响.