选择性支持向量机集成算法

为有效提升支持向量机泛化性能,提出了基于差分进化算法和负相关学习的选择性支持向量机集成。通过bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,既提高子SVM的泛化性能,又增大其之间差异度。利用差分进化算法计算各子SVM在加权平均中的最优权重,选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的泛化性能。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

基于双重扰动的选择性支持向量机集成

为了进一步提升支持向量机泛化性能,提出一种基于双重扰动的选择性支持向量机集成算法。利用Boosting方法对训练集进行扰动基础上,采用基于相对核的粗糙集相对约简与重采样技术相结合的动态约简算法进行特征扰动以生成个体成员,然后基于负相关学习理论构造遗传个体适应度函数,利用加速遗传算法选择权重大于阈值的最优个体进行加权集成。实验结果表明,该算法具有较高的泛化性能和较低的时、空复杂性,是一种高效的集成方法。     

集成SVM的回归预测及其遥感应用

为了提高单支持向量机(SvM)回归模型的泛化能力,引入遗传算法(GA)用以搜索SVM的"低偏差区域",给出了一种基于GA的SVM异构集成方法.用此方法对十个典型的数据集进行回归预测,并与单SVM回归结果和Bagging集成回归结果进行了比较,表明这种异构集成方法有较好的泛化能力.将这种方法应用于感兴趣的四个渭河陕西段水质参数的遥感反演,取得了更为精确的预测结果.实验表明,对小样本情况,基于GA的SVM异构集成方法能在付出合理时间花销的条件下,使单SVM的泛化能力得到有效提升.     

基于投影寻踪和支持向量机的模式识别方法

由于支持向量机(SVM)在处理小样本、高维数及泛化性能强等方面的优势,提出了一种基于投影寻踪(PP)和支持向量机的模式分类方法.利用PP方法把高维数据转换到低维子空间,同时用加速遗传算法获得最佳投影方向和投影值,揭示了高维数据的结构特征,然后在低维空间中用SVM对特征向量进行分类识别,并将其应用到银行信贷风险评估中.选用2005年度80家贷款申请企业的数据样本,对该模型进行验证,通过与神经网络模型的比较,证实了该方法用于模式识别的有效性及优越性.     

基于支持向量机和遗传算法的人脸识别研究

采用自适应遗传算法(AGA)优化筛选改进高斯核函数支持向量机(SVM)参数模型进行人脸特征分类。支持向量机的泛化性能主要取决于核函数类型和核函数参数及惩罚系数C,本文在传统高斯核函数基础上提出改进高斯核函数作为支持向量机的非线性映射函数,并使用自适应遗传算法优化筛选核函数参数和支持向量机惩罚系数,将优化后的SVM模型用于人脸库进行实验仿真。实验结果表明,本文方法比传统高斯核函数支持向量机分类器模型有更高识别率。     

基于CMA—ES算法的支持向量机模型选择

研究模型选择对支持向量机(SVM)的泛化性能有着重要影响。针对传统梯度算法对初始值敏感及网格搜索法计算复杂的缺点,为了提高全面优化能力和分类精度,提出了一种基于协方差矩阵自适应进化策略(CMA-ES)的支持向量机(SVM)模型优化算法,通过对SVM泛化性能界(Bounds on Generalization Performance)的优化求解,实现了基于CMA-ES算法的SVM模型选择。在标准数据集上的实验结果表明:相比遗传算法和梯度算法,上述方法能够在较小计算代价下得到更优的超参数,提高支持向量机的预测精度稳定性,尤其适合大样本数据条件下的模型选择。     

基于蚁群算法的支持向量机参数选择方法研究

研究支持向量参数选择优化问题,常用的支持向量机参数优化算法和遗传算法分别存在耗时长和易陷入局部最优值的缺陷,导致支持向量机的分类精度低.为了解决支持向量机参数优化问题,提出了基于蚁群算法的SVM分类器泛化方法.蚁群算法是一种优化搜索方法,具有较强的鲁棒性、优良的分布式计算机制,SVM参数的选取看作参数的组合优化,建立组...     

基于遗传算法对支持向量机模型中参数优化

支持向量机是基于统计学习理论的结构风险最小化原理基础上提出来的一种学习算法,其在理论上保证了模型的最大泛化能力.针对支持向量机结构参数的选取在没有理论支持,选取又比较困难的情况下,对影响模型分类能力的相关参数进行了研究,提出了一种基于遗传算法和十折交叉检验相结合的遗传支持向量机(GA-SVM)算法,利用遗传算法的全局搜索特性得到支持向量机(SVM)的最优参数值,并用算例表明了此算法有效提高了分类的精度和效率.     

一种基于Bagging-SVM的智能传感器集成学习方法

集成多个传感器的智能片上系统( SoC)在物联网得到了广泛的应用.在融合多个传感器数据的分类算法方面,传统的支持向量机( SVM)单分类器不能直接对传感器数据流进行小样本增量学习.针对上述问题,提出一种基于Bagging-SVM的集成增量算法,该算法通过在增量数据中采用Bootstrap方式抽取训练集,构造能够反映新信息变化的集成分类器,然后将新老分类器集成,实现集成增量学习.实验结果表明:该算法相比SVM单分类器能够有效降低分类误差,提高分类准确率,且具有较好的泛化能力,可以满足当下智能传感器系统基于小样本数据流的在线学习需求.     

基于K型支持向量机的遥感图像分类新算法

为了提高遥感图像的分类精度和识别速度,提出了一种基于K型支持向量机（SVM）的遥感图像分类新算法,该算法将灰度共生矩阵提取的纹理特征与光谱特征相结合进行分类。对两组Landsat ETM+数据进行分类仿真实验,结果表明,在多光谱遥感图像的分类中,新算法提高了分类效率、分类精度和泛化能力,K型SVM是一种优于径向基函数SVM的分类器。     

基于改进离散二进制粒子群的SVM选择集成算法

针对基于离散二进制粒子群（BPSO）的SVM选择集成算法的分类精度不高,以及所选分类器个数过多等问题,利用改进的离散二进制粒子群算法（IBPSO）和SVM选择集成算法相结合,提出基于IBPSO的SVM选择集成算法。通过选用合适的适应度函数以及调节因子[k],进行多次仿真,实验表明,对由boostrap方式生成的SVM集合,基于IBPSO的SVM选择集成在精度和分类器个数方面均优于基于BPSO的SVM选择集成,证明了IBPSO算法的优越性。     

基于支持向量机的改进分类算法

为了进一步提高支持向量机分类的准确性和泛化能力,提出一种基于支持向量机的改进二叉树分类算法.首先介绍支持向量机的基本原理,总结了常见的多分类器分类算法及其特点,结合现有分类算法的优点,为分类器引入了不同的权值,提出二叉树改进分类算法,有效避免了常用分类算法不足.通过仿真实验,与典型的多类分类算法对比,验证该算法的有效性,为多类分类预测研究提供了一条有效的途径.     

A new ensemble feature selection and its application to pattern classification

Neural network ensemble based on rough sets reduct is proposed to decrease the computational complexity of conventional ensemble feature selection algorithm. First, a dynamic reduction technology combining genetic algorithm with resampling method is adopted to obtain reducts with good generalization ability. Second, Multiple BP neural networks based on different reducts are built as base classifiers. According to the idea of selective ensemble, the neural network ensemble with best generalization ability can be found by search strategies. Finally, classification based on neural network ensemble is implemented by combining the predictions of component networks with voting. The method has been verified in the experiment of remote sensing image and five UCI datasets classification. Compared with conventional ensemble feature selection algorithms, it costs less time and lower computing complexity, and the classification accuracy is satisfactory.     

改进蚁群算法在SVM参数优化研究中的应用

支持向量机参数的选择决定着支持向量机的分类精度和泛化能力,而其参数优化缺乏理论指导,在此背景下提出了ACO-SVM模型。该模型将SVM分类预测准确率作为目标函数,对蚁群算法进行改进,引入有向搜索和基于时变函数更新的信息素更新原则,利用蚁群算法的并行性、正反馈机制和较强的鲁棒性,以求得最优目标并得到SVM的最优参数组合。数值实验结果表明,改进蚁群算法在SVM参数优化选取中具有更好的寻优性能,具有较高的分类准确率;该方法具有较好的并行性和较强的全局寻优能力。     

基于离散化方法的支持向量机集成研究

基于数据离散化方法,提出一种新的支持向量机集成算法,该算法采用粗糙集和布尔推理离散化方法构造有差异的基分类器.并引入一致度指标控制离散化过程,可进一步提高集成学习的分类性能.实验结果表明,该算法不仅具有明显优于单一支持向量机的分类性能.而且能取得比传统集成学习算法Bagging和Adaboost更高的分类正确率.     

基于单核苷酸统计和支持向量机集成的人类基因启动子识别

为高效地判别人类基因启动子,提出了一种基于单核苷酸统计和支持向量机集成的人类基因启动子识别算法。首先通过基因单核苷酸统计,从而将一个基因数据集分为C偏好和G偏好两个子集;然后分别对这两个子集提取DNA刚性特征、词频统计特征和CpG岛特征;最后采用多个支持向量机(SVM)集成的方式来学习这三种特征,并讨论了三种集成方式,包括单层SVM集成、双层SVM集成和级联SVM集成。实验结果表明所提算法能够提高人类基因启动子识别的敏感性和特异性,其中双层SVM集成的敏感性达到79.51%,且级联SVM集成的特异性高达84.58%。