基于GA的遥感图像目标SVM自动识别

为了高效合理地确定支持矢量机(SVM)的参数,使其对复杂的二值遥感图像目标进行自动识别,采用实值编码遗传算法来实现SVM模型参数的自动选择.与穷举搜索的留一法及随机试凑法相比,采用遗传算法的SVM模型参数选择更简单、更易于实现,并使SVM具有更好的推广能力.二值遥感图像目标的分类识别结果表明,该方法不但可以提高分类识别率,而且显著地缩短了SVM的训练时间.     

基于蚁群算法的SVM模型选择研究

为了提高SVM的分类器性能,提出使用蚁群算法来指导SVM模型参数的选择,并针对采用RBF作为核函数的SVM进行了实验。然后将该方法与基于GA的SVM模型选择方法进行了比较。实验证明采用蚁群算法具有一定的优势,它能在较短的时间内寻找到最优解,且最终得到的分类结果优于遗传算法。     

基于蚁群算法的SVM模型选择研究

为了提高SVM的分类器性能，提出使用蚁群算法来指导SVM模型参数的选择，并针对采用RBF作为核函数的SVM进行了实验。然后将该方法与基于GA的SVM模型选择方法进行了比较。实验证明采用蚁群算法具有一定的优势，它能在较短的时间内寻找到最优解，且最终得到的分类结果优于遗传算法。     

基于CMA—ES算法的支持向量机模型选择

研究模型选择对支持向量机(SVM)的泛化性能有着重要影响。针对传统梯度算法对初始值敏感及网格搜索法计算复杂的缺点,为了提高全面优化能力和分类精度,提出了一种基于协方差矩阵自适应进化策略(CMA-ES)的支持向量机(SVM)模型优化算法,通过对SVM泛化性能界(Bounds on Generalization Performance)的优化求解,实现了基于CMA-ES算法的SVM模型选择。在标准数据集上的实验结果表明:相比遗传算法和梯度算法,上述方法能够在较小计算代价下得到更优的超参数,提高支持向量机的预测精度稳定性,尤其适合大样本数据条件下的模型选择。     

基于佳点集遗传算法的支持向量机的参数选择

支持向量机(Suppoft Vector Machine,SVM)的参数选择一直缺乏很完善的方法,很大程度上限制了它的应用.为了获得较好的SVM参数,提出了基于佳点集遗传算法的参数选择方法,利用佳点集遗传算法对遗传算法中的交叉操作进行了重新设计,减少了遗传算法的收敛时间并且提高了遗传算法的精度,从而确保了SVM参数选择的准确性.通过数值实验表明由该方法所得的支持向量机可以在一定程度上自动地选择参数,具有一定的推广意义.     

基于遗传算法的SVM参数组合优化

核函数类型、核函数参数及错误惩罚因子是影响SVM学习能力和泛化能力的关键因素.实际应用中选择上述SVM参数组合多依赖经验或人工尝试,通常很难选择到最优参数组合.提出一种基于遗传算法的SVM优化技术,针对优化对象设计二进制编码基因串和相应遗传算子,能够实现同时对上述三个参数组合的优化.在UCI标准数据库上的实验结果说明了提出方法的有效性.     

基于PAC-Bayes边界理论的SVM模型选择方法

PAC-Bayes边界理论融合了贝叶斯定理和随机分类器的结构风险最小化原理,它作为一个理论框架,能有效评价机器学习算法的泛化性能。针对支持向量机（SVM）模型选择问题,通过分析PAC-Bayes边界理论框架及其在SVM上的应用,将PAC-Bayes边界理论与基于交叉验证的网格搜索法相结合,提出一种基于PAC-Bayes边界的SVM模型选择方法（PBB-GS）,实现快速优选SVM的惩罚系数和核函数参数。UCI数据集的实验结果表明该方法优选出的参数能使SVM具有较高的泛化性能,并具有简便快速、参数选择准确的优点,能有效改善SVM模型选择问题。     

基于灰度混合核AR-SVM的预警模型及应用

为提高市场偏好预警分析算法的有效性,提出一种基于灰色混合核AR-SVM模型的新方法。使用支持向量机(SVM)算法来构建财务市场风险预警分析模型,该模型存在非极端风险和极端风险两种情况。采用SVM算法找到基于训练集的最优分类过程。SVM模型容易出现极端风险预警,因此由改进的灰色模型处理市场偏好预测问题的错误市场偏好数据。采用混合核函数对SVM算法进行改进,实现样本数据,提高自回归模型的预测性能。SVM算法可以用于提高市场预警分析的准确性。实验结果表明,该方法可以很好地分析市场偏好数据。     

基于代价敏感支持向量机的软件缺陷预测研究

软件缺陷预测是典型的非平衡学习问题。基于CS SVM和聚类算法改进代价敏感支持向量机（SVM）算法,提出了CCS SVM软件缺陷预测模型。在CCS SVM预测模型中,将SVM与类别误分代价结合起来,以非平衡数据评价指标作为目标函数,优化错分代价因子,提升少数类样本的识别率。通过聚类找到每类样本的中心点,根据样本到其中心点的距离定义每个样本的类别置信度,给每个样本分配不同的误分代价系数,并把样本的置信度引入到代价敏感SVM优化问题中,提高算法鲁棒性,提升SVM分类性能。此外,为了提高模型的泛化能力,使用遗传算法优化特征选择和模型参数。通过美国航空航天局NASA MDP数据集实验表明,本文方法的G mean和F measure模型评价值有明显的提升。     

基于遗传算法的SVM多分类决策树优化算法研究

设计一种基于遗传算法(GA)的支持向量机(SVM)多分类决策树优化算法,以克服因传统SVM多分类决策树结构固定,单个SVM节点在树中位置随意而引起"误差积累"现象严重的缺陷.采用了SVM分类间隔作为GA适应度函数.利用GA在每一决策节点自动选择最优或近优的分类决策,最终自适应地实现了对决策树的优化.仿真实验表明,与传统方法相比,所提出的方法可使"误差积累"现象明显降低,分类质量大大提高.     

A rule-based method for automated surrogate model selection

Surrogate models have been widely used in engineering design because of their capability to approximate computationally complex engineering systems. In practice, the choice of surrogate models is extremely important since there are many types of surrogate models, and they also have different hyper-parameters. Traditional manual selection approaches are very time-consuming and cannot be generalized. To address these challenges, an evolutionary algorithm (EA)-based approaches are proposed and studied. However, they lack interpretability and are computationally expensive. To address these gaps, we create a rule-based method for an automatic surrogate model selection called AutoSM. The drastic increase in the selection pace by pre-screening of surrogate model types based on selection rule extraction is the scientific contribution of our proposed method. First, an interpretable decision tree is built to map four critical features, including problem scale, noise, size of sample and nonlinearity, to the types of surrogate model and select the promising surrogate model; then, a genetic algorithm (GA) is used to find the appropriate hyper-parameters for each selected surrogate model. The AutoSM is tested with three theoretical problems and two engineering problems, including a hot rod rolling and a blowpipe design problem. According to the empirical results, using the proposed AutoSM, we can find the promising surrogate model and associated hyper-parameter in 9 times less than other automatic selection approaches such as concurrent surrogate model selection (COSMOS) while maintaining the same accuracy and robustness in surrogate model selection. Besides, the proposed AutoSM, unlike previous EA-based automatic surrogate model selection methods, is not a black box and is interpretable.     

基于粒子群优化算法的支持向量机参数选择及其应用

参数选择是支持向量机(SVM)研究领域的重要问题,它的本质是一个优化搜索过程,考虑到进化算法在求解优化问题上的有效性,提出了以最小化k-fold交叉验证误差为目标．粒子群优化(PSO)算法为寻优技巧的SVM参数调整方法．通过仿真例子验证该方法的有效性后,用其建立了聚丙烯腈生产过程中数均分子量的软测量模型,结果表明该方法有效．     

支持向量机最优模型选择的研究

通过对核矩阵的研究，利用核矩阵的对称正定性，采用核校准的方法提出了一种SVM最优模型选择的算法——OMSA算法．利用训练样本不通过SVM标准训练和测试过程而寻求最优的核参数和相应的最优学习模型，弥补了传统SVM在模型选择上经验性强和计算量大的不足．采用该算法在UCI标准数据集和FERET标准人脸库上进行了实验，结果表明，通过该算法找到的核参数以及相应的核矩阵是最优的，得到的SVM分类器的错误率最小．该算法为SVM最优模型选择提供了一种可行的方法，同时对其他基于核的学习方法也具有一定的参考价值．     

A feature selection method based on modified binary coded ant colony optimization algorithm

Feature selection is a significant task for data mining and pattern recognition. It aims to select the optimal feature subset with the minimum redundancy and the maximum discriminating ability. In the paper, a feature selection approach based on a modified binary coded ant colony optimization algorithm (MBACO) combined with genetic algorithm (GA) is proposed. The method comprises two models, which are the visibility density model (VMBACO) and the pheromone density model (PMBACO). In VMBACO, the solution obtained by GA is used as visibility information; on the other hand, in PMBACO, the solution obtained by GA is used as initial pheromone information. In the method, each feature is treated as a binary bit and each bit has two orientations, one is for selecting the feature and another is for deselecting. The proposed method is also compared with that of GA, binary coded ant colony optimization (BACO), advanced BACO (ABACO), binary coded particle swarm optimization (BPSO), binary coded differential evolution (BDE) and a hybrid GA-ACO algorithm on some well-known UCI datasets; furthermore, it is also compared with some other existing techniques such as minimum Redundancy Maximum Relevance (mRMR), Relief algorithm for a comprehensive comparison. Experimental results display that the proposed method is robust, adaptive and exhibits the better performance than other methods involved in the paper.     

一种基于变分相关向量机的特征选择和分类结合方法

相关向量机(Relevance vector machine, RVM)是一种函数形式等价于支持向量机(Support vector machine, SVM)的全概率模型,利用变分贝叶斯(Variational Bayesian, VB)方法求解的RVM可以给出所有参数的后验分布. 进一步,通过对样本所在原始特征空间的稀疏化,基于线性核的RVM可以在分类的同时实现对原始特征的线性选择. 本文在传统VB-RVM的基础上提出一种特征选择和分类结合方法. 该方法采用Probit模型将分类问题与回归问题有机地结合起来, 同时,通过对特征维的幂变换扩展,不仅在分类时增加了样本的信息量, 可以构造非线性分类面,而且实现了非线性特征选择的功能. 通过对仿真数据和实测数据分别进行实验, 证明了该特征选择和分类结合方法的实用性和有效性.     

基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.