基于多样性分类和距离回归的进化算法

提出了一个基于多样性分类和距离回归的进化算法(DCDREA),以解决昂贵超多目标优化问题(Ma OPs).DCDREA采用随机森林(RF)作为全局分类代理模型,它把种群中所有解作为训练样本,并根据是否为最小相关解,把训练样本分类为正负样本,使模型学习到训练样本中含有的分类标准.全局分类代理模型主要用来筛选新产生的候选解,以得到一组有希望的候选解.此外,它采用Kriging作为局部回归代理模型,其选择种群中距离当前候选解最近的解作为训练样本,拟合训练样本与理想点的距离.然后,通过K-means方法把候选解划分为μ个簇,并从每个簇中选择一个用于真实评估的候选解.在实验部分,使用大规模3、4、6、8、10目标的DTLZ测试问题集,把DCDREA与目前流行的代理辅助进化算法进行对比实验.对于不同测试问题,每个算法独立运行20次,然后统计反向迭代距离(IGD)和算法运行时间.最后,使用秩和检验来分析结果.实验对比结果表明,DCDREA在大多数情况下表现更好.由此可见, DCDREA具有较好的有效性和可行性.     

基于主动学习的加权支持向量机的分类

用支持向量机SVM进行分类时,针对在某些机器学习中,存在训练样本获取代价过大,且训练样本中类的数量不对称的问题,提出了基于主动学习策略的加权支持向量机.其在机器学习的进程中,每次从候选样本集中,主动选择最有利于改善分类器性能的n个新样本添加到训练样本中进行学习,引入类权重因子和样本权重因子,将惩罚参数与类权重因子和样本权重因子联系.实验结果表明,该方法能够有效减少训练样本数量,解决类的数量不对称的样本产生的最优分界面偏移的问题,使分类器获得较好的分类性能.     

基于有效候选集的支持向量机样本选择方法

训练样本选择是支持向量机的一个重要研究课题。但是,目前大部分样本选择方法的一个共同的不足就是,其训练样本的候选集是整个样本空间,因此可能会选择一些对分类效果影响不大的内部样本,或者选择一些可能会降低分类效果的“过边界”样本。提出了两种基于“有效”候选集的样本选择方法。该方法首先通过“挖心”和剔除“过边界”样本来确定训练样本的“有效”候选集,然后在此“有效”候选集上进行训练样本的选择。实验结果表明,该方法在保留“有效”候选样本的同时,也提高了支持向量机分类器的正确识别率。     

基于GEPSO模型的面向对象遥感图像分类

针对演化算法的寻优能力,提出了基于GEPSO(GEP Optimized by PSO)模型的面向对象遥感图像分类方法.先对遥感图像进行分割,选择特征集,然后利用GEPSO算法为每类图像对象构造一个类中心.构造类中心的过程先利用GEP搜索一个次优解,再根据这个次优解利用PSO搜索最优解.实验结果表明,基于GEPSO模型的面向对象遥感图像分类方法具有较高的分类精度.     

基于统计相关性与K-means的区分基因子集选择算法

针对高维小样本癌症基因数据集的有效区分基因子集选择难题,提出基于统计相关性和K-means的新颖混合基因选择算法实现有效区分基因子集选择.算法首先采用Pearson相关系数和Wilcoxon秩和检验计算各基因与类标的相关性,根据统计相关性原则选取与类标相关性较大的若干基因构成预选择基因子集;然后,采用K-means算法将预选择基因子集中高度相关的基因聚集到同一类簇,训练SVM分类模型,计算每一个基因的权重,从每一类簇选择一个权重最大或者采用轮盘赌思想从每一类簇选择一个得票数最多的基因作为本类簇的代表基因,各类簇的代表基因构成有效区分基因子集.将该算法与采用随机策略选择各类簇代表基因的随机基因选择算法Random, Guyon的经典基因选择算法SVM-RFE、采用顺序前向搜索策略的基因选择算法SVM-SFS进行实验比较,几个经典基因数据集上的200次重复实验的平均实验结果表明:所提出的混合基因选择算法能够选择到区分性能非常好的基因子集,建立在该区分基因子集上的分类器具有非常好的分类性能.     

用于文本分类的改进KNN算法

采用灵敏度方法对距离公式中文本特征的权重进行修正;提出一种基于CURE算法和Tabu算法的训练样本库的裁减方法,采用CURE聚类算法获得每个聚类的代表样本组成新的训练样本集合,然后用Tabu算法对此样本集合进行进一步维护(添加或删除样本),添加样本时只考虑增加不同类交界处的样本,添加或删除样本以分类精度最高、与原始训练样本库距离最近为原则。     

改进二叉树Entropy-SVM算法的芒果分类检测

提出一种二叉树Entropy-SVM的改进算法,并将其引入芒果分类检测系统.针对传统SVM在多类分类方式及类区分性度量上的不足,首先对样本系统中任意二类问题,把相同的特征属性值信息熵作为样本类别归属的影响因子,然后把样本的平均属性值信息熵定义为二类间的区分因子,由该定义计算二类间的区分度来得到样本系统中每一类的平均区分度.最后把平均区分度的高低作为二叉树SVM多类分类策略的依据,度值越高的类,越早分离.芒果分类检测试验表明,改进的二叉树Entropy-SVM分类检测的准确率明显高于传统SVM多类分类算法.     

鉴别分析方法的最优化问题研究

提出了一种核Fisher鉴别分析方法优化方案,并分别给出了解决两类分类和解决多于两类的分类问题的算法,该方案具有明显的分类效率上的优势。在这种方案的实现中,首先从总体训练样本中选择出“显著”训练样本,对测试样本的分类只依赖于测试样本与“显著”训练样本之间的核函数。还设计出了一种选择“显著”训练样本的递归算法,以降低算法的计算复杂度。将该算法应用于人脸图象数据库与“基准”数据集,得到了很好的实验效果。     

基于熵变的DAG-SVMs的组合策略

为了降低传统的有向无环图支持向量机(DAG-SVMs)多类分类方法在模型构建过程中节点选择的随机性,提高最终分类结果的准确率,提出了一种基于熵变的有向无环图支持向量机(E-DAG-SVMs)的组合策略.该策略通过计算各支持向量机在分割样本集时引发的熵变,依据信息增益最大化原则来决定节点的选择,进而构建多类分类模型.实验结果表日月了该策略的有效性.     

基于Nystr?m谱聚类的词典学习

构建视觉词典是BOVW模型中关键的一个步骤,目前大多数视觉词典是基于K-means聚类方式构建。然而由于K-means聚类的局限性以及样本空间结构的复杂性与高维性,这种方式构建的视觉词典往往区分性能较差。在谱聚类的框架下,提出一种区分性能更强的视觉词典学习算法,为了减少特征在量化过程中区分性能的降低以及谱聚类固有的存储计算问题,算法根据训练样本的类别标签对训练数据进行划分,基于Nystr?m谱聚类得到各子样本数据集的中心并得到最终的视觉词典。在Scene-15数据集上的实验结果验证了算法的正确性和有效性。特别当训练样本有限时,采用该算法生成的视觉词典性能较优。     

混合个体选择机制的多目标进化算法

在多目标进化算法中,如何从后代候选集中选择最优解,显著地影响优化过程.当前,最优解的选择方式主要是基于实际目标值或者代理模型估计目标值.然而,这些选择方式往往是非常耗时或者存在精度差等问题,特别是对于一些实际的复杂优化问题.最近,一些研究人员开始利用有监督分类辅助后代选择,但是这些工作难以准备准确的正例和负例样本,或者存在耗时的参数调整等问题.为了解决这些问题,提出了一种新颖的融合分类与代理的混合个体选择机制,用于从后代候选集中选择最优解.在每一代优化中,首先利用分类器选择优良解;然后设计了一个轻量级的代理模型用于估计优良解的目标值;最后利用这些目标值对优良解进行排序,并选择最优解作为后代解.基于典型的多目标进化算法MOEA/D,利用混合个体选择机制设计了新的算法框架MOEA/D-CS.与当前流行的基于分解多目标进化算法比较,实验结果表明,所提出的算法取得了最好的性能.     

基于不平衡数据的中文情感分类

近些年来,情感分类在自然语言处理研究领域获得了显著的发展。然而,大部分已有的研究都假设参与分类的正类样本和负类样本一样多,而实际情况中正负类数据的分布往往是不平衡的。该文收集四个产品领域的中文评论文本,发现正类样本的数目远远多于负类样本。针对不平衡数据的中文情感分类,提出了一种基于欠采样和多分类算法的集成学习框架。在四个不同领域的实验结果表明,我们的方法能够显著提高分类性能,并明显优于目前主流的多种不平衡分类方法。     

An analysis of parameter sensitivities of preference-inspired co-evolutionary algorithms

Many-objective optimisation problems remain challenging for many state-of-the-art multi-objective evolutionary algorithms. Preference-inspired co-evolutionary algorithms (PICEAs) which co-evolve the usual population of candidate solutions with a family of decision-maker preferences during the search have been demonstrated to be effective on such problems. However, it is unknown whether PICEAs are robust with respect to the parameter settings. This study aims to address this question. First, a global sensitivity analysis method – the Sobol’ variance decomposition method – is employed to determine the relative importance of the parameters controlling the performance of PICEAs. Experimental results show that the performance of PICEAs is controlled for the most part by the number of function evaluations. Next, we investigate the effect of key parameters identified from the Sobol’ test and the genetic operators employed in PICEAs. Experimental results show improved performance of the PICEAs as more preferences are co-evolved. Additionally, some suggestions for genetic operator settings are provided for non-expert users.     

基于引力模型的多标签分类算法

针对多标签分类算法不能充分利用标签相关性的问题,通过建立标签的正、负相关性矩阵来挖掘标签间不同的相关关系,提出一种基于引力模型的多标签分类算法（MLBGM）。首先,遍历训练集中所有样本并分别求取每个训练样本的k个近邻样本,组成该样本的近邻集合;其次,根据每个样本的近邻集合中所有近邻样本的标签分布情况,分别为每个训练样本建立正、负相关矩阵来获取标签间的相关性;然后,为每个训练样本的近邻集合计算其近邻密度和近邻权重;最后,采用计算数据粒子间相互作用力的方式构建多标签分类模型。实验结果显示,MLBGM与5种未考虑标签负相关的对比算法相比,汉明损失（HammingLoss）平均降低了15.62%,微平均F1值（MicroF1）平均提升了7.12%,子集准确率（SubsetAccurary）平均提升了14.88%。MLBGM充分利用了标签间不同的相关性,获得了有效的实验结果且分类效果优于未考虑标签负相关的对比算法。     

序的分类预测在进化算法中的应用

昂贵优化问题的求解往往伴随着计算成本灾难,为了减少目标函数的真实评估次数,将序预测方法用于进化算法中候选解的选取.通过分类预测直接得到候选解的相对优劣关系,避免了对目标函数建立精确代理模型的需求,并且设计了序样本集约简方法,以降低序样本集的冗余性,提高序预测模型的训练效率.接下来,将序预测与遗传算法相结合.序预测辅助遗传算法在昂贵优化测试函数上的仿真实验表明,序预测方法可有效降低求解昂贵优化问题时的计算成本.     

Evolutionary search for low autocorrelated binary sequences

The search for low autocorrelated binary sequences is a classical example of a discrete frustrated optimization problem. We demonstrate the efficiency of a class of evolutionary algorithms to tackle the problem. A suitable mutation operator using a preselection scheme is constructed, and the optimal parameters of the strategy are determined     

组织协同进化分类算法

提出了一种有效的用于数据挖掘分类任务的方法——组织协同进化分类算法(Organizational CoEvolu-tionary algorithm for Classification,OCEC)，与现有遗传分类方法的运行机制不同，它的进化操作直接作用于数据而不是规则，进化结束后再从各组织中提取规则，这样有利于避免在进化过程中产生无意义的规则。提出了三种组织进化算子——增减算子、交换算子与合并算子和一种组织选择机制，给出了属性重要度的进化方式并基于此定义了组织适应度，作者将算法用于UCI数据集，并与现有的基于遗传和非遗传的分类方法进行了比较。实验结果表明该文方法获得了更高的预测准确率，产生了更小的规则集；对同一数据集进行k—次交叉验证，其预测准确率的波动较小，因此本文算法具有更加稳定的性能。     

An evolutionary algorithm with guided mutation for the maximum clique problem

Estimation of distribution algorithms sample new solutions (offspring) from a probability model which characterizes the distribution of promising solutions in the search space at each generation. The location information of solutions found so far (i.e., the actual positions of these solutions in the search space) is not directly used for generating offspring in most existing estimation of distribution algorithms. This paper introduces a new operator, called guided mutation. Guided mutation generates offspring through combination of global statistical information and the location information of solutions found so far. An evolutionary algorithm with guided mutation (EA/G) for the maximum clique problem is proposed in this paper. Besides guided mutation, EA/G adopts a strategy for searching different search areas in different search phases. Marchiori's heuristic is applied to each new solution to produce a maximal clique in EA/G. Experimental results show that EA/G outperforms the heuristic genetic algorithm of Marchiori (the best evolutionary algorithm reported so far) and a MIMIC algorithm on DIMACS benchmark graphs.     

Handling expensive multi-objective optimization problems with a cluster-based neighborhood regression model

This paper gives attention to multi-objective optimization in scenarios where objective function evaluation is expensive, that is, expensive multi-objective optimization. We firstly propose a cluster-based neighborhood regression model, which incorporates the linear regression technique to predict the descent direction and generate new potential offspring. Combining this model with the classical decomposition-based multi-objective optimization framework, we propose an efficient and effective algorithm for tackling computationally expensive multi-objective optimization problems. As opposed to the conventional approach of replacing the original time-consuming objective functions with the approximated ones obtained by surrogate model, the proposed algorithm incorporates the proposed regression model to serve as an operator producing higher-quality offspring so that the algorithm requires fewer iterations to reach a given solution quality. The proposed algorithm is compared with several state-of-the-art surrogate-assisted algorithms on a variety of well-known benchmark problems. Empirical results demonstrate that the proposed algorithm outperforms or is competitive with other peer algorithms, and has the ability to keep a good trade-off between solution quality and running time within a fairly small number of function evaluations. In particular, our proposed algorithm shows obvious superiority in terms of the computational time used for the algorithm components, and can obtain acceptable solutions for expensive problems with high efficiency.     

Speeding up evolutionary algorithms through asymmetric mutation operators

Successful applications of evolutionary algorithms show that certain variation operators can lead to good solutions much faster than other ones. We examine this behavior observed in practice from a theoretical point of view and investigate the effect of an asymmetric mutation operator in evolutionary algorithms with respect to the runtime behavior. Considering the Eulerian cycle problem we present runtime bounds for evolutionary algorithms using an asymmetric operator which are much smaller than the best upper bounds for a more general one. In our analysis it turns out that a plateau which both algorithms have to cope with changes its structure in a way that allows the algorithm to obtain an improvement much faster. In addition, we present a lower bound for the general case which shows that the asymmetric operator speeds up computation by at least a linear factor.