基于ADE的ReliefF特征选择在高光谱图像分类中的应用

针对高光谱图像谱段数目较多、近邻谱段相关性过高而导致分类困难的问题,提出了一种自适应差分进化特征选择的高光谱图像分类算法.首先初始化种群向量集,利用自适应差分进化算法搜索特征的自适应性生成特征子集;然后,通过使用ReliefF技术根据特征排序去除重复特征,从而为所有的特征构建一个特征列表;最后,借助于模糊k-近邻分类器计算每个向量的分类精度,利用包裹模型评估特征子集.在印第安纳数据集和KSC数据集上的实验结果验证了算法的有效性及可靠性,实验结果表明,相比其他几种特征选择算法,该算法取得了更高的总分类精度和更好的Kappa系数.     

带约束小生境二进制粒子群优化的生物组学数据集成特征选择

针对生物组学数据高维小样本的特点而引起的分类误差较大的问题,提出了一种带约束小生境二进制粒子群优化的集成特征选择方法。该方法利用二进制粒子群优化算法搜索分类准确率最高的特征子集,通过约束粒子编码的置位个数以限制选择特征个数,并加入多模优化中的小生境技术使算法能够一次获得多个差异度较大的特征子集,最后采用集成学习技术将基于多特征子集建立的基分类器集成为强分类器并对数据进行分类学习。实验结果表明,该特征选择方法在生物组学数据上能够稳定选择较少特征并获得较好分类性能。      

基于邻域粗糙集和海洋捕食者算法的特征选择方法

针对粗糙集模型中特征选择方法存在计算开销大、不能直接处理连续数据,以及海洋捕食者算法(MPA)处理优化问题仍存在收敛速度慢、易陷入局部最优等问题,提出了基于邻域粗糙集(NRS)和海洋捕食者算法的特征选择方法.首先,使用基于Tent混沌映射的反向学习和高斯扰动策略对原算法改进得到IMPA,再构建一种传输机制形成一种二进制算法;然后,基于邻域依赖度和特征子集长度构造适应度函数,使用IMPA不断迭代搜索出最优特征子集,设计一种元启发式特征选择算法.最后,在9个基准测试函数上评估IMPA的优化性能以及在UCI数据集上评估特征选择算法的分类能力.实验结果表明,在9个基准测试函数上IMPA的平均值、标准差明显优于粒子群优化算法(PSO)和樽海鞘算法(SSA);在UCI数据集上,同基于粗糙集的优化特征选择算法、基于邻域粗糙集的优化特征选择算法相比,所提的特征选择方法在KNN分类器下的分类精度平均值分别提高了10.28~14.13个百分点、2.71~12.11个百分点,在CART分类器下的分类精度平均值分别提高了9.41~13.24个百分点、2.90~12.31个百分点.     

面向分类的流特征在线特征选择算法

在线流特征选择通过实时过滤无关特征和冗余特征,实现流特征空间降维.针对已有算法,如Alpha-investing分类精度低、SAOLA选择特征数多和OSFS在低冗余高相关数据集下运行时间长的问题,提出了一种面向分类的流特征在线特征选择算法——OSFIC.算法运用四层过滤框架,通过无条件独立过滤不相关新特征、单条件下互信息过滤冗余新特征和候选特征集合中的部分冗余特征,最后通过多条件独立过滤候选特征集中的剩余冗余特征,最终得到分类标签的近似马尔可夫毯.为了分析OSFIC的性能,选择了NIPS 2003和Causality Workbench中的数据集,从预测精度、特征数量、运行时间和AUC方面与已有基准算法进行比较.实验表明,OSFIC平均分类精度比Alpha-investing提升4.41%.在保证精度的前提下,平均特征数量比SAOLA减少41.9%,运行时间比OSFS减少91.59%.最后,在真实的应用场景下验证了OSFIC的有效性.     

空谱结构保持的高光谱图像分类

高光谱遥感图像具有特征（波段）数多、冗余度高等特点,因此特征选择成为高光谱分类的研究热点。针对此问题,提出了空间结构与光谱结构同时保持的高光谱数据分类算法。考虑高光谱图像的物理特性,首先对图像进行加权空谱重构,使图像的空间结构信息自动融入光谱特征,形成空谱特征集;对利用最小二乘回归模型保存数据集的全局相似性结构的基础上,加入局部流形结构正则项,使挑选的特征子集更好地保存数据集的内在本质结构;讨论了窗口大小和正则参数对分类精度的影响。对Indian Pines、PaviaU和Salinas数据集的实验表明,该算法得到的特征子集的总体分类精度达到93.22%、96.01%和95.90%。该算法不仅充分利用了高光谱图像的空间结构信息,而且深入挖掘了数据集的内在本质结构,从而得到更有鉴别性的特征子集,相比传统方法明显提高了分类精度。     

一种基于CSA的混和属性特征大数据集聚类算法

在数据挖掘中,我们经常会遇到和分析大量具有数值和类属特征的数据.然而,现有的大多数分类算法只能单独处理数值特征数据或类属特征数据,而不能分析具有两种混合属性的数据.为此,本文提出一种基于克隆选择的模糊聚类新算法,通过改进距离测度函数将数值特征与类属特征相结合,从而实现具有混合属性特征数据的聚类分析;通过引入克隆选择算法(CSA)实现目标函数的全局优化.由于克隆算子能够将进化搜索与随机搜索、全局搜索和局部搜索相结合,因而通过对候选解进行克隆算子操作,能够快速得到全局最优解.实验结果表明,基于CSA的模糊聚类新算法对于处理具有混和特征的大数据集聚类问题是相当有效的.     

基于优化Adaboost迭代过程的SVM集成算法

为提高Adaboost算法迭代过程中生成基分类器的分类精度以及简化整个集成学习系统的复杂度,文章提出了一种优化Adaboost迭代过程的SVM集成算法。该算法提出了一种在其迭代过程中加入样本选择和特征选择的集成方法。通过均值近邻算法对样本进行选择,并利用相对熵法进行特征选择,最后利用优化得到的特征样本子集对基分类器SVM进行训练,并用加权投票法融合各个SVM基分类器的决策结果进行最终判决。通过对UCI数据集的仿真结果表明,本算法与支持向量机集成算法相比,能够在更少的样本以及特征的基础上,实现较高的识别正确率。     

面向恶意网址检测的广谱特征选择与评估

针对恶意网址检测系统的特征选择和降维问题,基于特征选择方法的优化结果提出多种特征子集。利用基于分类器的准确率和召回率等性能评价指标,采用随机森林、贝叶斯网络、J48、随机树机器学习方法,对信息增益、卡方校验、信息增益率、基于Relief值、基于OneR分类器、基于关联性规则、基于相关性等多种特征选择算法所确定的特征子集进行检测。结果表明,除基于相关性特征选择算法确定的特征子集外,其他方法确定的特征子集均具有良好的分类性能,其中基于关联性规则选择的特征子集的维度仅为5,但各分类器基于此特征子集的分类准确率均高达99%以上。     

对称不确定性和粒子群的高维特征选择算法

高维数据中存在着成千上万个特征,大量的特征导致问题搜索空间过大,增加了计算代价,影响了数据分类预测的准确性.为了提高特征选择的效率,本文提出了一种对称不确定性和种群降维机制的粒子群特征选择算法,该算法设计了一种基于对称不确定性指标的初始化方法,降低特征选择的计算代价.通过非支配排序的种群降维机制,减少进化过程中冗余特征的影响.在5个公开生物医学的高维数据集上的实验结果表明,该算法能够针对高维数据特征选择问题取得更好的分类精度和更小的最优子集特征个数,并在时间运行方面有一定的优势.     

特征选择中B&B算法的改进及比较

B&B(Branch & Bound)算法是特征选择中的一种全局最优算法,其固有缺点是运行时间太长.用B&B算法构造一棵搜索树,在树中搜索最优的特征子集.对B&B算法的研究集中在化简搜索树从而降低搜索复杂度上,提出了几种改进的B&B算法.从原理上分析了B&B算法及其各种改进的优缺点,将这一系列算法纳入到同一个算法框架,并在此基础上提出了一种针对BBPP算法的改进算法,BBPP+算法.通过比较各种实验数据,发现改进后的BBPP+算法的运行效率比已有的B&B算法更好.     

基于递归和SVM的特征选择方法研究

特征选择是模式识别领域的一个重要的研究方向,它可以提高分类的效率与效果。本文将递归特征排除算法与SVM决策树结合起来运用于特征选择,首先利用递归特征排除算法对所选择的特征进行初排序,然后依次将特征送入SVM决策树中进行优化评估,对数据中起显著作用的特征进行筛选,除去冗余和次要特征,得到特征子集。最后,通过对Linux主机和相关网络的27个入侵特征数据进行特征选择实验,实验结果表明,特征个数降至21个,而测试精度仍然能达到94%,从而证明本文所提出的递归和SVM相结合的方法是解决特征选择问题的一种有效方法。     

Online selection of the best k-feature subset for object tracking

In this paper, we propose a new feature subset evaluation method for feature selection in object tracking. According to the fact that a feature which is useless by itself could become a good one when it is used together with some other features, we propose to evaluate feature subsets as a whole for object tracking instead of scoring each feature individually and find out the most distinguishable subset for tracking. In the paper, we use a special tree to formalize the feature subset space. Then conditional entropy is used to evaluating feature subset and a simple but efficient greedy search algorithm is developed to search this tree to obtain the optimal k-feature subset quickly. Furthermore, our online k-feature subset selection method is integrated into particle filter for robust tracking. Extensive experiments demonstrate that k-feature subset selected by our method is more discriminative and thus can improve tracking performance considerably.     

基于蒙特卡罗特征降维算法的小样本高光谱图像分类

高光谱图像分类是高光谱数据分析的重要研究内容.相关向量机由于不受梅西定理的限制、不需要设置惩罚因子等优势受到广泛关注.由于高光谱数据具有较高的维数,当训练样本较少时,高光谱数据的分类精度受到严重的影响.通常解决这种现象的办法是对原数据进行特征降维处理,然而多数基于filter模型的特征选择算法无法直接给出最优特征选择个数.为此提出利用蒙特卡罗随机实验可以对特征参量进行统计估计的特性,计算高光谱图像的最优降维特征数,并与相关向量机结合,对降维后的数据进行分类.实验结果表明了使用蒙特卡罗算法求解降维波段数的可靠性.相比较原始末降维数据,降维后的高光谱图像分类精度有较大幅度的提高.     

基于蒙特卡罗特征降维算法的小样本高光谱图像分类

高光谱图像分类是高光谱数据分析的重要研究内容。相关向量机由于不受梅西定理的限制、不需要设置惩罚因子等优势受到广泛关注。由于高光谱数据具有较高的维数, 当训练样本较少时,高光谱数据的分类精度受到严重的影响。通常解决这种现象的办法是对原数据进行特征降维处理,然而多数基于filter模型的特征选择算法无法直接给出最优特征选择个数。为此提出利用蒙特卡罗随机实验可以对特征参量进行统计估计的特性,计算高光谱图像的最优降维特征数,并与相关向量机结合,对降维后的数据进行分类。实验结果表明了使用蒙特卡罗算法求解降维波段数的可靠性。相比较原始未降维数据,降维后的高光谱图像分类精度有较大幅度的提高。     

Estimator learning automata for feature subset selection in high‐dimensional spaces,case study: Email spam detection

One of the difficult challenges facing data miners is that algorithm performance degrades if the feature space contains redundant or irrelevant features. Therefore, as a critical preprocess task, dimension reduction is used to build a smaller space containing valuable features. There are 2 different approaches for dimension reduction: feature extraction and feature selection, which itself is divided into wrapper and filter approaches. In high‐dimensional spaces, feature extraction and wrapper approaches are not applicable due to the time complexity. On the other hand, the filter approach suffers from inaccuracy. One main reason for this inaccuracy is that the subset's size is not determined considering specifications of the problem. In this paper, we propose ESS (estimator learning automaton‐based subset selection) as a new method for feature selection in high‐dimensional spaces. The innovation of ESS is that it combines wrapper and filter ideas and uses estimator learning automata to efficiently determine a feature subset that leads to a desirable tradeoff between the accuracy and efficiency of the learning algorithm. To find a qualified subset for a special processing algorithm that functions on an arbitrary dataset, ESS uses an automaton to score each candidate subset upon the scale of the subset and accuracy of the learning algorithm using it. In the end, the subset with the highest score is returned. We have used ESS for feature selection in the framework of spam detection, a text classification task for email as a pervasive communication medium. The results show achievement in reaching the goal stated above.     

Multi-label feature selection algorithm based on joint mutual information of max-relevance and min-redundancy

Feature selection has played an important role in machine learning and artificial intelligence in the past decades.Many existing feature selection algorithm have chosen some redundant and irrelevant features,which is leading to overestimation of some features.Moreover,more features will significantly slow down the speed of machine learning and lead to classification over-fitting.Therefore,a new nonlinear feature selection algorithm based on forward search was proposed.The algorithm used the theory of mutual information and mutual information to find the optimal subset associated with multi-task labels and reduced the computational complexity.Compared with the experimental results of nine datasets and four different classifiers in UCI,the proposed algorithm is superior to the feature set selected by the original feature set and other feature selection algorithms.     

基于CHI与遗传算法的特征选择

在基于Web文本信息过滤系统中通过特征选择找到的最优特征子集直接影响到分类的速度及精度。针对此问题，提出了综合CHI及遗传算法的特征选择方法。首先针对原始特征集，采用CHI统计法进行初始筛选，去除冗余特征及噪声后，对得到的特征子集再采用遗传算法进行第二次特征选择，从而得出代表问题空间的最优特征子集，实现降维并提高了分类精度。     

入侵检测中基于SVM的两级特征选择方法

针对入侵检测中的特征优化选择问题,提出基于支持向量机的两级特征选择方法。该方法将基于检测率与误报率比值的特征评测值作为特征筛选的评价指标,先采用过滤模式中的Fisher分和信息增益分别过滤噪声和无关特征,降低特征维数;再基于筛选出来的交叉特征子集,采用封装模式中的序列后向搜索算法,结合支持向量机选取最优特征子集。仿真测试结果表明,采用该方法筛选出来的特征子集具有更好的分类性能,并有效降低了系统的建模时间和测试时间。     

基于UCT搜索算法的点格棋博弈系统研究

蒙特卡罗树搜索(MCTS)在许多完备的信息双人游戏中获得成功。本文给出了UCT(Upper Confidence Bound Apply to Tree)算法结合了UCB公式和蒙特卡洛树搜索算法,同时与局面评估相结合,根据点格棋长链和环的特点对算法进行了优化。有利于更快更准地找到当前局面的最优解。     

Feature selection algorithm based on XGBoost

Feature selection in classification has always been an important but difficult problem.This kind of problem requires that feature selection algorithms can not only help classifiers to improve the classification accuracy,but also reduce the redundant features as much as possible.Therefore,in order to solve feature selection in the classification problems better,a new wrapped feature selection algorithm XGBSFS was proposed.The thought process of building trees in XGBoost was used for reference,and the importance of features from three importance metrics was measured to avoid the limitation of single importance metric.Then the improved sequential floating forward selection (ISFFS) was applied to search the feature subset so that it had high quality.Compared with the experimental results of eight datasets in UCI,the proposed algorithm has good performance.