一种使用多Filter初始化GA种群的混合特征选择模型

特征选择已经是高维数据处理尤其是模式识别领域中的一个关键问题.提出一种混合特征选择模型用于从潜在的相关特征中选择那些最重要的特征.该模型包括两部分:filter部分与wrapper部分.在filter部分,4种不同的Filter方法分别对候选特征进行独立排序,在融合后进一步生成综合特征排序,综合排序随后产生遗传算法(GA)的初始种群.在wrapper部分,GA算法根据神经网络的分类准确率对个体(特征子集)进行评价,以便于搜索到最优的特征子集.测试结果表明,该模型不仅能有效地减少特征子集的大小,而且还可以进一步提高分类识别的准确率和效果.     

一种基于信息增益及遗传算法的特征选择算法

特征选择是模式识别及数据挖掘等领域的重要问题之一。针对高维数据对象,特征选择一方面可以提高分类精度和效率,另一方面可以找出富含信息的特征子集。针对此问题,本文提出一种综合了filter模型及wrapper模型的特征选择方法,首先基于特征之间的信息增益进行特征分组及筛选,然后针对经过筛选而精简的特征子集采用遗传算法进行随机搜索,并采用感知器模型的分类错误率作为评价指标。实验结果表明,该算法可有效地找出具有较好的线性可分离性的特征子集,从而实现降维并提高分类精度。     

基于相关性分析及遗传算法的高维数据特征选择

特征选择是模式识别及数据挖掘等领域的重要问题之一。针对高维数据对象，特征选择一方面可以提高分类精度和效率，另一方面可以找出富含信息的特征子集。针对此问题，提出了一种综合了filter模型及wrapper模型的特征选择方法，首先基于特征与类别标签的相关性分析进行特征筛选，只保留与类别标签具有较强相关性的特征，然后针对经过筛选而精简的特征子集采用遗传算法进行随机搜索，并采用感知器模型的分类错误率作为评价指标。实验结果表明,该算法可有效地找出具有较好的线性可分离性的特征子集，从而实现降维并提高分类精度。     

用于特征选择的多准则闭合链式遗传算法

针对简单遗传算法用于特征选择精度不高、过早收敛的问题,提出了链式遗传算法(Link-like Agent Genetic Algorithm),并与多准则(MC)相结合,从而实现了基于多准则竞争策略的链式遗传算法并用于特征选择(LAGA MC)研究.LAGA引入了链式个体结构,遗传个体相互进行竞争选择和自适应交叉、自适应变异,从而获得更精确的搜索结果.MC通过对基于单准则进行选择得到的特征子集进行特征位判断,已达到更全面评价选择结果,获得识别率更稳定更高的特征子集.实验结果表明,本文算法获得的特征子集分类准确率比其他几种基于遗传算法的特征选择算法更高、更稳定.     

基于最大互信息最大相关熵的特征选择方法

特征选择算法主要分为filter和wrapper两大类,并已提出基于不同理论的算法模型,但依然存在算法处理能力不强、子集分类精度不高等问题。基于模糊粗糙集的信息熵模型提出最大互信息最大相关熵标准,并根据该标准设计了一种新的特征选择方法,能同时处理离散数据、连续数据和模糊数据等混合信息。经UCI数据集试验,表明该算法与其他算法相比,具有较高的精度,且稳定性较高,是有效的。     

基于多准则的链式智能体遗传算法用于特征选择*

针对简单遗传算法用于特征选择精度不高、过早收敛的问题,提出了一种新的遗传算法——链式智能体遗传算法(LAGA),并与多准则(MC)相结合,从而提出了基于多准则竞争策略的链式智能体遗传算法(LAGA MC)用于特征选择。LAGA引入了链式智能体结构,智能体相互进行竞争选择和自适应交叉,自身进行自适应变异,从而使得该算法能够获得更精确的搜索结果;MC通过对基于单准则进行选择得到的特征子集进行特征位判断,从而确定出最终特征子集,以达到更全面的评价选择结果,获得识别率更稳定的特征子集。实验结果表明,LAGA搜索精度更高,LAGA MC获得的特征子集分类准确率更高、更稳定。     

基于排序融合的特征选择

针对模式分类中的特征选择问题,分别依据ReliefF算法、类间可分性及特征相关性等多个评价准则对待约简特征进行评价与排序,基于排序融合方法实现对多个特征选择评价准则的综合利用.基于多个数据集的实验结果表明,该方法在有效降低特征维度的同时,具有比单准则特征选择方法更高的分类性能.     

一种高效的面向轻量级入侵检测系统的特征选择算法

特征选择是网络安全、模式识别、数据挖掘等领域的重要问题之一.针对高维数据对象,特征选择一方面可以提高分类精度和效率,另一方面可以找出富含信息的特征子集.文中提出一种wrapper型的特征选择算法来构建轻量级入侵检测系统.该算法采用遗传算法和禁忌搜索相混合的搜索策略对特征子集空间进行随机搜索,然后利用提供的数据在无约束优化线性支持向量机上的平均分类正确率作为特征子集的评价标准来获取最优特征子集.文中按照DOS,PROBE,R2L,U2R 4个类别对KDD1999数据集进行分类,并且在每一类上进行了大量的实验.实验结果表明,对每一类攻击文中提出的特征选择算法不仅可以加快特征选择的速度,而且基于该算法构建的入侵检测系统在建模时间、检测时间、检测已知攻击、检测未知攻击上,与没有运用特征选择的入侵检测系统相比具有更好的性能.     

基于多准则排序融合的特征选择方法

针对模式分类中特征选择问题,为去除冗余特征,提高分类准确率,提出一种基于ReliefF算法、Fisher比率算法和马氏距离算法的多准则排序融合的特征选择方法。动态结合上述3种单准则特征选择法的优点,实现对多个评价准则的综合利用。以Ionosphere标准数据集和高速列车转向架故障数据集为研究对象进行实验仿真,仿真结果表明,相比于单准则特征选择法,该方法能更有效地降低特征维数,具有更高的分类性能。     

代价敏感数据的多标记特征选择算法

在多标记学习中,特征选择是提升多标记学习分类性能的有效手段。针对多标记特征选择算法计算复杂度较大且未考虑到现实应用中数据的获取往往需要花费代价,本文提出了一种面向代价敏感数据的多标记特征选择算法。该算法利用信息熵分析特征与标记之间的相关性,重新定义了一种基于测试代价的特征重要度准则,并根据服从正态分布的特征重要度和特征代价的标准差,给出一种合理的阈值选择方法,同时通过阈值剔除冗余和不相关特征,得到低总代价的特征子集。通过在多标记数据的实验对比和分析,表明该方法的有效性和可行性。     

基于再生核希尔伯特空间映射的高维数据特征选择优化算法*

现有过滤型特征选择算法并未考虑非线性数据的内在结构,从而分类准确率远远低于封装型算法,对此提出一种基于再生核希尔伯特空间映射的高维数据特征选算法。首先,基于分支定界法建立搜索树,并对其进行搜索;然后,基于再生核希尔伯特空间映射分析非线性数据的内部结构;最终,根据数据集的内部结构选择最优的距离计算方法。对比仿真实验结果表明,本方法与封装型特征选择算法具有接近的分类准确率,同时在计算效率上具有明显的优势,适用于大数据分析。     

Sequential multi-criteria feature selection algorithm based on agent genetic algorithm

A multi-criteria feature selection method-sequential multi-criteria feature selection algorithm (SMCFS) has been proposed for the applications with high precision and low time cost. By combining the consistency and otherness of different evaluation criteria, the SMCFS adopts more than one evaluation criteria sequentially to improve the efficiency of feature selection. With one novel agent genetic algorithm (chain-like agent GA), the SMCFS can obtain high precision of feature selection and low time cost that is similar as filter method with single evaluation criterion. Several groups of experiments are carried out for comparison to demonstrate the performance of SMCFS. SMCFS is compared with different feature selection methods using three datasets from UCI database. The experimental results show that the SMCFS can get low time cost and high precision of feature selection, and is very suitable for this kind of applications of feature selection.     

A new hybrid feature selection approach using feature association map for supervised and unsupervised classification

Feature selection, both for supervised as well as for unsupervised classification is a relevant problem pursued by researchers for decades. There are multiple benchmark algorithms based on filter, wrapper and hybrid methods. These algorithms adopt different techniques which vary from traditional search-based techniques to more advanced nature inspired algorithm based techniques. In this paper, a hybrid feature selection algorithm using graph-based technique has been proposed. The proposed algorithm has used the concept of Feature Association Map (FAM) as an underlying foundation. It has used graph-theoretic principles of minimal vertex cover and maximal independent set to derive feature subset. This algorithm applies to both supervised and unsupervised classification. The performance of the proposed algorithm has been compared with several benchmark supervised and unsupervised feature selection algorithms and found to be better than them. Also, the proposed algorithm is less computationally expensive and hence has taken less execution time for the publicly available datasets used in the experiments, which include high-dimensional datasets.     

Efficient feature size reduction via predictive forward selection

Most of the widely used pattern classification algorithms, such as Support Vector Machines (SVM), are sensitive to the presence of irrelevant or redundant features in the training data. Automatic feature selection algorithms aim at selecting a subset of features present in a given dataset so that the achieved accuracy of the following classifier can be maximized. Feature selection algorithms are generally categorized into two broad categories: algorithms that do not take the following classifier into account (the filter approaches), and algorithms that evaluate the following classifier for each considered feature subset (the wrapper approaches). Filter approaches are typically faster, but wrapper approaches deliver a higher performance. In this paper, we present the algorithm – Predictive Forward Selection – based on the widely used wrapper approach forward selection. Using ideas from meta-learning, the number of required evaluations of the target classifier is reduced by using experience knowledge gained during past feature selection runs on other datasets. We have evaluated our approach on 59 real-world datasets with a focus on SVM as the target classifier. We present comparisons with state-of-the-art wrapper and filter approaches as well as one embedded method for SVM according to accuracy and run-time. The results show that the presented method reaches the accuracy of traditional wrapper approaches requiring significantly less evaluations of the target algorithm. Moreover, our method achieves statistically significant better results than the filter approaches as well as the embedded method.     

Occupancy estimation from environmental parameters using wrapper and hybrid feature selection

Occupancy information is essential to facilitate demand-driven operations of air-conditioning and mechanical ventilation (ACMV) systems. Environmental sensors are increasingly being explored as cost effective and non-intrusive means to obtain the occupancy information. This requires the extraction and selection of useful features from the sensor data. In past works, feature selection has generally been implemented using filter-based approaches. In this work, we introduce the use of wrapper and hybrid feature selection for better occupancy estimation. To achieve a fast computation time, we introduce a ranking-based incremental search in our algorithms, which is more efficient than the exhaustive search used in past works. For wrapper feature selection, we propose the WRANK-ELM, which searches an ordered list of features using the extreme learning machine (ELM) classifier. For hybrid feature selection, we propose the RIG-ELM, which is a filter–wrapper hybrid that uses the relative information gain (RIG) criterion for feature ranking and the ELM for the incremental search. We present experimental results in an office space with a multi-sensory network to validate the proposed algorithms.     

数据挖掘中的特征选择及其算法研究

特征选择是整个KDD处理过程中的重要一环,特征选择方法可以分为Filer和Wrapper两种模式。从特征选择算法的搜索方向、搜索策略、评价方法和停止标准4个方面、Filter和Wrapper两种模式以及几种有代表性的特征选择算法等,对数据挖掘中的特征选择及其相关技术进行了广泛的研究。     

多类型语音特征进化选择算法

基于特征选择的语音特征获取用于说话人识别是目前较为有效的方式。但是,最优语音特征随着具体应用环境的变化而不同。因此,提出了基于四类型语音特征封装式遗传特征选择算法（FSF-WrGAF）,该算法提取了四种类型的语音特征参数,通过链式智能体遗传算法和GMM-UBM进行封装式动态特征选择,获取高精度的识别准确率。采用了多种指标完成该算法的性能测试。实验结果表明,该算法具体实现过程简便,改进效果明显,较同类算法在多项指标（识别率,EER,DET曲线）上都有显著提高。     

故障特征组合选择方法

特征选择方法主要包括过滤方法和绕封方法。为了利用过滤方法计算简单和绕封方法精度高的优点,提出一种组合过滤和绕封方法的特征选择新方法。该方法首先利用基于互信息准则的过滤方法得到满足一定精度要求的子集后,再采用绕封方法找到最后的优化特征子集。由于遗传算法在组合优化问题上的成功应用,对特征子集寻优采用了遗传算法。在数值仿真和轴承故障特征选择中,采用新方法在保证诊断精度的同时,可以节省大量选择时间。组合特征选择方法有较好的寻优特征子集的能力,能够节省选择时间,具有高效、高精度的双重优点。     

特征选择方法与算法的研究

特征选择的主要思想是通过去除一些包含少量或不相关的信息的特征去选择特征子集。特征选择方法可分为三大类：一是过滤式,二是封装式,三是嵌入式。鉴于目前存在大量的特征选择算法,为了能够适当地决定在特定的情况下使用哪种算法,需要提出可以依赖或判定的标准。文中的主要工作就是综述一些基本特征选择算法,根据文献中已有的理论和实验结果对特征选择方法和算法进行比较分类,然后提出一种可以依赖或判定的标准。