特征选择及其常用算法

压缩特征向量的维数,在较低维特征空间中进行分类器设计是特征选择与提取的目的。本文介绍了相关概念,给出了常见的几种类别可分性判据,讨论了特征选择的几种常用算法。     

基于改进的蜻蜓算法的特征选择

蜻蜓算法是一种近年提出的元启发式优化算法,它主要是模拟自然界中蜻蜓的捕食和迁徙行为。原始的蜻蜓算法跟其他许多群体智能优化算法一样,存在着自身的缺陷,容易陷入局部最优,并且收敛速度较慢。为了提高蜻蜓优化算法的性能,在算法种群初始化阶段引入混沌映射策略,提高了初代种群的质量,并且将原蜻蜓算法的线性惯性权重做了非线性改进,提高了算法的收敛速度,最后运用于特征选择来检验其实际效果。实验结果表明,改进后的蜻蜓算法比原算法的效果更好。     

生物特征身份识别中的特征选择与先进的识别算法

研究单位：北京邮电大学信息与通信工程学院     

不均衡问题中的特征选择新算法:Im-IG

机器学习中各类别样本数目不等是普遍存在且备受关注的不均衡问题。广泛用于特征选择的信息增益IG(information gain)算法,在这类不均衡问题中的表现却极少被研究。本文在讨论IG算法在不同均衡度数据集上性能的基础上,提出了一种新的解决不均衡问题的特征选择算法Im-IG(imbalanced information gain)。Im-IG通过提高小类分布在信息熵计算中的权重,优先选入有利于小类正确分离的特征。在提升整体分类性能的同时,着眼于提高小类的正确率。在多个不均衡数据集上的实验结果表明,Im-IG算法能较好地解决IG算法在不均衡问题中的不适应性,是一种有效的不均衡问题特征选择算法。     

基于Catboost的特征选择算法

应用Catboost构建树模型的分割指标作为特征选择度量标准,在原始前向搜索策略的基础上,结合两种度量标准计算综合加权值进行特征搜索.在UCI数据库中选择7个不同维度的标准数据集进行了测试,并与其他6种算法进行了对比分析.     

基于双向匹配法和特征选择算法的中文分词技术研究

传统的双向匹配算法虽然能够发现歧义现象,但是却不能解决歧义问题.为了更好地进行歧义消解,提出了一种基于双向匹配法和特征选择算法的中文分词技术,通过积累的语料库,设计并实现了一个基于两种方法的分词系统.该系统的实验结果表明,基于双向匹配法和特征选择算法的中文分词技术比传统方法的效果要好.     

并行免疫克隆特征选择算法

针对模式识别中传统的封装式特征选择算法,难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时问题,提出了一种用于特征选择的并行免疫克隆算法,采用免疫克隆算法搜索特征,并利用并行算法评价特征子集,即将种群中个体的适应度计算并行在多个计算节点上同时进行．将该算法在Linux刀片集群上基于MPICH软件对UCI数据集进行特征子集选择算法仿真,特征子集采用最近邻分类并采用留一法验证评价．结果表明该算法选出的特征子集优于经典的顺序浮动前向搜索算法和标准遗传算法,与串行算法运行时间相比,在40个CPU时其加速比最高可达29.57．     

基于Lasso特征选择的方法比较

模型和特征选择是统计学中较为重要的问题之一。Lasso是一种基于一范式的特征选择方法,与现有特征选择方法比较,Lasso不仅能够准确地选择出重要变量,同时还具有特征选择的稳定性。文中对线性回归模型中变量选择的Lasso算法、基于线性模型的Lasso、Lars、Adaptive-lasso、elastic net等方法进行了比较,指出了它们间的联系,并通过对几个选自UCI数据集的数据进行对比验证,给出了变量选择方法的具体实现。     

蚁群算法选择特征与WSVM融合的网络入侵检测

为了提高网络入侵检测率,提出一种蚁群算法选择特征与加权支持向量机的网络入侵检测方法.利用蚁群算法选择网络数据的关键特征,计算信息增益获得各个特征权重,根据特征权重构建了加权支持向量机的网络入侵分类器,并通过KDD CUP 99数据集验证了其有效性.结果表明:该算法能够有效降低特征维数,提高网络入侵检测率和检测效率.     

基于改进鲸鱼算法优化SVM参数和特征选择

针对传统支持向量机（SVM）在数据分类方面准确率识别较低的问题,提出了一种改进鲸鱼优化算法同步优化SVM的特征选择模型。首先,利用Levy飞行策略对鲸鱼优化算法的螺旋更新位置进行变异扰动,利用单纯形策略中的反射操作对种群中的精英个体进行反射点求解的改进,标准函数的测试结果证明其改进能有效提高算法的收敛速度和计算精度;其次,将SVM核参数和特征选择目标作为共同优化对象,在获得最优核参数的同时得到相对应的最优特征子集;最后,对UCI标准数据集和真实乳腺癌数据集进行特征选择仿真实验,在平均分类准确率、平均适应度值、适应度标准差和所选特征个数上进行评价。结果表明,本文算法在降低特征维度,实现数据分类上效果明显。在真实乳腺癌数据集上的分类精度与传统支持向量机相比提高了11.053%。     

基于互信息的特征子集选择

通过互信息的思想提出一个新的评价函数来评价属性之间的相关性,并结合LV算法进行特征子集选择.结果表明,该方法对分类问题效果明显.     

入侵数据特征并行选择算法

用知识的条件粗糙熵定义了特征的相对重要性,提出了一种基于条件粗糙熵的入侵数据特征并行选择算法。算法首先将入侵数据决策表划分成多个子表,然后利用特征的相对重要性对各子表并行求解,最后以子表选出的局部特征为基础求得原决策表的约简。实验表明,该算法适用于大规模的入侵数据集,选出的特征属性不仅可以大大减少数据在存储、分析以及各组件共享中的代价,还能够保持并提高入侵分类的准确性。     

基于Levy flight的特征选择算法

为了提高特征选择方法的计算速度,提出基于Levy flight随机过程的特征选择方法.该方法在寻优过程中定义基于启发式的分阶段搜索策略,在局部搜索行为中引入Levy flight随机过程,将Levy flight距离与搜索行为进行映射.在不同的搜索阶段,利用不同的映射区间改变搜索行为出现的概率,以该映射来控制局部搜索行为的方向和速度,从而避免了陷入局部最优的问题.实验结果表明,采用LevyFS算法克服了启发式特征选择方法的局限性,平均耗时仅为SFFS算法的1/3左右.     

基于分布估计算法的人脸Haar特征选择

通过研究人脸检测算法中Ada Boost算法,针对算法中的haar特征维数过高、训练耗时过长,检测效率过低等问题.提出基于分布估计算法(Estimation of Distribution Algorithm,EDA)的人脸haar特征选择人脸检测.EDA采用类内类间比作为适应度函数,通过统计学习的手段建立解空间内个体分布的概率模型,然后对概率模型随机采样产生新的群体,进行反复计算,实现群体的进化,最终得到全局最优解,以此来实现haar特征选择.实验结果表明:检测率(DR)与误检率(FDR)优于传统算法,而且检测速度得到了提升.     

基于冗余分析的特征选择算法

针对冗余特征判定难题,分析了特征和特征之间的相关性以及特征和目标值之间相关性的联系,给出了判定冗余特征的准则,在此基础上给出了近似冗余特征的定义,并提出了一种基于冗余分析的特征选择算法.算法分2步去除无关特征和冗余特征.实验结果表明,所提出的特征选择算法能有效降低特征维数,提高预测准确率.     

基于样本对选择的分层分类特征选择算法研究

在大数据时代,数据的标签数量急剧增加,且标签集之间往往存在层次结构,利用层次结构进行大规模分类学习可有效解决维数灾难、类别不均衡问题,是近年来的研究热点.模糊粗糙集作为处理不确定性信息的有效工具,对于层次结构的描述有着特别的优势,本文给出了一种基于样本对选择的分层特征选择方法.通过将层次结构融入到目标概念的上、下近似之中,给出了一种新的模糊粗糙集模型,并研究了其详细性质,基于此,设计了一种基于样本对选择的特征选择算法,实验结果表明,本文所提出的算法在效率和准确性方面优于平面算法,从而为基于粒计算的分层特征选择提供了一种可能的框架.     

一种基于K2结构学习算法的石漠化数据特征选择方法

在石漠化信息的分类和提取过程中,冗余特征的存在影响分类器的性能,同时增加计算的复杂度。提出一种基于K2结构学习算法的石漠化数据特征选择方法,该方法通过BIC评分方法得到贝叶斯网络的结构,从中获得类节点的马尔可夫覆盖,继而进行特征选择。同时借用不同评分函数的等价性来确定结构学习时所需的样本数,并且给出了样本数的参考。实验表明,该方法由于结合了样本的分类信息,获得的特征子集是最优的,显著提高了分类精度,降低了计算复杂度。     

基于特征选择算法的ECG信号分类

为了提高不同类别心电图(Electrocardiogram, ECG)信号的识别精度,使用小波分析提取心电信号特征,并使用分段距离的特征筛选方法对特征进行筛选排序,去除冗余和干扰特征,挑选出关键特征。通过缩减特征数量,提高分类的精度和效率。结合机器学习分类器对特征进行分类,比较分类效果。结果显示,在MIT-BIH数据集上,本方法的分类精度比不使用特征选择分类精度高0.22%,分类精度最高达到99.67%。试验证明本研究提出的模型能够区分4种常见的ECG信号,较传统方法优势明显。     

Web文本分类中特征选择的研究

Web文本分类是Web文本挖掘的一个重要研究领域.Web文本分类中通常采用向量空间模型(VSM)来表达文本特征,但是所产生的维数是巨大的,从而导致处理过程非常复杂,所以需要先对文本特征进行合理的降维处理.本文对常见的特征选择算法进行了介绍,并对它们进行了比较,最后结合当前的研究成果分析特征选择的发展趋势.     

一种基于条件熵的特征选择算法

特征选择是一种处理维数约简的有效方法。以条件熵为特征子集评价条件,采用随机搜索和启发式搜索相结合的搜索策略,设计了一种新的特征选择方法。该方法不仅能够求得经典启发式特征选择方法的选到特征子集,还可以得到一些与其不同的满足条件特征子集,同时在多数情况下可以减少时间消耗。实验研究表明了提出的算法的有效性。