特征选择及其常用算法

压缩特征向量的维数，在较低维特征空间中进行分类器设计是特征选择与提取的目的.本文介绍了相关概念，给出了常见的几种类别可分性判据，讨论了特征选择的几种常用算法。     

特征选择及其常用算法

压缩特征向量的维数,在较低维特征空间中进行分类器设计是特征选择与提取的目的。本文介绍了相关概念,给出了常见的几种类别可分性判据,讨论了特征选择的几种常用算法。     

面向不平衡问题的集成特征选择

传统的特征选择方法基本上是以精度为优化目标,没有充分考虑数据样本类别分布倾斜性,在数据分布不平衡的数据集上性能表现不理想。在不平衡数据集上通过有放回的抽样方法独立地从数据集大类样本集中随机抽取多个样本子集,使每次随机抽取的样本数量与小类样本数量一致,然后将各抽取的样本子集分别与小类样本集组合成多个新的训练样本集。对多个新样本集的特征子集以集成学习的方式采用投票机制进行投票,数据集的最终特征子集以得票数目超过半数的特征共同组合而成。在UCI不平衡数据集上的实验结果显示,提出的方法表现出了较好的性能,是一种能够处理不平衡问题的有效特征选择方法。     

生物特征身份识别中的特征选择与先进的识别算法

研究单位：北京邮电大学信息与通信工程学院     

求解非标准作业车间调度问题的均衡算法

针对加工工序的设备是多台具有相同加工能力的机器集合的非标准Job-shop调度问题，利用指针队列及调度均衡的思想来构造目标函数，提出了非标准Job-shop调度算法．经过理论分析和实践验证，相对其他算法更加优化．     

一种应用三阶倒谱的盲均衡新算法

提出了一种基于系统输出三阶倒谱的非最小相位信道盲均衡新算法,由该算法构成的盲均衡器可适用于多电平通信系统。首先利用非对称性变换改变传送信号的对移分布特性,然后利用系统的三阶倒谱方程分别求出信道的最大和最小相位分量,在此基础上构成盲 均衡器。     

不均衡大数据集下的文本特征基因提取方法

在不均衡大数据集情况下,传统特征处理方法偏重大类而忽略小类,影响分类性能。该文提出了一种文本特征基因提取方法。首先,基于样本类别分布不均衡对特征选择的影响,给出了一种结合信息熵的CHI统计矩阵特征选择方法,以强化小类的特征;然后,在探究多维统计数据高阶相关性的基础上,采取独立成分分析手段,设计了文本特征基因提取方法,用以增强特征项的泛化能力;最后,将这两种方法相融合,实现了在不均衡大数据集下的文本特征基因提取新方法。实验结果表明,所提方法具有较好的早熟性及特征降维能力,在小类的分类效果上优于常见特征选择算法。     

负载均衡的多接入选择算法

针对异构无线分组网络进行多接入选择方法设计时,仅考虑已接入用户数及系统容量将存在缺陷的问题,提出了一种新的异构无线分组网络中的接入选择算法,在多接入选择时考虑了分组业务QoS和链路自适应机制（(链路层重传及自适应调制）)因素,来正确估计分组业务在接入后平均消耗的资源量以及分组网络当前的负载情况。最后对算法性能进行了仿真评估,并与传统多接入选择方法进行了比较,结果表明提出的算法优于传统多接入选择算法,能在保证分组业务QoS的基础上,同时达到不同网络间负载均衡的目的。     

基于改进的蜻蜓算法的特征选择

蜻蜓算法是一种近年提出的元启发式优化算法,它主要是模拟自然界中蜻蜓的捕食和迁徙行为。原始的蜻蜓算法跟其他许多群体智能优化算法一样,存在着自身的缺陷,容易陷入局部最优,并且收敛速度较慢。为了提高蜻蜓优化算法的性能,在算法种群初始化阶段引入混沌映射策略,提高了初代种群的质量,并且将原蜻蜓算法的线性惯性权重做了非线性改进,提高了算法的收敛速度,最后运用于特征选择来检验其实际效果。实验结果表明,改进后的蜻蜓算法比原算法的效果更好。     

非线性互补约束均衡问题的改进SQP算法

为了对可行序列二次规划算法进行研究与创新,利用逐步逼近思想,对互补约束条件光滑化,将均衡问题等价转化为一个光滑的标准非线性规划问题,进而利用序列二次规划算法思想求解.给出了SQP算法中辅助方向的存在性分析和具体求解方法,使算法更加合理可行.     

一种基于SVM的快速特征选择方法

针对现有特征选择方法计算量大、速度慢的缺点,提出了一种基于SVM的快速特征选择算法。该算法使用SVM作为分类器,并利用粒子群优化算法进行搜索。通过利用SVM线性核与多项式核函数的特性,减少了在特征选择中训练分类器的次数,降低了计算复杂度。实验结果表明在不损失分类精度的情况下,能显著提高特征选择的速度。     

一种新的混合特征选择方法RRK

提出一种新的基于包装方法和过滤器方法的混合特征选择算法RRK。该算法主要包括两个方面:①在特征预选阶段,提出一种基于ReliefF算法的特征加权算法NReliefF和降维算法DR,以实现特征加权并去掉不太重要的特征;②在特征选择阶段,把NReliefF算法和KNN算法结合起来,将预选特征作为输入,用分类正确率来选择最优特征。分别采用一个实际的乘员类型数据集和UCI上的imagine标准数据集进行了实验。实验结果表明,采用RRK后分类的效率和正确率都有明显提高。     

一种面向连续型属性的特征选取方法

特征选取是数据约简方法之一,其对提高机器学习的效率和效果具有重要影响。根据对象在特征空间中的分布,划分连续特征空间为类别单一、边界清晰的多个子空间。依统计学意义,把各个子空间分别投影到所有特征上,获取所有不同类别子空间对当前子空间特征区分能力的评估。通过构造区分能力评估矩阵,实现特征分类能力的排序。引入特征集区分能力信息增益,结合特征分类能力排序,逐一优选特征,最终完成特征子集的求解。采用UCI(University of California Irvine)数据集进行实验,获取特征子集,利用该特征子集,提高了机器学习效率和分类精度,表明了特征选取的可行性。     

基于蚁群算法的行为识别特征优选方法

为了降低特征冗余,提高移动用户行为识别的准确率,提出一种基于蚁群算法的移动用户行为识别加速度信号特征优选方法。首先对样本数据进行预处理,根据特征对不同行为的分类敏感度进行初次优选,降低特征搜索空间的维度;然后利用蚁群算法结合神经网络分类器,以特征的分类准确度为评价准则对特征集合进行了二次优选。实验结果表明,该方法优选出的特征集具有较好的识别性能。     

文本分类中一种新的特征选择方法

文本分类面临的一个主要问题就是如何降低文本巨大的特征维数,并且保持分类精度甚至提高分类精度。针对该问题,提出了一种基于信息论的特征再提取方法,旨在删除稀疏分布的特征、保留有利于分类的特征。使用该方法时配合特征选择方法,可进一步降低特征维数。实验结果表明,该方法能将特征维数降低到几百维,而且能提高分类器的性能。     

基于改进遗传算法的超光谱图像特征选择方法

提出的特征选择新方法充分利用遗传算法并行搜索、全局寻优的优点，并结合超光谱图像特征选择的具体应用，选择表征类别可分性的判别标准作为评价函数计算个体适应度，通过交叉和变异操作实现个体进化．为加快算法收敛速度，提高遗传算法性能，在遗传算法中引入了两代竞争机制，获取最佳的分类特征组合．利用一幅200波段的AVIRIS超光谱图像进行的仿真实验结果表明，所提出的方法用于特征选择具有分类精度高，计算耗时少的优点．     

攻击特征在线选择方法的研究

针对入侵检测的需求,设计了一种攻击特征的在线选择方法。该方法不涉及专业领域知识,较为客观。通过自行设计的攻击平台,模拟了几个攻击,进行了这些攻击有关特征的选择,通过与可视化工具展示的特征值的变化情况进行对比,验证了该方法及其特征选择算法的有效性。     

并行免疫克隆特征选择算法

针对模式识别中传统的封装式特征选择算法,难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时问题,提出了一种用于特征选择的并行免疫克隆算法,采用免疫克隆算法搜索特征,并利用并行算法评价特征子集,即将种群中个体的适应度计算并行在多个计算节点上同时进行．将该算法在Linux刀片集群上基于MPICH软件对UCI数据集进行特征子集选择算法仿真,特征子集采用最近邻分类并采用留一法验证评价．结果表明该算法选出的特征子集优于经典的顺序浮动前向搜索算法和标准遗传算法,与串行算法运行时间相比,在40个CPU时其加速比最高可达29.57．     

用于非监督特征选择的免疫克隆多目标优化算法

提出一种基于免疫克隆多目标优化算法的特征选择方法,先将非监督特征选择问题归结为多目标优化问题,然后构造相应的问题模型和目标函数．最后,采用免疫克隆多目标优化算法,通过增加相关特征的显著性,减小不相关特征的显著性来实现每个特征显著性的优化,达到特征选择的目的．UCI数据集的仿真实验表明,该算法降低了错误识别率,验证了其在非监督特征选择中的应用潜力．