基于黑寡妇算法的特征选择方法研究

特征选择通过去除无关和冗余特征提高学习算法性能,本质是组合优化问题。黑寡妇算法是模拟黑寡妇蜘蛛生命周期的元启发式算法,在收敛速度、适应度值优化等方面具有诸多优势。针对黑寡妇算法不能进行特征选择的问题,设计五种优化策略：二进制策略“、或门”策略、种群限制策略、快速生殖策略以及适应度优先策略,提出黑寡妇特征选择算法（black widow optimization feature selection algorithm,BWOFS）和生殖调控黑寡妇特征选择算法（procreation controlled black widow optimization feature selection algorithm,PCBWOFS）,从特征空间中搜索有效特征子集。在多个分类、回归公共数据集上验证新方法,实验结果表明,相较其他对比方法（全集、AMB、SFS、SFFS、FSFOA）,BWOFS和PCBWOFS能找到预测精度更高的特征子集,可提供有竞争力、有前景的结果,而且与BWOFS相比,PCBWOFS计算量更小,性能更好。     

基于关联特征扩展的特征选择算法

特征选择是文档分类中常见的预处理工作,通过对文档特征空间降维,可以提高文档的分类性能。针对多数特征选择算法不考虑特征词共现关系的问题,该文提出了一种利用关联特征来增强文档分类性能的方法,针对特征扩展后产生的高维向量空间设计了一种快速冗余特征去除和选择算法,以满足实际应用中对增强特征分类性能和执行效率的需要。实验采用朴素贝叶斯网作为分类器,从特征降维效果、分类性能以及算法执行效率等方面与其他算法进行了比较。     

基于自适应森林优化算法的特征选择算法

森林优化特征选择算法(FSFOA)表现出色，但初始化方法的盲目性以及更新机制的局限性限制了该算法的性能。对FSFOA不足之处加以改进，提出自适应森林优化特征选择算法(AFSFOA)。在初始化过程中，加入特征权重评估算法；在更新机制上，使用自适应参数选择策略以及贪心搜索策略替代原始的更新机制。在不同维度的数据集上进行实验，对比实验结果表明，与FSFOA算法以及近年来提出的较高效的特征选择算法进行对比，在准确率以及维度约简上，AFSFOA算法有很强的竞争力。     

基于重复度分析的森林优化特征选择算法

森林优化算法是一种基于森林中树木播种思想的演化算法,其具有良好的特征空间搜索能力,且实现难度低。但该算法在森林整体的收敛速度和寻优能力上仍存在提升空间,而且对高维数据集的适应度较差。本文针对上述问题提出了基于重复度分析的森林优化特征选择算法(feature selection using forest optimization algorithm based on duplication analysis, DAFSFOA)。该算法提出了基于信息增益的自适应初始化策略、森林重复度分析机制、森林重启机制、候选最优树生成策略、综合考虑特征选择数量和分类正确率的适应度函数。实验结果表明,DAFSFOA在大部分数据集上达到了最高的分类准确率。同时,对于高维数据集SRBCT,在维度缩减率和分类准确率方面,DAFSFOA对比森林优化特征选择算法(feature selection using forest optimization algorithm, FSFOA)都有较大提升。DAFSFOA 比FSFOA具有更强的特征空间探索能力,而且能够适应不同维度的数据集。     

基于新的森林优化算法的特征选择算法

针对传统的基于森林优化算法的特征选择算法在初始化阶段、候选森林生成阶段和更新阶段存在的问题,提出了一种新的基于森林优化算法的特征选择算法。该算法在初始化阶段采用皮尔森相关系数和L1正则化方法代替随机初始化策略;在候选森林生成阶段,采用优劣树分开和差额补足的方法解决优劣树不完备问题;在更新阶段,将与最优树精度相同但维度不同的树木添加到森林中。在实验中,所提算法采用与传统的基于森林优化算法的特征选择算法相同的实验数据和实验参数,分别测试了小维度、中维度和大维度数据。实验结果表明,在2个大维度数据和2个中维度数据上,所提算法的分类精度和维度缩减能力均高于传统的基于森林优化算法的特征选择算法。实验结果验证了所提算法在处理特征选择问题的有效性。     

基于森林优化特征选择算法的改进研究

在分类中,特征选择一直是一个重要而又困难的问题。最近研究表明森林优化特征选择算法（FSFOA）具有更好的分类性能及较好的维度缩减能力。然而,初始化阶段的随机性、更新机制上的局限性及局部播种阶段新树的劣质性严重限制了该算法的分类性能和维度缩减能力。本文采用一种新的初始化策略和更新机制并在局部播种阶段加入贪婪策略,形成一个新的特征选择算法IFSFOA,在最大化分类性能的同时最小化特征个数。实验阶段,IFSFOA使用SVM,J48和KNN分类器指导学习过程,通过机器学习数据库UCI上的小维,中维,高维数据集进行测试。实验结果表明,与FSFOA相比,IFSFOA在分类性能和维度缩减上均有明显提高。将IFSFOA算法与近几年提出的比较高效的特征选择方法进行对比,不论是在准确率,还是在维度缩减上,IFSFOA仍具有很强的竞争力。     

基于改进帝王蝶优化算法的特征选择方法

针对帝王蝶优化算法(MBO)全局搜索能力较弱、在迁移过程中容易出现种群多样性减少等问题,文中提出基于柯西变异的差分自适应MBO及其特征选择算法.首先,使用差分进化算法中的变异操作替换MBO的迁移算子,提升全局搜索能力.然后,将自适应调整策略融入MBO的调整算子,改变单一的调整方式.最后,对每次更新的种群进行柯西变异,增加种群多样性.为了验证改进帝王蝶优化算法及其特征选择方法的性能,通过基准函数和UCI数据集两部分实验对其进行测试,结果表明文中算法性能较优.     

扩展ReliefF的两种多标签特征选择算法

针对Relief F算法局限于单标签数据问题,提出两种多标签特征选择算法Mult-Relief F和M-A算法。Mult-Relief F算法重新定义了类内最近邻和类外最近邻的查找方法,并加入标签的贡献值更新特征权重公式。MA算法在Mult-Relief F算法的基础下,利用邻域能去除冗余的特性,更多地去除冗余特征达到更好的降维效果。采用ML-KNN分类算法进行实验。在多个数据集上测试表明,Mult-Relief F算法能提高分类效果,M-A算法能获得最小的特征子集。     

基于增强蜂群优化算法的特征选择算法

针对传统蜂群优化(BCO)算法探测能力强但搜索能力较弱的问题,提出一种搜索能力增强的BCO算法,并将其应用于数据特征选择问题以提高特征选择的性能。首先,为食物源引入全局权重的概念,用以评估各食物源对种群的重要性,降低蜂群搜索的随机性;然后,设计了两步筛选的招募方法提高蜂群搜索能力并保持多样性;最终,为食物源引入局部权重的概念,用于评估某个食物源与类标签的相关性,从而优化解特征选择问题。仿真实验结果表明,所提方法可以明显提高BCO的优化效果,同时获得了较好的特征选择效果,并且优于基于差异的人工蜂群算法(DisABC)和蜂群优化特征选择算法(BCOFS)。     

基于凸优化算法的无人水下航行器协同定位

In this paper, a cooperative localization algorithm for autonomous underwater vehicles (AUVs) is proposed. A ``parallel" model is adopted to describe the cooperative localization problem instead of the traditional ``leader-follower" model, and a linear programming associated with convex optimization method is used to deal with the problem. After an unknown-but-bounded model for sensor noise is assumed, bearing and range measurements can be modeled as linear constraints on the configuration space of the AUVs. Merging these constraints induces a convex polyhedron representing the set of all configurations consistent with the sensor measurements. Estimates for the uncertainty in the position of a single AUV or the relative positions of two or more nodes can then be obtained by projecting this polyhedron onto appropriate subspaces of the configuration space. Two different optimization algorithms are given to recover the uncertainty region according to the number of the AUVs. Simulation results are presented for a typical localization example of the AUV formation. The results show that our positioning method offers a good localization accuracy, although a small number of low-cost sensors are needed for each vehicle, and this validates that it is an economical and practical positioning approach compared with the traditional approach.     

A Length-Adaptive Non-Dominated Sorting Genetic Algorithm for Bi-Objective High-Dimensional Feature Selection

As a crucial data preprocessing method in data mining, feature selection (FS) can be regarded as a bi-objective optimization problem that aims to maximize classification accuracy and minimize the number of selected features. Evolutionary computing (EC) is promising for FS owing to its powerful search capability. However, in traditional EC-based methods, feature subsets are represented via a length-fixed individual encoding. It is ineffective for high-dimensional data, because it results in a huge search space and prohibitive training time. This work proposes a length-adaptive non-dominated sorting genetic algorithm (LA-NSGA) with a length-variable individual encoding and a length-adaptive evolution mechanism for bi-objective high-dimensional FS. In LA-NSGA, an initialization method based on correlation and redundancy is devised to initialize individuals of diverse lengths, and a Pareto dominance-based length change operator is introduced to guide individuals to explore in promising search space adaptively. Moreover, a dominance-based local search method is employed for further improvement. The experimental results based on 12 high-dimensional gene datasets show that the Pareto front of feature subsets produced by LA-NSGA is superior to those of existing algorithms.     

基于多因子粒子群的高维数据特征选择算法

特征选择是机器学习和数据挖掘领域中一项重要的数据预处理技术,它旨在最大化分类任务的精度和最小化最优子集特征个数。运用粒子群算法在高维数据集中寻找最优子集面临着陷入局部最优和计算代价昂贵的问题,导致分类精度下降。针对此问题,提出了基于多因子粒子群算法的高维数据特征选择算法。引入了进化多任务的算法框架,提出了一种两任务模型生成的策略,通过任务间的知识迁移加强种群交流,提高种群多样性以改善易陷入局部最优的缺陷;设计了基于稀疏表示的初始化策略,在算法初始阶段设计具有稀疏表示的初始解,降低了种群在趋向最优解集时的计算开销。在6个公开医学高维数据集上的实验结果表明,所提算法能够有效实现分类任务且得到较好的精度。     

多目标优化特征选择研究综述

特征选择是模式识别领域中有效的降维方法,当特征选择涉及到的多个目标彼此冲突,难以平衡时,将特征选择视为多目标优化问题是时下的研究热点。为方便研究者系统地了解多目标特征选择领域的研究现状和发展趋势,对多目标特征选择方法进行综述。阐明了特征选择和多目标优化的本质;根据多目标优化方法的区别和特点,重点对比剖析各类多目标优化特征选择方法的优劣势;讨论现有多目标优化特征选择研究方法存在的问题以及对未来的展望。     

基于遗传乌燕鸥算法的同步优化特征选择

针对传统支持向量机方法用于数据分类存在分类精度低的不足问题, 将支持向量机分类方法与特征选择同步结合, 并利用智能优化算法对算法参数进行优化研究. 首先将遗传算法(Genetic algorithm, GA)和乌燕鸥优化算法(Sooty tern optimization algorithm, STOA)进行混合, 先通过对平均适应度值进行评估, 当个体的适应度函数值小于平均值时采用遗传算法对其进行局部搜索的加强, 否则进行乌燕鸥本体优化过程, 同时将支持向量机内核函数和特征选择目标共同作为优化对象, 利用改进后的STOA-GA寻找最适应解, 获得所选的特征分类结果. 其次, 通过16组经典UCI数据集和实际乳腺癌数据集进行数据分类研究, 在最佳适应度值、所选特征个数、特异性、敏感性和算法耗时方面进行对比研究, 实验结果表明, 该算法可以更加准确地处理数据, 避免冗余特征干扰, 在数据挖掘领域具有更广阔的工程应用前景.     

参数自动优化的特征选择融合算法

针对传统特征选择方法如信息增益存在选择偏好、处理非线性问题能力弱、以及参数手动优化过程繁琐的问题,提出一种基于最大互信息系数与皮尔逊相关系数的两阶段特征选择融合算法,并利用遗传算法对其中两个超参数自动进行优化.第一阶段,利用最大互信息系数获取特征和标签之间的相关性来进行特征选择;第二阶段,使用皮尔逊相关系数对获取的特征子集进行去冗余.进一步,基于遗传算法对两个阶段中的两个超参数自动进行优化.将该方法运用于多组UCI数据集中进行测试.实验结果表明,该算法能够兼顾降低特征空间的维度和提升算法的分类性能.     

融合分类信息的随机森林特征选择算法及应用

针对传统随机森林随特征数增加计算消耗高的问题,提出了一种随机森林多特征置换算法。该算法对数据特征进行聚类,保持其他特征簇不变,逐一对同簇特征同时随机置换,得到全部特征簇的重要性得分及簇间排序。簇内特征按与分类信息的相关程度排序,引入相关性阈值选出重要特征,对剩余特征按先簇间、再簇内的规则进行排序。为了进一步比较该方法的有效性,基于[K]均值聚类、层次聚类、模糊[C]均值聚类算法,设计了三种随机森林多特征置换的特征选择算法。实验结果表明,与传统随机森林方法相比,新算法可选择较少特征时仍取得较高分类精度,且时间效率更高。     

基于覆盖算法决策界的特征选择算法

特征选择是模式识别系统的分类器设计之前一个重要而困难的一个课题。在目前现有的方法中,基于决策界的特征选择是其中一类方法。文中将覆盖算法应用于特征提取,提出了基于覆盖算法决策界的特征选择算法(Feature SelectionAlgorithm based on the Decision Boundary of Covering Algorithm,简称FSACA法),然后将该算法应用于一个字符识别的实例并与其他算法比较。实验结果证明了FSACA法的可行性和有效性。     

面向软件产品线中特征选择的多目标优化算法

软件产品线中产品定制的核心是选择合适的特征集.由于多个非功能需求间往往相互制约甚至冲突,特征选择的本质是多目标优化过程.优化过程的搜索空间被特征间错综复杂的依赖和约束关系以及明确的功能需求大大限制.另外,有些非功能需求有明确的数值约束,而有些则仅要求尽可能得到优化.多样的非功能需求约束类型也给优化选择过程带来极大挑战.本文提出一种含修正算子的多目标优化算法MOOFs.文中首先设计特征间依赖和约束关系描述语言DCF-DL来统一规范特征选择过程中必须遵守的规则.所有的非功能需求都转化为优化目标,相关的数值约束则作为优化过程中特征选择方案的过滤器.另外,设计了修正算子用于保证选择出的特征配置方案必满足产品线的特征规则约束.通过与四个常用的多目标优化算法在四个不同规模的特征模型上的运行结果做对比,证明本文的方法能够更快地产生满足约束的优化解,且优化解具备更好的收敛性与多样性.