基于量子进化算法的网络入侵检测特征选择

针对当前网络入侵检测中普遍存在检测速度较慢的缺陷,提出了一种新的网络入侵检测特征选择方法。该方法将量子进化算法应用于网络入侵检测的特征选择,从网络连接的原始特征属性中选出一组有效的特征用于入侵检测,以提高检测效率。首先以增强寻优性能为目标改进了量子进化算法,基于特征属性的Fisher比构造了特征子集的评价函数,然后按照量子进化算法的流程设计了网络入侵检测特征选择算法。通过KDD99样本数据集的实验,表明算法是有效的,既保证了入侵检测的分类性能,也提高了入侵检测的效率。     

基于量子进化算法的包装式特征选择方法

针对监督分类中的特征选择问题, 提出一种基于量子进化算法的包装式特征选择方法. 首先分析了现有子集评价方法存在过度偏好分类精度的缺点, 进而提出基于固定阈值和统计检验的两种子集评价方法. 然后改进了量子进化算法的进化策略, 即将整个进化过程分为两个阶段, 分别选用个体极值和全局极值作为种群的进化目标. 在此基础上, 按照包装式特征选择遵循的一般框架设计了特征选择算法. 最后, 通过15个UCI数据集分别验证了子集评价方法和进化策略的有效性, 以及新方法相较于其它6种特征选择方法的优越性. 结果表明, 新方法在80%以上的数据集上取得相似甚至更好的分类精度, 在86.67%的数据集上选择了特征个数更小的子集.     

改进的粒子群算法优化的特征选择方法

特征选择是数据挖掘中数据预处理的一个重要步骤,因此选择出最优的特征子集可有效地降低学习算法的数据维度和计算成本。采用二进制粒子群优化算法(binary particle swarm optimization algorithm,BPSO)来对特征选择过程进行优化。提出基于特征聚类信息进行种群初始化的策略,其中特征的聚类由社团划分算法完成,并根据划分后的信息,在初始化过程中减少信息冗余,提高初始化种群的质量。提出一种基于决策空间相似性的自适应局部搜索策略,其中粒子的相似性指数由粒子在决策空间中的相似性确定。进化过程中,自适应地调整粒子进行局部搜索,避免算法早熟。最后,选择三种代表性的优化算法分别在11个UCI数据集上进行对比实验。实验结果表明,改进后的BPSO算法得到的特征选择结果在降低特征数目方面明显优于其他对比算法,且分类精度也有显著提高。     

基于特征选择模型的钓鱼网站快速识别方法

目前在识别钓鱼网站的研究中,对识别速度有着越来越高的需求,因此提出了一种基于混合特征选择模型的钓鱼网站快速识别方法。混合特征选择模型包含初次特征选择、二次特征选择和分类三个主要部分,使用信息增益、卡方检验相结合以及基于随机森林的递归特征消除算法建立了混合特征选择模型,并在模型中使用分布函数与梯度,获取最佳截断阈值,得到最优数据集,从而提高钓鱼网站识别的效率。实验数据表明,使用该混合特征选择模型进行特征筛选后的数据集,维度降低了79.2%,在分类精确度几乎不损失的情况下,降低了32%的分类时间复杂度,有效地提高了分类效率。另外,使用UCI机器学习库中的大型钓鱼数据集对该模型进行评价,分类精确率虽然损失1.7%,但数据集维度降低了70%,分类时间复杂度降低了41.1%。     

采用半随机特征采样算法的中文书写纹识别研究

N-gram字符序列能有效捕捉文本中作者的个体风格信息,但其特征空间稀疏度高,且存在较多噪音特征。针对该问题,提出一种基于半随机特征采样的中文书写纹识别算法。该算法首先采用一种离散度准则为每个作者选取一定粒度的个体特征集,然后将个体特征集以一种半随机选择机制划分成多个等维度的特征子空间,并基于每个子空间训练相应的基分类器,最后采取多数投票法的融合策略构造集成分类模型。在中文真实数据集上与基于随机子空间和Bagging算法的集成分类器进行了对比试验,结果表明,该算法在正确率和差异度方面优于随机子空间和Baggrog算法,并且取得了比单分类模型更好的识别性能。     

改进量子进化算法及其在物流配送路径优化问题中的应用

量子进化算法的性能直接受量子旋转门旋转角计算方法的影响.文中提出一种改进量子进化算法,核心是设计了基于量子比特概率幅比值自适应计算量子旋转门旋转角的新方法,算法具有收敛速度快和全局搜索能力强的特点.通过0/1背包问题分析了新方法中相关参数对算法性能的影响,并应用算法求解物流配送路径优化问题,仿真表明改进量子进化算法性能优于量子进化算法和传统进化算法.     

基于SAC的特征选择算法

特征选择通过移除不相关和冗余的特征来提高学习算法的性能。基于进化算法在求解优化问题时表现出的优越性能,提出FSSAC特征选择方法。新的初始化策略和评估函数使得SAC能将特征选择作为离散空间搜索问题来解决,利用特征子集的准确率指导SAC的采样阶段。在实验阶段,FSSAC结合SVM,J48和KNN分类器,通过UCI数据集完成验证,并与FSFOA,HGAFS,PSO等算法进行了比较。实验结果表明,FSSAC可以提高分类器的分类准确率,且具有良好的泛化性能。除此之外,对FSSAC和其他算法在特征空间维度缩减情况方面做了对比。     

自然进化策略的特征选择算法研究

特征选择是一种NP-难问题,旨在剔除数据集中不相关及冗余的特征来减少模型训练的时间,提高模型的精确度.因此,特征选择在机器学习、数据挖掘和模式识别等领域中是一种重要的数据预处理手段.提出一种新的基于自然进化策略的特征选择算法——MCC-NES.首先,算法采用了基于对角协方差矩阵建模并通过梯度信息自适应调整参数的自然进化策略;其次,为了使算法有效地处理特征选择问题,在初始化阶段引入了一种特征编码方式;之后,结合分类准确率和维度缩减给出了算法的适应度函数;此外,面对高维数据引入了合作协同进化的思想,将原问题分解为相对较小的子问题并分别对每个子问题独立求解,然后,通过所有子问题相互联系来优化原问题的解决方案;进一步引入分布式种群进化的概念,实现多个种群竞争进化来增加算法的探索能力,并设计了种群重启策略以防止种群陷入局部最优解.最后将提出的算法与几种传统的特征选择算法在一些UCI公共数据集上进行对比实验,实验结果显示：所提出的算法可以有效地完成特征选择问题,并且与经典特征选择算法相比有一定的竞争力,尤其是在处理高维数据时有着出色的表现.     

混合Filter与改进自适应GA的特征选择方法

针对高维度小样本数据在特征选择时出现的维数灾难和过拟合的问题,提出一种混合Filter模式与Wrapper模式的特征选择方法（ReFS-AGA）。该方法结合ReliefF算法和归一化互信息,评估特征的相关性并快速筛选重要特征;采用改进的自适应遗传算法,引入最优策略平衡特征多样性,同时以最小化特征数和最大化分类精度为目标,选择特征数作为调节项设计新的评价函数,在迭代进化过程中高效获得最优特征子集。在基因表达数据上利用不同分类算法对简化后的特征子集分类识别,实验结果表明,该方法有效消除了不相关特征,提高了特征选择的效率,与ReliefF算法和二阶段特征选择算法mRMR-GA相比,在取得最小特征子集维度的同时平均分类准确率分别提高了11.18个百分点和4.04个百分点。     

基于Z-Ordering技术的分形属性选择方法

维度规约不但可以提高模式识别及机器学习的效率和准确性,同时作为一种有效的数据预处理技术也得到了众多研究者的密切关注,基于分形的特征选择技术是目前维度规约研究领域的新动态.借鉴Z-ordering索引技术的思想,设计并实现了一种改进的分形属性选择方法ZBFDR(Z-ordering based FDR),该方法仅需要扫描数据集一遍建立底层网格结构,基于该底层网格结构计算数据集的分形维数及实现属性选择操作.ZBFDR避免了FDR(fractal dimensionality reduction)算法多次扫描数据集问题,空间需求也低于OptFDR(optimized FDR),在合成数据集及实际数据集上的实验结果表明ZBFDR具有较为优良的整体性能.     

基于粗糙集和改进鲸鱼优化算法的特征选择方法

随着互联网和物联网技术的发展,数据的收集变得越发容易。但是,高维数据中包含了很多冗余和不相关的特征,直接使用会徒增模型的计算量,甚至会降低模型的表现性能,故很有必要对高维数据进行降维处理。特征选择可以通过减少特征维度来降低计算开销和去除冗余特征,以提高机器学习模型的性能,并保留了数据的原始特征,具有良好的可解释性。特征选择已经成为机器学习领域中重要的数据预处理步骤之一。粗糙集理论是一种可用于特征选择的有效方法,它可以通过去除冗余信息来保留原始特征的特性。然而,由于计算所有的特征子集组合的开销较大,传统的基于粗糙集的特征选择方法很难找到全局最优的特征子集。针对上述问题,文中提出了一种基于粗糙集和改进鲸鱼优化算法的特征选择方法。为避免鲸鱼算法陷入局部优化,文中提出了种群优化和扰动策略的改进鲸鱼算法。该算法首先随机初始化一系列特征子集,然后用基于粗糙集属性依赖度的目标函数来评价各子集的优劣,最后使用改进鲸鱼优化算法,通过不断迭代找到可接受的近似最优特征子集。在UCI数据集上的实验结果表明,当以支持向量机为评价所用的分类器时,文中提出的算法能找到具有较少信息损失的特征子集,且具有较高的分类精度。因此,所提算法在特征选择方面具有一定的优势。     

A feature selection enabled hybrid‐bagging algorithm for credit risk evaluation

Hybrid models based on feature selection and machine learning techniques have significantly enhanced the accuracy of standalone models. This paper presents a feature selection‐based hybrid‐bagging algorithm (FS‐HB) for improved credit risk evaluation. The 2 feature selection methods chi‐square and principal component analysis were used for ranking and selecting the important features from the datasets. The classifiers were built on 5 training and test data partitions of the input data set. The performance of the hybrid algorithm was compared with that of the standalone classifiers: feature selection‐based classifiers and bagging. The hybrid FS‐HB algorithm performed best for qualitative dataset with less features and tree‐based unstable base classifier. Its performance on numeric data was also better than other standalone classifiers, whereas comparable to bagging with only selected features. Its performance was found better on 70:30 data partition and the type II error, which is very significant in risk evaluation was also reduced significantly. The improved performance of FS‐HB is attributed to the important features used for developing the classifier thereby reducing the complexity of the algorithm and the use of ensemble methodology, which added to the classical bias variance trade‐off and performed better than standalone classifiers.     

基于分形和邻接空间密度变化的属性选择方法

属性选择通常作为一个主要的预处理步骤,在机器学习和数据挖掘领域有着广泛的应用。选择出能够表征数据集分形特征的属性子集,对研究数据集的分形规律具有重要的价值。根据数据集的分形特征,引入了密度分析方法,指出了当前基于分形维数的属性选择方法的不足,提出了一种基于分形和邻接空间密度变化的属性选择方法。为了分析实验结果的有效性,利用SVM分类算法和K-fold交叉验证相结合的方法对3个数据集属性选择前后的分类性能进行了测试。实验证明该方法在属性选择方面有较好的性能,能够得到较优的属性子集。     

特征和分类器联合优化的网络入侵检测算法

为了提高网络入侵检测正确率,利用特征选择和检测分类器参数间的相互联系,提出一种特征和分类器联合优化的网络入侵检测算法。联合优化方法将网络状态特征和分类器参数作为遗传算法的个体,网络入侵检测正确率作为个体适应度函数,通过选择、交叉和变异等遗传操作获得最优特征和分类器参数,利用KDD 1999数据集对联合优化算法进行验证性测试。实验结果表明,相对于其他入侵检测算法,联合优化算法既解决了特征与分类器不匹配带来的入检测检测能力下降,又提高了网络入侵检测正确率和效率,为网络入侵检测提供了一种新的研究思路。     

基于邻域一致性和DBPSO的跌倒检测特征集优化算法

At present there is no standard, authoritative fall detection test data, and the sample size by young people imitating fall is small, so how to use a limited data set to find the most representative feature set is particularly important. According to the characteristics of feature set in low sample and continuous type, a feature set optimization algorithm based on neighborhood consistency and discrete binary particle swarm optimization (DBPSO) was proposed. The algorithm firstly constituted the primary feature set based on optimized neighborhood consistency function and heuristic forward searching algorithm, and then used the primary feature set to initialize the population of DBPSO. At last the validity of the algorithm was verified using classification algorithm. The experimental results show that the algorithm can improve classification ability with fewer features selected, and the computational efficiency is also improved.     

森林优化特征选择算法的增强与扩展

特征选择作为一种重要的数据预处理方法，不但能解决维数灾难问题，还能提高算法的泛化能力.各种各样的方法已被应用于解决特征选择问题，其中，基于演化计算的特征选择算法近年来获得了更多的关注并取得了一些成功.近期研究结果表明，森林优化特征选择算法具有更好的分类性能及维度缩减能力.然而，初始化阶段的随机性、全局播种阶段的人为参数设定，影响了该算法的准确率和维度缩减能力；同时，算法本身存在着高维数据处理能力不足的本质缺陷.从信息增益率的角度给出了一种初始化策略，在全局播种阶段，借用模拟退火控温函数的思想自动生成参数，并结合维度缩减率给出了适应度函数；同时，针对形成的优质森林采取贪心算法，形成一种特征选择算法EFSFOA（enhanced feature selection using forest optimization algorithm）.此外，在面对高维数据的处理时，采用集成特征选择的方案形成了一个适用于EFSFOA的集成特征选择框架，使其能够有效处理高维数据特征选择问题.通过设计对比实验，验证了EFSFOA与FSFOA相比在分类准确率和维度缩减率上均有明显的提高，高维数据处理能力更是提高到了100 000维.将EFSFOA与近年来提出的比较高效的基于演化计算的特征选择方法进行对比，EFSFOA仍具有很强的竞争力.     

基于邻域粗糙集和帝王蝶优化的特征选择算法

针对经典的帝王蝶优化（MBO）算法不能很好地处理连续型数据,以及粗糙集模型对于大规模、高维复杂的数据处理能力不足等问题,提出了基于邻域粗糙集（NRS）和MBO的特征选择算法。首先,将局部扰动和群体划分策略与MBO算法结合,并构建传输机制以形成一种二进制MBO（BMBO）算法;其次,引入突变算子增强算法的探索能力,设计了基于突变算子的BMBO（BMBOM）算法;然后,基于NRS的邻域度构造适应度函数,并对初始化的特征子集的适应度值进行评估并排序;最后,使用BMBOM算法通过不断迭代搜索出最优特征子集,并设计了一种元启发式特征选择算法。在基准函数上评估BMBOM算法的优化性能,并在UCI数据集上评价所提出的特征选择算法的分类能力。实验结果表明,在5个基准函数上,BMBOM算法的最优值、最差值、平均值以及标准差明显优于MBO和粒子群优化（PSO）算法;在UCI数据集上,与基于粗糙集的优化特征选择算法、结合粗糙集与优化算法的特征选择算法、结合NRS与优化算法的特征选择算法、基于二进制灰狼优化的特征选择算法相比,所提特征选择算法在分类精度、所选特征数和适应度值这3个指标上表现良好,能够选择特征数少且分类精度高的最优特征子集。     

针对高维数据的马尔科夫毯特征选择

针对不满足忠实分布的高维数据分类问题,一种新的基于粒子群算法的马尔科夫毯特征选择方法被提出。它通过有效地提取相关特征和剔除冗余特征,能够产生更好的分类结果。在特征预处理阶段,该算法通过最大信息系数衡量标准对特征的相关度和冗余性进行分析得到类属性的马尔科夫毯代表集和次最优特征子集;在搜索评价阶段,采用新的适应度函数通过粒子群算法选出最优特征子集;用此模型对测试集进行预测。实验结果表明,该算法在12个数据集上具有一定的优势。     

基于分类间隔的特征选择算法

对于二类目标特征选择问题,首先讨论了特征空间的线性可分性问题,并给出了其判别条件;其次,通过借鉴支撑矢量机原理,分析了特征可分性判据的基本性质;最后,依据各特征对分类间隔的贡献大小定义了特征有效率,并以此进行特征选择和特征空间降维.实测数据与网络公开UCI(University of california,Irvine)数据库的实验结果表明,与经典的Relief特征选择算法相比,该算法在识别性能和推广能力上明显有所提高.