基于Catboost的特征选择算法

应用Catboost构建树模型的分割指标作为特征选择度量标准,在原始前向搜索策略的基础上,结合两种度量标准计算综合加权值进行特征搜索.在UCI数据库中选择7个不同维度的标准数据集进行了测试,并与其他6种算法进行了对比分析.     

一种基于改进ReliefF算法的入侵检测模型

针对现有入侵检测算法中特征提取不充分、未考虑特征权重的影响、模型分类不够精确等问题,提出一种基于改进ReliefF算法的入侵检测模型。通过优化入侵数据特征权重计算,提出改进的ReliefF算法;根据计算特征的Pearson相关系数,建立特征相关性量表。只保留其中一个相关性高的特征,以实现特征的二次优化;对最优特征子集分别使用决策树(decision tree,DT)、k-最近邻(k-nearest neighbor, KNN)、随机森林(random forest, RF)、朴素贝叶斯(naive bayes, NB)和支持向量机(support vector machine, SVM)5种分类器评价该方法的分类性能和准确性。在NSL-KDD和UNSW-NB15两个数据集上的试验结果表明,该方法不仅具有较好的检测性能,还能有效降低特征维度,对分类器的计算复杂度有积极的影响。     

基于改进的蜻蜓算法的特征选择

蜻蜓算法是一种近年提出的元启发式优化算法,它主要是模拟自然界中蜻蜓的捕食和迁徙行为。原始的蜻蜓算法跟其他许多群体智能优化算法一样,存在着自身的缺陷,容易陷入局部最优,并且收敛速度较慢。为了提高蜻蜓优化算法的性能,在算法种群初始化阶段引入混沌映射策略,提高了初代种群的质量,并且将原蜻蜓算法的线性惯性权重做了非线性改进,提高了算法的收敛速度,最后运用于特征选择来检验其实际效果。实验结果表明,改进后的蜻蜓算法比原算法的效果更好。     

基于肤色和改进AdaBoost算法的人脸检测

提出了一种基于肤色和改进AdaBoost算法的人脸检测方法。从被检图像中分割出肤色区域从而得到包含一系列人脸静态特征的候选人脸区域。针对传统AdaBoost算法在训练过程中的过增益现象提出了一种新的权重更新方法,同时在训练过程中构建级联分类器。通过级联分类器对候选人脸区域进行扫描来准确定位人脸。大量的实验结果表明,所提出的方法在人脸检测上取得了较好的效果。     

基于样本对选择的分层分类特征选择算法研究

在大数据时代,数据的标签数量急剧增加,且标签集之间往往存在层次结构,利用层次结构进行大规模分类学习可有效解决维数灾难、类别不均衡问题,是近年来的研究热点.模糊粗糙集作为处理不确定性信息的有效工具,对于层次结构的描述有着特别的优势,本文给出了一种基于样本对选择的分层特征选择方法.通过将层次结构融入到目标概念的上、下近似之中,给出了一种新的模糊粗糙集模型,并研究了其详细性质,基于此,设计了一种基于样本对选择的特征选择算法,实验结果表明,本文所提出的算法在效率和准确性方面优于平面算法,从而为基于粒计算的分层特征选择提供了一种可能的框架.     

多标签AdaBoost算法的改进算法

针对多标签AdaBoost系列算法,以尽量减小算法的学习错误率为目的,提出了对其进行改进的两种思路。基于改进思路构造出了改进的多标签AdaBoost算法。一种思路是修改算法的样本分布调整策略,破坏现有AdaBoost算法中样本分布的均匀性,以确保增加每一个弱分类器都能降低学习错误的上界估计,从而实现对多标签AdaBoost算法的改进。另一种思路是训练弱分类器时兼顾后续待学习的弱分类器对学习错误的影响,克服现有算法在训练弱分类器时只考虑当前的弱分类器对学习错误的影响,而完全忽略后续待学习的弱分类器对学习错误的影响这一现象,从而改进多标签AdaBoost算法。理论上,对于改进多标签AdaBoost算法,增加每一个弱分类器都能进一步降低学习错误。理论分析和实验结果均表明了提出的改进算法有改进效果。     

基于F-score的特征选择算法在多分类问题中的应用

将一种新的特征选择算法(F-sco re)与多种机器学习算法相结合用于多分类问题中.使用十折交叉验证对比模型的分类效果,利用分类误差验证该方法的鲁棒性.实验结果表明,文中使用的新的基于F-score的特征选择方法与传统机器学习算法相结合具有很好的性能,能够使用比原始数据集更少特征并产生良好分类结果,尤其在与迭代随机森林方法相结合的情况下,能够显著提高模型分类精度.     

一种基于成对约束的特征选择改进算法

基于成对约束的特征选择算法通过度量单个特征的重要性得到一个特征序列,但由单个重要特征构成的特征子集未必是最有效的.为此,提出了一种基于成对约束的特征选择改进算法,该算法采用对特征子集进行度量的策略,逐步选择使新的特征子集最有效的特征,从而得到一个有效的特征序列.实验表明新提出的算法是有效可行的.     

基于改进鲸鱼算法优化SVM参数和特征选择

针对传统支持向量机（SVM）在数据分类方面准确率识别较低的问题,提出了一种改进鲸鱼优化算法同步优化SVM的特征选择模型。首先,利用Levy飞行策略对鲸鱼优化算法的螺旋更新位置进行变异扰动,利用单纯形策略中的反射操作对种群中的精英个体进行反射点求解的改进,标准函数的测试结果证明其改进能有效提高算法的收敛速度和计算精度;其次,将SVM核参数和特征选择目标作为共同优化对象,在获得最优核参数的同时得到相对应的最优特征子集;最后,对UCI标准数据集和真实乳腺癌数据集进行特征选择仿真实验,在平均分类准确率、平均适应度值、适应度标准差和所选特征个数上进行评价。结果表明,本文算法在降低特征维度,实现数据分类上效果明显。在真实乳腺癌数据集上的分类精度与传统支持向量机相比提高了11.053%。     

集成数据选择特征基因

特征选择技术在利用基因芯片进行疾病的分类和诊断中起到了关键作用。该文提出了一种新的集成数据选择特征基因的方法;针对多来源数据中的每一个,首先计算每个基因在这一数据上的差异表达统计量,然后用这些统计量来代替这一原始数据进而提取特征。在4个真实的基因表达数据集上对提出的方法进行测试并与对照的方法比较,实验结果显示,提出的方法所选出的特征应用于分类的效果更好。     

Fast network intrusion detection system using adaptive binning feature selection

Aiming at the problems of the low detection rate of traditional intrusion detection systems and the long training and detection time of intrusion detection systems based on deep learning,an adaptive binning feature selection algorithm using the information gain is proposed,which is combined with LightGBM to design a fast network intrusion detection system.First,the original data set is preprocessed to standardize the data;then the redundant features and noise in the original data are removed through the adaptive binning feature selection algorithm,and the original high-dimensional data are reduced to the low-dimensional data,thereby improving the accuracy of the system and reducing the training and detection time;finally,LightGBM is used for model training on the training set selected by the characteristics to train an intrusion detection system that can detect attack traffic.Through verification on the NSL-KDD data set,the proposed feature selection algorithm only takes 27.35 seconds in feature selection,which is 96.68% lower than that by the traditional algorithm.The designed intrusion detection system has an accuracy rate of 93.32% on the test set,and its training time is low.Compared with the existing network intrusion detection system,the accuracy rate of the proposed system is higher,and its model training speed is faster.     

面向不平衡问题的集成特征选择

传统的特征选择方法基本上是以精度为优化目标,没有充分考虑数据样本类别分布倾斜性,在数据分布不平衡的数据集上性能表现不理想。在不平衡数据集上通过有放回的抽样方法独立地从数据集大类样本集中随机抽取多个样本子集,使每次随机抽取的样本数量与小类样本数量一致,然后将各抽取的样本子集分别与小类样本集组合成多个新的训练样本集。对多个新样本集的特征子集以集成学习的方式采用投票机制进行投票,数据集的最终特征子集以得票数目超过半数的特征共同组合而成。在UCI不平衡数据集上的实验结果显示,提出的方法表现出了较好的性能,是一种能够处理不平衡问题的有效特征选择方法。     

基于肯定选择分类算法的恶意代码检测方法

针对恶意代码,尤其是顽固、隐匿的未知恶意代码危害日益加剧的问题,提出一种基于肯定选择分类算法的恶意代码检测方法.将样本文件转换成十六进制格式,提取样本文件的所有n-gram,计算具有最大信息增益的N个n-gram的词频,并做归一化处理,采用改进的肯定选择分类算法进行分类.该方法保留了肯定选择分类算法高分类准确率的优点,优化了分类器训练过程,提高了训练和检测效率.结果表明,该方法的检测效果优于朴素贝叶斯、贝叶斯网络、支持向量机和C4.5决策树等算法.     

基于分布估计算法的人脸Haar特征选择

通过研究人脸检测算法中Ada Boost算法,针对算法中的haar特征维数过高、训练耗时过长,检测效率过低等问题.提出基于分布估计算法(Estimation of Distribution Algorithm,EDA)的人脸haar特征选择人脸检测.EDA采用类内类间比作为适应度函数,通过统计学习的手段建立解空间内个体分布的概率模型,然后对概率模型随机采样产生新的群体,进行反复计算,实现群体的进化,最终得到全局最优解,以此来实现haar特征选择.实验结果表明:检测率(DR)与误检率(FDR)优于传统算法,而且检测速度得到了提升.     

基于在线特征选择的网络流异常检测

针对传统批处理特征选择方法处理大规模骨干网数据流存在时间和空间的限制,提出基于在线特征选择(online feature selection, OFS)的网络流异常检测方法,该方法将在线思想融入线性分类模型,在特征选择过程中,首先使用在线梯度下降法更新分类器,并将其限制在L₁球内,然后用截断函数控制特征选择的数量。研究结果表明,提出的方法能充分利用网络流的时序性特点,同时减少检测时间且准确率和批处理方法相近,能满足网络流异常检测的实时性要求,为网络流分类和异常检测提供一种全新的思路。     

基于相关熵和流形学习的多标签特征选择算法

从相关熵的角度出发,提出一种基于相关熵和特征流形学习的稀疏正则化方法,用于解决多标签特征选择问题。在相关熵定义的基础上给出多标签特征选择的回归模型;结合?_{2, 1}范数的性质和特征流形学习的定义建立基于相关熵和特征流形学习的稀疏正则化多标签特征选择模型及算法;证明该算法的收敛性并且通过试验验证所给算法的有效性。     

A bidirectional feature selection method based on mutual information and redundancy-synergy coefficient

Featuresubsetselection(FSS)istoselectrele vantfeaturesandcastawayirrelevantandredundantfeaturesfromtheoriginalfeaturesetaccordingtoaFSSmeasure[1].IfafeaturesubsetsatisfiestheFSSmeas ureandhastheminimumsize,itisconsideredapartoftheoptimalfeaturesubset.Comp…     

基于SVM的网络数据无监督特征选择算法

面向线性不可分的未知格式网络数据,提出了一种基于支持向量机的无监督特征选择算法。该算法通过非线性映射函数将不可分的网络数据映射到高维空间中,然后在高维空间中进行无监督的特征选择。该算法在特征选择之前不需要人工构造候选特征集合,直接从原始网络数据中自动地选择关键特征。利用人工数据集和网络数据集进行的实验结果表明:本文算法在特征选择可行性和有效性方面都有良好的表现。     

基于特征优化与深层次融合的目标检测算法

针对单阶段多边框检测算法(SSD)存在对小目标检测误差较大的问题,提出基于特征优化与深层次融合的目标检测算法,通过空间通道特征增强(SCFE)模块和深层次特征金字塔网络(DFPN)改进SSD. SCFE模块基于局部空间特征增强和全局通道特征增强机制优化特征层,注重特征层的细节信息;DFPN基于残差空间通道增强模块改进特征金字塔网络,使不同尺度特征层进行深层次特征融合,提升目标检测精度.在训练阶段添加样本加权训练策略,使网络注重训练定位良好的样本和置信度高的样本.实验结果表明,在PASCAL VOC数据集上,所提算法在保证速度的同时检测精度由SSD的77.2%提升至79.7%;在COCO数据集上,所提算法的检测精度由SSD的25.6%提升至30.1%,对小目标的检测精度由SSD的6.8%提升至13.3%.     

一种类内方差与相关度结合的特征选择算法

为了解决现有特征选择算法没有同时考虑特征之间以及特征与类别之间的相关性,且存在计算量大、适用范围窄等问题,从均方误差最小的分类训练准则出发,并借鉴线性鉴别分析的思想,提出了一种类内方差与相关度结合的特征选择算法,并使用核方法将其推广到可以解决非线性分类的特征选择问题.该算法不仅同时考虑了样本特征之间以及特征与分类标号之...