面向恶意网址检测的广谱特征选择与评估

针对恶意网址检测系统的特征选择和降维问题,基于特征选择方法的优化结果提出多种特征子集。利用基于分类器的准确率和召回率等性能评价指标,采用随机森林、贝叶斯网络、J48、随机树机器学习方法,对信息增益、卡方校验、信息增益率、基于Relief值、基于OneR分类器、基于关联性规则、基于相关性等多种特征选择算法所确定的特征子集进行检测。结果表明,除基于相关性特征选择算法确定的特征子集外,其他方法确定的特征子集均具有良好的分类性能,其中基于关联性规则选择的特征子集的维度仅为5,但各分类器基于此特征子集的分类准确率均高达99%以上。     

遗传与互信息混合算法用于水声目标特征选择

特征选择是目标分类的一项重要步骤，直接影响到分类器的设计和性能。本文利用实际水声目标辐射噪声数据，对遗传算法和互信息算法两种特征选择方法分别作了分析。在特征维数较大的情况下，两种方法都需要很长的计算时间，为此，提出一种遗传与互信息混合算法，旨在降低计算时间。最后，分类器用三种选择后的特征子集作为输入进行分类，并与任意选择的特征子集作为输入的分类结果作了比较。     

一种基于优化的随机子空间分类集成算法

提出了基于优化的随机子空间分类集成算法CEORS,该算法通过运用封装式特征选择和LSA降维两种方法对随机选择的特征子集进行了优化,并运用优化的特征子空间进行分类器的集成.实验结果表明,基于优化特征子空间的集成分类器性能优于Bagging和AdaBoost.     

基于随机子空间-正交局部保持投影的支持向量机

针对高维数、小样本数据分类问题,提出一种基于随机子空间-正交局部保持投影的支持向量机.利用随机子空间方法对原始高维样本的特征空间进行多次随机采样,生成多个具有不同特征子集的基支持向量机(SVM)分类器;利用正交局部保持投影对各基SVM分类器的样本进行特征提取,实现维数约简;然后,利用降维后的样本对各基SVM分类器进行训...     

一种基于二值粒子群优化和支持向量机的目标检测算法

 针对复杂场景下目标检测和目标检测中特征选择问题,该文将二值粒子群优化算法(BPSO)用于特征选择,结合支持向量机(SVM)技术提出了一种新颖的基于BPSO-SVM特征选择的自动目标检测算法。该算法将目标检测转化为目标识别问题,采用wrapper特征选择模型,以SVM为分类器,通过样本训练分类器,根据分类结果,利用BPSO算法在特征空间中进行全局搜索,选择最优特征集进行分类。基于BPSO-SVM的特征选择方法降低了特征维数,显著提高了分类器性能。实验结果表明,该文算法不仅有效提高了复杂场景下目标姿态、尺度、光照变化和局部被遮挡时的检测准确率,还大大缩短了检测时间。     

融合相对熵与自适应LLE的两阶段文本降维方法

多数基于贪婪策略的特征选择往往只能得到次优解.对此提出了一种两阶段特征降维方法,首先设计条件乘积相对熵算法以选择文档的特征子集,然后在文档特征子集中使用提出的自适应LLE算法进行特征抽取以进一步降低文档特征维度.实验结果显示,两阶段降维方法可显著降低维数并提高文本挖掘性能.     

基于分类降维的入侵检测研究

降维技术能提高入侵检测分类器的学习效率和检测速度。针对目前入侵检测数据特征降维力度不足,提出了一种基于主成分的分类特征的分析方法。然后把样本数据按照所需的规则分割成多个子集,对每个子集进行主成分分析。实验的结果表明采用分类的方法能够更加有效地降低数据的维数,学习速度与检测速度都得到了提高。     

基于谱回归和核空间最近邻的基因表达数据分类

肿瘤基因表达数据是典型的高维小样本数据,直接对其进行识别存在维数灾难,需要对数据进行维数约简.提出了一种基于谱回归分析和核空间最近邻分类器的基因表达数据分类方法,采用谱回归分析得到可有效提取低维鉴别特征的投影矩阵,然后通过投影矩阵对基因表达数据进行维数约简,得到的低维数据用核空间最近邻分类器进行识别.通过在Prosta...     

基于免疫编码的图像特征选择方法

 针对目标与背景两类图像模式识别问题,在已有的特征选择方法基础上,提出了一种新颖的基于免疫分子编码机理的图像特征选择方法(Immune Antibody Construction Algorithm,IACA).该方法借鉴生物免疫系统的抗体分子编码机理,在对样本进行参数估计情况下,提出熵度量单个特征对于目标和背景的识别敏感度;从集合的角度研究并且定义了特征之间的包含和互补关系;并且基于组成抗体分子氨基酸结合能量最小原则,提出了关于图像目标的免疫抗体构建规则;最终实现了寻找最优特征子集的算法IACA,该特征子集的维数通过算法自动获得无需人为设定,选择结果为目标的"免疫抗体",能很好的从背景中识别目标.利用归纳法证明了用IACA得到的特征子集的最优性.与其他特征选择方法比较,测试结果显示该算法具有较低的计算复杂度和错误识别率,表明了该方法的优越性和先进性.     

基于独立分量分析的人脸自动识别方法研究

提出了一种独立分量分析(ICA)和遗传算法(GA)相结合的人脸自动识别方法,人脸图像的独立基的获取是采用基于四阶统计信息的ICA算法;为了减少计算复杂度,对原图像进行滤波降维,并用遗传算法对ICA求得的独立基集合进行搜索得到了一个最优的独立基子集;最后,选择合适的分类器根据待识别图像在独立基上投影系数进行分类判决.对人脸图像库的实验表明本方法识别率比基于主元分析的特征脸方法高,且计算量小于传统的基于ICA人脸识别方法.     

入侵检测中基于SVM的两级特征选择方法

针对入侵检测中的特征优化选择问题,提出基于支持向量机的两级特征选择方法。该方法将基于检测率与误报率比值的特征评测值作为特征筛选的评价指标,先采用过滤模式中的Fisher分和信息增益分别过滤噪声和无关特征,降低特征维数;再基于筛选出来的交叉特征子集,采用封装模式中的序列后向搜索算法,结合支持向量机选取最优特征子集。仿真测试结果表明,采用该方法筛选出来的特征子集具有更好的分类性能,并有效降低了系统的建模时间和测试时间。     

面向类不平衡网络流量的特征选择算法

针对网络流量分类过程中出现的类不平衡问题,该文提出一种基于加权对称不确定性(WSU)和近似马尔科夫毯(AMB)的特征选择算法。首先,根据类别分布信息,定义了偏向于小类别的特征度量,使得与小类别具有强相关性的特征更容易被选择出来;其次,充分考虑特征与类别间、特征与特征之间的相关性,利用加权对称不确定性和近似马尔科夫毯删除不相关特征及冗余特征;最后,利用基于相关性度量的特征评估函数以及序列搜索算法进一步降低特征维数,确定最优特征子集。实验表明,在保证算法整体分类精确率的前提下,算法能够有效提高小类别的分类性能。     

面向类不平衡网络流量的特征选择算法

针对网络流量分类过程中出现的类不平衡问题,该文提出一种基于加权对称不确定性(WSU)和近似马尔科夫毯(AMB)的特征选择算法。首先,根据类别分布信息,定义了偏向于小类别的特征度量,使得与小类别具有强相关性的特征更容易被选择出来;其次,充分考虑特征与类别间、特征与特征之间的相关性,利用加权对称不确定性和近似马尔科夫毯删除不相关特征及冗余特征;最后,利用基于相关性度量的特征评估函数以及序列搜索算法进一步降低特征维数,确定最优特征子集。实验表明,在保证算法整体分类精确率的前提下,算法能够有效提高小类别的分类性能。     

双重降维HOG结合SVM的快速手指静脉识别

为减少手指静脉识别时间,提出一种双重降维方向梯度直方图特征(Histogram of Oriented Gradient,HOG)结合支持向量机(Support Vector Machine,SVM)分类的手指静脉识别方法.针对传统HOG算法特征维数高的问题,首先通过Fisher准则衡量梯度方向区间HOG特征的分类能力...     

基于零亏损冗余删减策略的最优光谱特征选择算法

为了以最小的代价筛选出最优的光谱特征,从信息亏损角度提出了一种Filter型光谱特征选择算法。该算法依据联合互信息的大小对特征进行排序,并采用一种零信息亏损原则对排序后特征全集中的冗余特征进行判断和删减。这样既能获得一个规模较小并可表现整个原始光谱特征的最优光谱特征子集,又减小了由冗余特征删减带来的信息亏损。     

网络流量特征选择方法中的分治投票策略研究

特征选择作为机器学习过程中的预处理步骤,是影响分类性能的关键因素.网络流量具有数据量大,特征维度高的特点,如何快速提取特征子集,并提高分类效率对于基于机器学习的流量分类方法具有重要意义.本文提出基于分治与投票策略的特征提取方法,将数据集分裂为多个子集,分别执行特征提取算法,利用投票方法获得最后的特征子集.实验表明可有效提高特征提取的时间效率,同时使分类器取得良好的分类准确率.     

Estimator learning automata for feature subset selection in high‐dimensional spaces,case study: Email spam detection

One of the difficult challenges facing data miners is that algorithm performance degrades if the feature space contains redundant or irrelevant features. Therefore, as a critical preprocess task, dimension reduction is used to build a smaller space containing valuable features. There are 2 different approaches for dimension reduction: feature extraction and feature selection, which itself is divided into wrapper and filter approaches. In high‐dimensional spaces, feature extraction and wrapper approaches are not applicable due to the time complexity. On the other hand, the filter approach suffers from inaccuracy. One main reason for this inaccuracy is that the subset's size is not determined considering specifications of the problem. In this paper, we propose ESS (estimator learning automaton‐based subset selection) as a new method for feature selection in high‐dimensional spaces. The innovation of ESS is that it combines wrapper and filter ideas and uses estimator learning automata to efficiently determine a feature subset that leads to a desirable tradeoff between the accuracy and efficiency of the learning algorithm. To find a qualified subset for a special processing algorithm that functions on an arbitrary dataset, ESS uses an automaton to score each candidate subset upon the scale of the subset and accuracy of the learning algorithm using it. In the end, the subset with the highest score is returned. We have used ESS for feature selection in the framework of spam detection, a text classification task for email as a pervasive communication medium. The results show achievement in reaching the goal stated above.     

M3U: Minimum Mean Minimum Uncertainty Feature Selection for Multiclass Classification

This paper presents a novel multiclass feature selection algorithm based on weighted conditional entropy, also referred to as uncertainty. The goal of the proposed algorithm is to select a feature subset such that, for each feature sample, there exists a feature that has a low uncertainty score in the selected feature subset. Features are first quantized into different bins. The proposed feature selection method first computes an uncertainty vector from weighted conditional entropy. Lower the uncertainty score for a class, better is the separability of the samples in that class. Next, an iterative feature selection method selects a feature in each iteration by (1) computing the minimum uncertainty score for each feature sample for all possible feature subset candidates, (2) computing the average minimum uncertainty score across all feature samples, and (3) selecting the feature that achieves the minimum of the mean of the minimum uncertainty score. The experimental results show that the proposed algorithm outperforms mRMR and achieves lower misclassification rates using various types of publicly available datasets. In most cases, the number of features necessary for a specified misclassification error is less than that required by traditional methods. For all datasets, the misclassification error is reduced by 5～25% on average, compared to a traditional method.

     

Feature subset selection for improving the performance of false positive reduction in lung nodule CAD.

We propose a feature subset selection method based on genetic algorithms to improve the performance of false positive reduction in lung nodule computer-aided detection (CAD). It is coupled with a classifier based on support vector machines. The proposed approach determines automatically the optimal size of the feature set, and chooses the most relevant features from a feature pool. Its performance was tested using a lung nodule database (52 true nodules and 443 false ones) acquired by multislice CT scans. From 23 features calculated for each detected structure, the suggested method determined ten to be the optimal feature subset size, and selected the most relevant ten features. A support vector machine classifier trained with the optimal feature subset resulted in 100% sensitivity and 56.4% specificity using an independent validation set. Experiments show significant improvement achieved by a system incorporating the proposed method over a system without it. This approach can be also applied to other machine learning problems; e.g. computer-aided diagnosis of lung nodules.