基于主成分分析和循环神经网络的入侵检测模型

针对网络数据特征维度高、现有的入侵检测方法准确率低的问题,该文提出了一种基于主成分分析(PCA)和循环神经网络(RNN)的入侵检测方法PCA-RNN。该方法先对网络数据进行预处理,通过主成分分析法对数据进行特征降维和降噪,找出含有最大信息的主成分特征子集,然后对处理后的数据使用循环神经网络进行分类训练。实验使用基于Python的TensorFlow平台,并采用NSL-KDD作为实验数据集。实验结果表明,与常用的基于机器学习和深度学习方法的入侵检测技术相比较,该文提出的入侵检测方法可有效地提高检测的准确性。     

基于ACO-FS-SVM特征选择加权的网络入侵分类方法

特征选择和分类器设计是网络入侵分类的关键,为了提高网络入侵分类率,针对特征选择问题,提出一种蚁群算法优化SVM选择和加权特征的网络入侵分类方法.首先利用支持向量机的分类精度和特征子集维数加权构造了综合适应度指标,然后利用蚁群算法的全局寻优和多次优解搜索能力实现特征子集搜索;然后选择网络数据的关键特征,计算信息增益获得各个特征权重,并根据特征权重构建加权支持向量机的网络入侵分类器;最后设计了局部细化搜索方式,使得特征选择结果不含冗余特征的同时提高了算法的收敛性,并通过KDD1999数据集验证了算法有效性.结果表明,ACO-SVM有效降低了特征维数,提高了网络入侵检测正确率和检测速度.     

基于主元神经网络和SVM的入侵特征抽取和检测

目前基于机器学习的入侵检测研究都是从提高检测精度的分类器算法设计出发,大多未考虑对样本特征的分析。文章提出了一种基于特征抽取的异常检测方法,应用主元神经网络(PCNN)抽取入侵特征,再应用SVM检测入侵。采用广义Hebb学习规则训练线性主元神经网络,SVM采用基于网格粒度搜索获得最优参数。利用KDD99数据集,将线性PCNN-SVM与SVM进行比较,结果显示在不降低分类器性能的情况下,PCNN特征抽取方法能对输入数据有效降维。     

基于Double-Bagging特征降维异质集成入侵检测

入侵检测是网络安全领域中具有挑战性的重要任务。单个分类器可能会带来分类偏差，使用集成学习相较单分类器，具有更强的泛化能力及更高的精确率，但调整各基分类器的权重需要大量的时间。基于此问题，提出了一种基于Bagging特征降维和基于Bagging异质集成入侵检测分类算法(Double-Bagging)的特征降维异质集成入侵检测算法。该算法通过集成5个特征选择算法，采用Bagging投票机制选出最优特征子集，实现高效准确的特征降维。同时，引入集成学习中的成对多样性度量，从不同基分类器组合中选出最优异质集成集合。对于赋权函数综合使用精确率和AOC值作为权重对分类器进行集成。实验结果表明，所提算法精确率高达99.94%,系统错误率及正判率分别为0.03%和99.55%,均优于现有主流入侵检测算法的。     

改进的多类支持向量机递归特征消除在癌症多分类中的应用

为处理癌症多分类问题,已经提出了多类支持向量机递归特征消除(MSVM-RFE)方法,但该方法考虑的是所有子分类器的权重融合,忽略了各子分类器自身挑选特征的能力。为提高多分类问题的识别率,提出了一种改进的多类支持向量机递归特征消除(MMSVM-RFE)方法。所提方法利用一对多策略把多类问题化解为多个两类问题,每个两类问题均采用支持向量机递归特征消除来逐渐剔除掉冗余特征,得到一个特征子集;然后将得到的多个特征子集合并得到最终的特征子集;最后用SVM分类器对获得的特征子集进行建模。在3个基因数据集上的实验结果表明,改进的算法整体识别率提高了大约2%,单个类别的精度有大幅度提升甚至100%。与随机森林、k近邻分类器以及主成分分析(PCA)降维方法的比较均验证了所提算法的优势。     

基于Fisher-PCA和深度学习的入侵检测方法研究

为了在攻击形式多样化、入侵数据海量及多维化的环境中快速、准确地识别网络攻击,提出了一种融合Fisher-PCA特征提取与深度学习的入侵检测算法。通过Fisher特征选择算法选出重要的特征组成特征子集,然后基于主成分分析法（Principal Component Analysis,PCA）将特征子集进行降维,提取出了分类能力强的特征集。构建了一种新的DNN（Deep Neural Networks）深度神经网络模型对网络攻击数据和正常数据进行识别与分类。在KDD99数据集上进行试验,结果表明这种入侵检测算法与传统的ANN、SVM算法相比,在准确率上分别提高了12.63%、6.77%,在误报率上由原来的2.31%、1.96%降为0.28%,与DBN4 、PCA-CNN算法相比,在准确率和检测率保持基本相同的同时有着更低的误报率。     

基于PCA的SVM网络入侵检测研究

文章针对传统入侵检测方法无法很好地对大样本数据降维、检测效率低、时间长、误报漏报率高等缺点,提出一种基于主成分分析(principal component analysis,PCA)的支持向量机(support vector machine,SVM)网络入侵检测方法(PCA—SVM)。该方法在对数据进行预处理之后,通过PCA对原始数据集的41个属性进行数据降维并消除冗余数据,找到具有最优分类效果的主成分属性集,然后再以此数据集训练支持向量机分类器,得到检测器。实验选择KDD99数据集在Matlab平台上对PCA-SVM算法进行仿真。相比于由传统41个属性训练得到的入侵检测器,文中方法大大缩短了检测时间,提高了检测效率,为网络入侵检测技术提供了一种新的可行方案。     

基于改进的深度信念网络的入侵检测方法

针对传统入侵检测方法很难快速准确地从海量无标签网络数据中提取特征信息以识别异常入侵,提出了基于改进的深度信念网络的softmax分类（IDBN-SC）入侵检测方法。利用改进的DBN对原始网络数据进行无监督特征学习,引入自适应学习速率减少训练网络模型所需要的时间;采用softmax分类器对获得的降维数据进行网络攻击类型识别。在NSL-KDD数据集上进行测试,相比其他入侵检测方法,实验结果表明IDBN-SC方法不仅识别准确率平均提高3.02%,而且其softmax分类器训练时间平均缩短5.58 s。     

一种面向流分类的特征选择算法

流分类技术在网络安全监控,QoS,入侵检测等方面起着重要的作用。流分类器处理的数据含有大量的相关与冗余特征,这不仅增加了分类器的计算复杂性,同时也影响了分类器的分类效果。针对高维特征空间,特征选择一方面可以提高分类精度与效率,另一方面可以找出富含信息的特征子集。该文提出一种wrapper型特征选择算法VFSA-C4.5来构建轻量级的流分类器。该算法采用快速模拟退火VFSA搜索策略对特征子集空间进行随机搜索,然后以提供的数据在C4.5上的分类正确率作为特征子集的评价标准,来获取最优特征子集。在流数据集上进行的大量实验结果表明,基于VFSA-C4.5的流分类器在不影响分类性能的情况下能够提高分类速度。     

基于信息增益与主成分分析的网络入侵检测方法

为提高入侵检测效率,需要对数据进行特征提取以降低数据维度。结合信息增益(IG)和主成分分析(PCA),提出一种网络入侵检测方法。通过IG提取分类能力强的属性特征,利用PCA对其降维,并采用Naive Bayes进行分类检测。对数据集KDDCUP99进行测试,结果表明,该方法的检测率为94.5%,高于PCA-LDA、FPCA、KPCA方法。     

基于特征选择的网络入侵检测方法

针对现有入侵检测算法中存在着冗余或噪音特征导致的检测模型精度下降与训练时间过长的问题进行了研究,将特征选择算法引入到入侵检测领域,提出了一种基于特征选择的入侵检测方法.利用不同的离散化与特征选择算法生成具有差异的多个最优特征子集,并对每个特征子集进行归一化处理,用分类算法对提取后的特征进行学习建模.通过实验将该方法与基于传统算法（决策树、朴素贝叶斯、支持向量机）的入侵检测方法作比较,实验结果表明,该方法有效地提高了检测攻击的准确率,并且降低了模型的训练时间.     

基于相关性分析及遗传算法的高维数据特征选择

特征选择是模式识别及数据挖掘等领域的重要问题之一。针对高维数据对象,特征选择一方面可以提高分类精度和效率,另一方面可以找出富含信息的特征子集。针对此问题,提出了一种综合了filter模型及wrapper模型的特征选择方法,首先基于特征与类别标签的相关性分析进行特征筛选,只保留与类别标签具有较强相关性的特征,然后针对经过筛选而精简的特征子集采用遗传算法进行随机搜索,并采用感知器模型的分类错误率作为评价指标。实验结果表明,该算法可有效地找出具有较好的线性可分离性的特征子集,从而实现降维并提高分类精度。     

混合式的K-匿名特征选择算法

K-匿名算法通过对数据的泛化、隐藏等手段使得数据达到K-匿名条件,在隐藏特征的同时考虑数据的隐私性与分类性能,可以视为一种特殊的特征选择方法,即K-匿名特征选择。K-匿名特征选择方法结合K-匿名与特征选择的特点使用多个评价准则选出K-匿名特征子集。过滤式K-匿名特征选择方法难以搜索到所有满足K-匿名条件的候选特征子集,不能保证得到的特征子集的分类性能最优,而封装式特征选择方法计算成本很大,因此,结合过滤式特征排序与封装式特征选择的特点,改进已有方法中的前向搜索策略,设计了一种混合式K-匿名特征选择算法,使用分类性能作为评价准则选出分类性能最好的K-匿名特征子集。在多个公开数据集上进行实验,结果表明,所提算法在分类性能上可以超过现有算法并且信息损失更小。     

基于BP神经网络的肿瘤特征基因选取

该文提出基于BP神经网络的灵敏度分析方法,并用于选取肿瘤特征基因。以结肠癌基因表达谱为例,首先定义基因对BP神经网络模型输出函数的灵敏度,递归去除灵敏度较低的若干基因,生成一组嵌套的候选特征基因子集。然后以支持向量机为分类器,检验候选特征基因子集对样本分类的贡献,选取错分率最低的候选特征基因子集为结肠癌特征基因子集。通过实验对比,该特征基因子集的分类结果优于文献给出的其他特征基因子集,表明了该方法的可行性和有效性。     

特征子集选取中相似性度量公式的研究

在三角形隶属度函数的基础上,研究了基于模糊值的最优特征子集选取算法的不同相似性度量公式得出的类间交叠度、选取的特征子集以及该特征子集用于分类的准确性之间的关系,找到了比较适合于基于模糊值的最优特征子集选取算法的相似性度量公式.     

使用EBIC的软件故障特征选择方法

软件故障预测中若采用大量度量指标建立预测模型,可能因其中含有无关特征使预测模型性能受到不良影响,故障预测中的特征选择步骤选取一定维度的部分故障数据建立预测模型来提高模型性能,以达到压缩特征维度,提高模型预测精度,降低预测模型复杂度,节约计算资源的目的。传统特征排序方法仅评估单个特征对类标的影响,建立的预测模型有效性较低;特征子集选择方法需搜索所有特征子集,耗费计算资源且所选特征维数较高。针对以上问题,提出一种基于拓展贝叶斯信息准则的特征选择方法(EBIC-FS),该方法对数据进行线性回归,并计算出残差平方和较小且数据维数较少的特征模型。在公开数据集M&R及Promise上进行实验,结果表明该方法能有效压缩特征维度,且预测模型性能与5种基线方法相比有较大提升。     

Neighborhood rough set based heterogeneous feature subset selection

Feature subset selection is viewed as an important preprocessing step for pattern recognition, machine learning and data mining. Most of researches are focused on dealing with homogeneous feature selection, namely, numerical or categorical features. In this paper, we introduce a neighborhood rough set model to deal with the problem of heterogeneous feature subset selection. As the classical rough set model can just be used to evaluate categorical features, we generalize this model with neighborhood relations and introduce a neighborhood rough set model. The proposed model will degrade to the classical one if we specify the size of neighborhood zero. The neighborhood model is used to reduce numerical and categorical features by assigning different thresholds for different kinds of attributes. In this model the sizes of the neighborhood lower and upper approximations of decisions reflect the discriminating capability of feature subsets. The size of lower approximation is computed as the dependency between decision and condition attributes. We use the neighborhood dependency to evaluate the significance of a subset of heterogeneous features and construct forward feature subset selection algorithms. The proposed algorithms are compared with some classical techniques. Experimental results show that the neighborhood model based method is more flexible to deal with heterogeneous data.     

Gene subset selection in microarray data using entropic filtering for cancer classification

Abstract: In this work an entropic filtering algorithm (EFA) for feature selection is described, as a workable method to generate a relevant subset of genes. This is a fast feature selection method based on finding feature subsets that jointly maximize the normalized multivariate conditional entropy with respect to the classification ability of tumours. The EFA is tested in combination with several machine learning algorithms on five public domain microarray data sets. It is found that this combination offers subsets yielding similar or much better accuracies than using the full set of genes. The solutions obtained are of comparable quality to previous results, but they are obtained in a maximum of half an hour computing time and use a very low number of genes.     

融合序列后向选择与支持向量机的混合式特征选择算法

维度灾难是机器学习任务中的常见问题,特征选择算法能够从原始数据集中选取出最优特征子集,降低特征维度.提出一种混合式特征选择算法,首先用卡方检验和过滤式方法选择重要特征子集并进行标准化缩放,再用序列后向选择算法（SBS）与支持向量机（SVM）包裹的SBS-SVM算法选择最优特征子集,实现分类性能最大化并有效降低特征数量.实验中,将包裹阶段的SBS-SVM与其他两种算法在3个经典数据集上进行测试,结果表明,SBS-SVM算法在分类性能和泛化能力方面均具有较好的表现.     

面向高维微阵列数据的集成特征选择算法

特征选择算法是微阵列数据分析的重要工具,特征选择算法的分类性能和稳定性对微阵列数据分析至关重要。为了提高特征选择算法的分类性能和稳定性,提出一种面向高维微阵列数据的集成特征选择算法来弥补单个基因子集信息量的不足,提高基因特征选择算法的分类性能和稳定性。该算法首先采用信噪比方法选择若干区分基因;然后对每个区分基因利用条件信息相关系数评估候选基因与区分基因的相关性,生成多个相关基因子集,最后,通过集成学习技术整合多个相似基因子集。实验结果表明,本文提出的集成特征选择算法的分类性能以及稳定性在多数情况下均优于只选择单个基因子集的方法。