基于核函数的入侵检测方法研究*

基于SVDD算法（一种改进的one-class支持向量机算法）提出了一种能够处理无类标非纯净训练集的异常检测方法,可以在无类标非纯净训练集上进行模型训练,在很大程度上降低了对训练数据集的要求。另外针对异构数据集,构造了一种新的基于距离的核函数,使得SVDD算法具有处理异构数据集的能力,使之能应用于入侵检测中。通过在KDD CUP’99的标准入侵检测数据集上进行实验,证明了该方法的有效性和实用性。     

非监督学习算法应用于异常检测的效果评估

目前的入侵检测系统普遍使用基于特征库的方法进行检测，这种方法需要已知类别标签的数据集来进行训练．而得到这种数据集的代价一般都很大。因此，我们对“非监督学习”算法应用于异常检测的检测效果进行了评估．我们共评估了三种算法-聚类算法、K-近邻算法和一类SVM算法，其结果令人满意。     

基于SVM主动学习的入侵检测系统

研究在入侵检测中，采用基于支持向量机(SVM)的主动学习算法，解决小样本下的机器学习问题。该文提出了基于SVM主动学习算法的系统框架及适用于入侵检测系统的SVM主动学习算法，讨论了候选样本集的组成比例、候选样本集数量及核函数的不同参数选取对检测结果的影响。通过实验验证，基于SVM主动学习算法与传统SVM算法相比，能有效地减少学习样本数，提高检测精度。     

基于GA和组合核的SVM入侵检测算法

SVM有着很强的学习能力,已经成为入侵检测的重要算法之一。由于入侵检测原始数据量大,且具有高维性、冗余性等特点,导致传统SVM入侵检测算法计算量大、预测时间长。基于此,文中提出一种改进的SVM入侵检测算法( KP-CA-GA-LC-SVM)。文中利用核主成分分析法( KPCA)进行数据的特征提取,降低数据维数和计算量;使用两个核函数线性加权结合形成的组合核函数代替传统的单一核函数,并通过遗传算法( GA)进行SVM核参数及组合核权系数的寻优,来提高SVM性能。实验结果表明,文中算法有效地提高了入侵检测的检测精度。     

非监督学习算法应用于异常检测的效果评估

目前的入侵检测系统普遍使用基于特征库的方法进行检测,这种方法需要已知类别标签的数据集来进行训练,而得到这种数据集的代价一般都很大。因此,我们对“非监督学习”算法应用于异常检测的检测效果进行了评估,我们共评估了三种算法-聚类算法、K-近邻算法和一类SVM算法,其结果令人满意。     

基于双层分类器入侵检测算法

入侵检测实质上是分类问题,即将正常数据同入侵行为分开.在本文中,提出一种双层入侵检测算法,算法的一层是基于Boosting的入侵检测算法,二层是SVM算法.KDD CUP99数据集用于实验中,结果表明,基于这种结构的双层入侵检测算法分类精度和泛化能力都好于单个神经网络和常用神经网络集成方法.     

异构信息网络上基于图正则化的半监督学习

现实世界中存在着大量包含多种类型的对象和联系的异构信息网络,从中挖掘信息获取知识已成为当前的研究热点之一．基于图正则化的半监督学习在近年来得到了广泛的研究,然而,现有的半监督学习算法大都只能应用于同构网络．基于同构节点和异构节点的一致性假设,提出了任意结构的异构信息网络上的半监督学习的正则化分类函数,并得到分类函数的闭式解,以此预测未标记节点的类别．提出了异构信息网络上的半监督学习的迭代框架,标记节点的信息可以在邻近的节点上迭代传播,直至达到稳定状态,并证明了迭代算法将收敛于正则化分类函数的闭式解．DBL P数据集上的实验表明该方法优于经典的半监督学习算法．     

基于样本密度的SVM及其在入侵检测中的应用

针对网络数据集过于庞大，学习速度过慢的问题，提出了一种基于空间块和样本密度的SVM算法，并将其应用到入侵检测中。该算法根据样本的局部密度选择训练样本，减少参加训练的样本数量，提高学习速度。实验结果表明，该算法在保证检测精度的同时，学习速度快于传统SVM入侵检测方法。     

基于半监督学习的入侵检测系统

在入侵检测方法中,半监督学习作为一种特殊的学习形式,结合了监督学习与非监督学习在检测已知模式数据与未知模式数据方面各自的优点.据此,为进一步提高入侵检测系统的检测准确性,提出一种结合SVM与KMO(online kmeans)算法各自优点的半监督入侵检测模型.该模型首先利用SVM算法对全部的输入数据进行区分,然后将其认为的合法数据集用KMO算法分类,以该结果作为决策模块的输入并做出最终的响应.实验显示,文中模型比单独使用其中的任一种方法具有更高的检测准确率.由此可见,该模型对于实际的入侵检测系统具有实用价值.     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

基于识别关键样本点的非平衡数据核SVM算法

非平衡数据处理中常采用的欠采样方法很少考虑支持向量机(SVM)的特性,并且在原始空间进行采样会导致多数类样本部分关键信息的丢失.针对上述问题,文中提出基于识别关键样本点的非平衡数据核SVM算法.基于初始超平面有效划分多数类样本,在高维空间中对每个分块进行核异类近邻抽样,得到多数类中的关键样本点,使用关键样本点和少数类样本训练最终核SVM分类器.在多个数据集上的实验证明文中算法的可行性和有效性,特别是在非平衡度高于10∶1的数据集上,文中算法优势明显.     

基于Fisher 准则和最大熵原理的SVM核参数选择方法

针对支持向量机(SVM)核参数选择困难的问题,提出一种基于Fisher准则和最大熵原理的SVM核参数优选方法.首先,从SVM分类器原理出发,提出SVM核参数优劣的衡量标准;然后,根据此标准利用Fisher准则来优选SVM核参数,并引入最大熵原理进一步调整算法的优选性能.整个模型采用粒子群优化算法(PSO)进行参数寻优.UCI标准数据集实验表明了所提方法具有良好的参数选择效果,优选出的核参数能够使SVM具有较高的泛化性能.     

支持向量机最优模型选择的研究

通过对核矩阵的研究,利用核矩阵的对称正定性,采用核校准的方法提出了一种SVM最优模型选择的算法——OMSA算法．利用训练样本不通过SVM标准训练和测试过程而寻求最优的核参数和相应的最优学习模型,弥补了传统SVM在模型选择上经验性强和计算量大的不足．采用该算法在UCI标准数据集和FERET标准人脸库上进行了实验,结果表明,通过该算法找到的核参数以及相应的核矩阵是最优的,得到的SVM分类器的错误率最小．该算法为SVM最优模型选择提供了一种可行的方法,同时对其他基于核的学习方法也具有一定的参考价值．     

支持向量机核函数选择研究与仿真

支持向量机是一种基于核的学习方法,核函数选取对支持向量机性能有着重要的影响,如何有效地进行核函数选择是支持向量机研究领域的一个重要问题。目前大多数核选择方法不考虑数据的分布特征,没有充分利用隐含在数据中的先验信息。为此,引入能量熵概念,借助超球体描述和核函数蕴藏的度量特征,提出一种基于样本分布能量熵的支持向量机核函数选择方法,以提高SVM学习能力和泛化能力。数值实例仿真验证表明了该方法的可行性和有效性。     

An enhanced Support Vector Machine classification framework by using Euclidean distance function for text document categorization

This paper presents the implementation of a new text document classification framework that uses the Support Vector Machine (SVM) approach in the training phase and the Euclidean distance function in the classification phase, coined as Euclidean-SVM. The SVM constructs a classifier by generating a decision surface, namely the optimal separating hyper-plane, to partition different categories of data points in the vector space. The concept of the optimal separating hyper-plane can be generalized for the non-linearly separable cases by introducing kernel functions to map the data points from the input space into a high dimensional feature space so that they could be separated by a linear hyper-plane. This characteristic causes the implementation of different kernel functions to have a high impact on the classification accuracy of the SVM. Other than the kernel functions, the value of soft margin parameter, C is another critical component in determining the performance of the SVM classifier. Hence, one of the critical problems of the conventional SVM classification framework is the necessity of determining the appropriate kernel function and the appropriate value of parameter C for different datasets of varying characteristics, in order to guarantee high accuracy of the classifier. In this paper, we introduce a distance measurement technique, using the Euclidean distance function to replace the optimal separating hyper-plane as the classification decision making function in the SVM. In our approach, the support vectors for each category are identified from the training data points during training phase using the SVM. In the classification phase, when a new data point is mapped into the original vector space, the average distances between the new data point and the support vectors from different categories are measured using the Euclidean distance function. The classification decision is made based on the category of support vectors which has the lowest average distance with the new data point, and this makes the classification decision irrespective of the efficacy of hyper-plane formed by applying the particular kernel function and soft margin parameter. We tested our proposed framework using several text datasets. The experimental results show that this approach makes the accuracy of the Euclidean-SVM text classifier to have a low impact on the implementation of kernel functions and soft margin parameter C.     

Evolutionary strategies for hyperparameters of support vector machines based on multi-scale radial basis function kernels

Kernel functions are used in support vector machines (SVM) to compute inner product in a higher dimensional feature space. SVM classification performance depends on the chosen kernel. The radial basis function (RBF) kernel is a distance-based kernel that has been successfully applied in many tasks. This paper focuses on improving the accuracy of SVM by proposing a non-linear combination of multiple RBF kernels to obtain more flexible kernel functions. Multi-scale RBF kernels are weighted and combined. The proposed kernel allows better discrimination in the feature space. This new kernel is proved to be a Mercer’s kernel. Furthermore, evolutionary strategies (ESs) are used for adjusting the hyperparameters of SVM. Training accuracy, the bound of generalization error, and subset cross-validation on training accuracy are considered to be objective functions in the evolutionary process. The experimental results show that the accuracy of multi-scale RBF kernels is better than that of a single RBF kernel. Moreover, the subset cross-validation on training accuracy is more suitable and it yields the good results on benchmark datasets.     

Quadratic-radial-basis-function-kernel for classifying multi-class agricultural datasets with continuous attributes

Classification of agricultural data such as soil data and crop data is significant as it allows the stakeholders to make meaningful decisions for farming. Soil classification aids farmers in deciding the type of crop to be sown for a particular type of soil. Similarly, wheat variety classification assists in selecting the right type of wheat for a particular product. Current methods used for classifying agricultural data are mostly manual. These methods involve agriculture field visits and surveys and are labor-intensive, expensive, and prone to human error. Recently, data mining techniques such as decision trees, k-nearest neighbors (k-NN), support vector machine (SVM), and Naive Bayes (NB) have been used in classification of agricultural data such as soil, crops, and land cover. The resulting classification aid the decision making process of government organizations and agro-industries in the field of agriculture. SVM is a popular approach for data classification. A recent study on SVM highlighted the fact that using multiple kernels instead of a single kernel would lead to better performance because of the greater learning and generalization power. In this work, a hybrid kernel based support vector machine (H-SVM) is proposed for classifying multi-class agricultural datasets having continuous attributes. Genetic algorithm (GA) or gradient descent (GD) methods are utilized to select the SVM parameters C and γ. The proposed kernel is called the quadratic-radial-basis-function kernel (QRK) and it combines both quadratic and radial basis function (RBF) kernels. The proposed classifier has the ability to classify all kinds of multi-class agricultural datasets with continuous features. Rigorous experiments using the proposed method are performed on standard benchmark and real world agriculture datasets. The results reveal a significant performance improvement over state of the art methods such as NB, k-NN, and SVM in terms of performance metrics such as accuracy, sensitivity, specificity, precision, and F-score.     

核对齐多核模糊支持向量机

支持向量机（SVMs）是当前被广泛使用的机器学习技术,其通过最优分割超平面来提高分类器的泛化能力,在实际应用中表现优异。然而SVM也存在易受噪声影响,以及核函数选择等难题。针对以上问题,本文将基于核对齐的多核学习方法引入到模糊支持向量机（fuzzy support vector machine, FSVM）中,提出了模糊多核支持向量机模型（multiple kernel fuzzy support vector machine,MFSVM）。MFSVM通过模糊粗糙集方法计算每一样例隶属度;其次,利用核对齐的多核方法计算每一单核权重,并将组合核引入到模糊支持向量机中。该方法不仅提高了支持向量机的抗噪声能力,也有效避免了核选择难题。在UCI数据库上进行实验,结果表明本文所提方法具有较高的分类精度,验证了该方法的可行性与有效性。     

组合核支持向量机的模式分析新方法

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和多项式核函数进行有效的线性组合,给出一种新的支持向量机的组合核函数,提出一种基于再生核的组合核函数支持向量机的模式分析方法,该方法兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低。仿真实验结果表明：支持向量机的核函数采用基于再生核的组合核函数是可行的,且此核函数不仅具有核函数的非线性映射特征,而且也继承了核函数对非线性逐级精细逼近的特征,模式分析的效果比单核函数可以更加细腻。     

复高斯小波核函数的支持向量机研究

针对基于常用核函数的支持向量机在非线性系统参数辨识及预测方面的不足之处,构建了一种新的核函数——复高斯小波函数核函数。首先证明了新构建的核函数的正确性,即满足Mercy条件,表明其可以作为核函数;然后构建基于该核函数的支持向量机,并将该支持向量机用于非线性系统的辨识和未知部分的预测。通过与常用核函数构建的支持向量机的仿真结果进行对比,验证了该方法的正确性和有效性。