一种新的半监督聚类入侵检测算法

针对基于监督学习的入侵检测算法所面临的标记数据问题,本文提出了一种基于主动学习的半监督聚类入侵检测算法,利用少量的标记数据,生成用于初始化算法的种子聚类,然后辅助聚类过程,并根据网络数据的特点,将主动学习策略应用于半监督聚类过程中,检测已知和未知攻击。     

基于半监督学习的应用流分类方法

将半监督学习应用到应用流分类问题中,提出了一种基于半监督聚类的应用流分类算法(PSOSC).首先采用粒子群优化的K均值聚类方法对大量的无标记数据和少量的标记数据进行聚类,利用少量标记数据确定簇与应用类型的映射关系,实现应用流分类.实验表明PSOSC算法有较高的流准确率,同时,降低了对标记数据的需求.     

基于监督信息特性的主动半监督谱聚类算法

 半监督聚类是利用少部分监督信息辅助大量未标签数据进行非监督的学习,其聚类性能的改善依赖于监督信息,因此挖掘适合半监督聚类的监督信息非常关键.提出了一种基于监督信息特性的主动学习策略,即找出同一类中距离相对较远的数据对象对和不同类中距离相对较近的数据对象对组成监督信息,并将其引入谱聚类算法,构建新颖的主动半监督谱聚类算法ASSC（Active Semi-supervised Spectral Clustering）.利用该监督信息调整谱聚类中点与点之间的距离矩阵,使类内各点紧聚,类间散布.通过对UCI基准数据集以及人工数据集的实验结果表明,ASSC算法优于采用随机选取监督信息的谱聚类性能.     

基于SVDD的半监督入侵检测研究

提出了一种基于SVDD的半监督入侵检测算法.该算法利用少量有标记正常网络数据建立两个SVDD分类器,通过相互学习来挖掘未标记数据中的隐含信息,扩大有标记正常网络数据的数量.再利用所有已标记正常网络数据用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器.实验表明,该算法具有良好的识别性能.     

基于半监督学习的入侵检测算法研究

为了克服入侵检测系统对孤立点敏感的缺点,采用半监督学习方法改进入侵检测系统.在检测时标签数据及其相关信息较难获得.针对这一特点,利用半监督学习方法改进算法,减少了对标签数据的依赖,加强了对未标记数据信息的利用.最终降低了算法的复杂性及系统的误报率,改善了系统的整体性能.通过对不同算法结果的分析比较,验证了该方法的有效性.     

基于半监督聚类的局部网络拓扑测量任务选取方法

本文提出了一种基于半监督聚类的测量任务选取方案以提高局部网络对外连接IP地址的发现效率.首先选择少量测量任务执行测量作为标记样本,计算已知类别的质心,然后利用未标记样本到最近质心的距离进行聚类,最后从距离已知类别较远的未标记样本中生成新的测量任务,迭代执行直到未发现新的类别.半监督聚类中相关参数用控制变量法进行选取.通过发现的局部网络对外连接IP地址数量分析测量效率,并利用聚类的外部指标评价本文算法的聚合能力.     

基于模糊核聚类和主动学习的异常检测方法

针对日志数据的异常检测获取标记数据代价过高的问题,提出一种基于模糊核聚类与主动学习的算法,即KFCM-AL算法。首先将日志解析,之后利用模糊核聚类算法将待选样本在高维空间进行划分聚类,滤去样本冗余点,同时选取聚类中心进行标记构建初始分类器,最后结合主动学习利用较小的标记代价对异常检测模型进行优化。实验结果表明,所提方法能够利用较少的标记样本获取异常检测模型的性能提升。     

基于无监督聚类的入侵检测方法

研究了基于无监督聚类的入侵检测算法.算法的基本思想是首先通过比较无类标训练集样本间的距离来生成聚类,并根据正常类比例N来确定异常数据类别,然后再用于真实数据的检测.该方法的优点在于不需要用人工的或其他的方法来对训练集进行分类.实验采用了KDD99的测试数据,结果表明,该方法能够比较有效的检测真实网络数据中的未知入侵行为.     

基于聚类的Adhoc网络入侵检测研究

由于Adhoc网络的独特网络特性,其安全性特别脆弱。在分析了Adhoc网络安全性的基础上,提出了一种聚类算法和人工免疫系统相结合来进行入侵检测的方法。该算法是一种无监督异常检测算法,它具有可扩展性、对输入数据集的顺序不敏感等特性,有处理不同类型数据和噪声数据的能力。实验表明,该算法可以改进Adhoc网络入侵检测的检测率和误检率。     

基于改进CURE聚类算法的无监督异常检测方法

提出了一种基于改进的CURE聚类算法的无监督异常检测方法.在保证原有CURE聚类算法性能不变的条件下,通过对其进行合理的改进获得更加理想的簇,也为建立正常行为模型提供了更加纯净的正常行为数据.在建模过程中,提出了一种新的基于超矩形的正常行为建模算法,该算法有助于迅速、准确地检测出入侵行为.实验采用KDDcup99数据,实验结果表明该方法能够有效地检测网络数据中的已知和未知入侵行为.     

基于小样本标记实例的数据流集成入侵检测模型

基于监督学习的异常入侵检测算法通常面临着训练样本不足的问题,同时,对整个历史数据集进行等同学习,没有充分考虑到网络数据模式随时间变化的特点.本文提出了一种基于小样本标记实例的数据流集成入侵检测模型,对小样本的标记数据集进行扩展,解决了训练样本不足的问题,并能够充分适应网络数据模式随时间变化的特点.实验结果表明,在小样本标记实例情况下,算法的检测性能明显优于基于所有历史数据进行入侵检测的结果.     

An incremental intrusion detection system using a new semi‐supervised stream classification method

In recent years, the utilization of machine learning and data mining techniques for intrusion detection has received great attention by both security research communities and intrusion detection system (IDS) developers. In intrusion detection, the most important constraints are the imbalanced class distribution, the scarcity of the labeled data, and the massive amounts of network flows. Moreover, because of the dynamic nature of the network flows, applying static learned models degrades the detection performance significantly over time. In this article, we propose a new semi‐supervised stream classification method for intrusion detection, which is capable of incremental updating using limited labeled data. The proposed method, called the incremental semi‐supervised flow network‐based IDS (ISF‐NIDS), relies on an incremental mixed‐data clustering, a new supervised cluster adjustment method, and an instance‐based learning. The ISF‐NIDS operates in real time and learns new intrusions quickly using limited storage and processing power. The experimental results on the KDD99, Moore, and Sperotto benchmark datasets indicate the superiority of the proposed method compared with the existing state‐of‐the‐art incremental IDSs.     

基于改进TSVM的通信辐射源个体识别

为了解决通信辐射源个体中标签获取难问题,引入半监督机器学习理论,提出了一种基于预测置信度进行迭代的半监督学习算法(Improved Transductive Support Vector Machine Iterative Algorithm Based on the Confidence of Prediction,CP-TSVM)。该方法在TSVM算法的基础上,充分利用无标签样本,根据预测结果置信度进行迭代,能够大幅度减少分类器的运算量。计算机仿真表明,在有标签样本数目占总样本2%的情况下,CP-TSVM较TSVM算法在保证识别准确率的同时,模型训练时间缩短近60 s。     

有指导的入侵检测方法研究

基于一种用于混合属性数据的距离定义和改进的最近邻分类方法,提出了一种基于聚类的有指导的入侵检测方法。该方法首先利用一趟聚类算法对训练集进行聚类,再利用数据的标识和少数服从多数的原则将聚类标识为“正常”或“攻击”,以标识的聚类作为分类模型对数据进行分类。理论分析表明提出的检测方法关于数据集大小和属性个数具有近似线性时间复杂度。不同于一般的有指导的入侵检测方法,改进的最近邻方法从理论上保证了该方法对未知入侵有一定的检测能力。在KDDCUP99数据集上的测试结果表明,该方法有高的检测率和低的误报率。     

基于模糊C均值的数据流入侵检测算法

针对数据在性态和类属方面存在不确定性的特点,提出一种基于模糊C均值聚类的数据流入侵检测算法,该算法首先利用增量聚类得到网络数据的概要信息和类数,然后利用模糊C均值聚类算法对获取的数据特征进行聚类。实验结果表明该算法可以有效检测数据流入侵。     

基于改进的半监督主动学习的雷达信号识别

为解决在雷达信号分类识别过程中训练样本较少的问题,本文提出了联合主动学习和半监督学习,并对其伪标记样本进行迭代验证改进的分类算法。针对复杂的电磁环境下雷达信号识别率低的问题,本文将径向高斯核时频分析应用于雷达信号,并对时频分布进行奇异值分解,提取出奇异向量作为雷达信号识别的特征参数。针对传统的半监督主动学习算法的不足,利用改进的半监督主动学习算法构建分类器,该算法通过对伪标记样本进行迭代验证来提高伪标记信息的准确性,从而改善了最终的分类性能,实现了在可获取的有标签样本数量较少的条件下对雷达信号的高概率识别。仿真结果表明,本文提出的特征识别方法可以获得较高的识别率。      

Semi-Supervised Nonnegative Matrix Factorization

Nonnegative matrix factorization (NMF) is a popular method for low-rank approximation of nonnegative matrix, providing a useful tool for representation learning that is valuable for clustering and classification. When a portion of data are labeled, the performance of clustering or classification is improved if the information on class labels is incorporated into NMF. To this end, we present semi-supervised NMF (SSNMF), where we jointly incorporate the data matrix and the (partial) class label matrix into NMF. We develop multiplicative updates for SSNMF to minimize a sum of weighted residuals, each of which involves the nonnegative 2-factor decomposition of the data matrix or the label matrix, sharing a common factor matrix. Experiments on document datasets and EEG datasets in BCI competition confirm that our method improves clustering as well as classification performance, compared to the standard NMF, stressing that semi-supervised NMF yields semi-supervised feature extraction.     

基于图的Co-Training网页分类

 本文充分利用网页数据的超链接关系和文本信息,提出了一种用于网页分类的归纳式半监督学习算法:基于图的Co-training网页分类算法(Graph based Co-training algorithm for web page classification),简称GCo-training,并从理论上证明了算法的有效性.GCo-training在Co-training算法框架下,迭代地学习一个基于由超链接信息构造的图的半监督分类器和一个基于文本特征的Bayes 分类器.基于图的半监督分类器只利用少量的标记数据,通过挖掘数据间大量的关系信息就可达到比较高的预测精度,可为Bayes分类器提供大量的标记信息;反过来学习大量标记信息后的Bayes分类器也可为基于图的分类器提供有效信息.迭代过程中,二者互相帮助,不断提高各自的性能,而后Bayes分类器可以用来预测大量未见数据的类别.在Web→KB数据集上的实验结果表明,与利用文本特征和锚文本特征的Co-training算法和基于EM的Bayes算法相比,GCo-training算法性能优越.     

基于半监督协同训练的无人机对地目标跟踪

由于目标小、可区分性差,无人机对地目标跟踪较传统视频目标跟踪更容易丢失目标,提出一种基于l1图半监督协同训练的目标跟踪算法。算法首先提取样本的颜色和纹理特征构建两个充分冗余的视图,再以基于l1图的半监督学习算法取代传统协同训练中的监督学习方法构建单视图中的分类器,提高有限标记样本条件下的分类正确率,然后通过基于负类学习的协同训练算法协同更新两个视图的分类器,最后根据不同视图的相似度分布熵融合各分类器的分类结果实现目标跟踪。实验结果表明,该算法能够有效提高分类器的判别能力,具有良好的跟踪性能。     

Support vector machine active learning by Hessian regularization

It is time-consuming and expensive to gather and label the growing multimedia data that is easily accessible with the prodigious development of Internet technology and digital sensors. Hence, it is essential to develop a technique that can efficiently be utilized for the large-scale multimedia data especially when labeled data is rare. Active learning is showing to be one useful approach that greedily chooses queries from unlabeled data to be labeled for further learning and then minimizes the estimated expected learning error. However, most active learning methods only take into account the labeled data in the training of the classifier. In this paper, we introduce a semi-supervised algorithm to learn the classifier and then perform active learning scheme on top of the semi-supervised scheme. Particularly, we employ Hessian regularization into support vector machine to boost the classifier. Hessian regularization exploits the potential geometry structure of data space (including labeled and unlabeled data) and then significantly leverages the performance in each round. To evaluate the proposed algorithm, we carefully conduct extensive experiments including image segmentation and human activity recognition on popular datasets respectively. The experimental results demonstrate that our method can achieve a better performance than the traditional active learning methods.