自适应AP聚类算法及其在入侵检测中的应用

网络数据流量的增大对入侵检测系统的实时性提出了更高的要求,压缩训练数据可加快未知样本的分类处理速度。针对数据量过大造成压缩处理和聚类效率低下的难题,提出了一种改进的自适应AP（affinity propagation）聚类方法,采取直接关联与簇中心距离较近样本的方法,减少聚类样本数量,降低聚类时空消耗,并依据关联结果,不断调整聚类参数,精确聚类结果。2个网络安全数据集的应用结果表明,该方法可从大规模样本中有效聚出代表性子集,在保证准确率的前提下,提高入侵检测的实效性。     

基于KNN的Deep Web数据源分类研究

针对Deep Web的查询需求,文章提出了改进的对Deep Web数据源的分类方法:在对数据源进行分类时,采用了KNN分类算法来进行。由于KNN分类算法的K值选的过大或者过小都会对分类结果产生影响,因此提出了对K值进行优化的改进的KNN算法。文章利用k-means聚类算法来进行聚类,分别计算取得每个类别的k个距离相近的数据并计算这k个数据到聚类中心的距离,把这个距离的倒数作为该数据点对分类结果的贡献值。对训练集进行聚类后返回聚类中心,根据聚类中心计算权重,从而进一步来计算每个类别中k个最近邻贡献值之和S,选取S最大的类别作为测试数据的类别来进行分类,从而可达到比较好的分类效果。     

基于模糊C均值的数据流入侵检测算法

针对数据在性态和类属方面存在不确定性的特点,提出一种基于模糊C均值聚类的数据流入侵检测算法,该算法首先利用增量聚类得到网络数据的概要信息和类数,然后利用模糊C均值聚类算法对获取的数据特征进行聚类。实验结果表明该算法可以有效检测数据流入侵。     

基于无监督聚类的入侵检测方法

研究了基于无监督聚类的入侵检测算法.算法的基本思想是首先通过比较无类标训练集样本间的距离来生成聚类,并根据正常类比例N来确定异常数据类别,然后再用于真实数据的检测.该方法的优点在于不需要用人工的或其他的方法来对训练集进行分类.实验采用了KDD99的测试数据,结果表明,该方法能够比较有效的检测真实网络数据中的未知入侵行为.     

一种基于仿射传播聚类的入侵检测方法

针对基于无监督聚类的入侵检测需要预先指定初始聚类中心和数目的问题,提出了一种基于仿射传播聚类的入侵检测方法,采用了仿射传播聚类实现入侵检测,将每个数据点都看作潜在的聚类中心,通过信息迭代更新自动决定最后的聚类中心和数目,能够获得准确的聚类结果。在对KDD CUP99数据集的仿真实验中验证了方法的可行性,实验结果表明,相比传统方法能有效提高检测率。     

一种改进的聚类方法在异常检测中的应用

入侵检测系统是一种积极主动的安全防护技术,它是信息安全保护体系结构中的一个重要组成部分.异常检测是入侵检测的一种方法,因其能够检测出未知的攻击而受到广泛的研究.以基于数据挖掘的异常检测技术为研究内容,以提高异常检测的检测率、降低误报率为目标,以聚类分析为主线,提出了一种改进的聚类检测算法和模型,并进行仿真实验.算法首先去除了数据集中明显的噪声和孤立点,通过分裂聚类、合并聚类以及利用超球体的密度半径确定k个初始聚类中心,以减小初始k值的选取对聚类结果造成的影响,提高异常检测效率,并以此构造入侵检测模型.利用KDD CUP 1999数据集对模型进行实验测试,并对改进算法的效果进行了对比和分析.实验证明,新的检测系统具有良好的性能.     

基于聚类的Adhoc网络入侵检测研究

由于Adhoc网络的独特网络特性,其安全性特别脆弱。在分析了Adhoc网络安全性的基础上,提出了一种聚类算法和人工免疫系统相结合来进行入侵检测的方法。该算法是一种无监督异常检测算法,它具有可扩展性、对输入数据集的顺序不敏感等特性,有处理不同类型数据和噪声数据的能力。实验表明,该算法可以改进Adhoc网络入侵检测的检测率和误检率。     

基于模糊聚类的Linux网络动态入侵检测

提出基于模糊聚类的Linux系统异常入侵检测方式,通过对网络动态信息进行分类检测,能够降低入侵检测的漏检率,动态检测出网络数据入侵程序,避免了传统方式的缺陷.实验证明,利用基于模糊聚类的入侵检测方式能够快速、准确的检测出入侵程序,保证Linux系统安全.     

K-最近邻分类技术的改进算法

该文提出了一种改进的K-最近邻分类算法。该算法首先将训练事例集中的每一类样本进行聚类,既减小了训练事例集的数据量,又去除了孤立点,大大提高了算法的快速性和预测精度,从而使该算法适用于海量数据集的情况。同时,在算法中根据每个属性对分类贡献的大小,采用神经网络计算其权重,将这些属性权重用在最近邻计算中,从而提高了算法的分类精度。在几个标准数据库和实际数据库上的实验结果表明,该算法适合于对复杂而数据量比较大的数据库进行分类。     

基于决策树算法的网络入侵检测系统设计与评估

实时网络数据包含大量冗余术语和噪声，而现有入侵检测技术准确度较低，特征提取能力不足。针对NSL-KDD数据集，提出了一种基于决策树的网络入侵检测系统。采用相关特征选择子集评价方法进行特征选择并减小维数，消除冗余数据，提高资源利用率并降低时间复杂度，通过特征选择可提高入侵检测方法预测性能。在特征选择之前和特征选择之后，对五类分类和二类分类进行性能评估。结果表明，该系统具有较高检出率和精度，数据集二类分类总体结果高于五类分类，可为网络安全检测工作提供借鉴。     

基于小样本标记实例的数据流集成入侵检测模型

基于监督学习的异常入侵检测算法通常面临着训练样本不足的问题,同时,对整个历史数据集进行等同学习,没有充分考虑到网络数据模式随时间变化的特点.本文提出了一种基于小样本标记实例的数据流集成入侵检测模型,对小样本的标记数据集进行扩展,解决了训练样本不足的问题,并能够充分适应网络数据模式随时间变化的特点.实验结果表明,在小样本标记实例情况下,算法的检测性能明显优于基于所有历史数据进行入侵检测的结果.     

An incremental intrusion detection system using a new semi‐supervised stream classification method

In recent years, the utilization of machine learning and data mining techniques for intrusion detection has received great attention by both security research communities and intrusion detection system (IDS) developers. In intrusion detection, the most important constraints are the imbalanced class distribution, the scarcity of the labeled data, and the massive amounts of network flows. Moreover, because of the dynamic nature of the network flows, applying static learned models degrades the detection performance significantly over time. In this article, we propose a new semi‐supervised stream classification method for intrusion detection, which is capable of incremental updating using limited labeled data. The proposed method, called the incremental semi‐supervised flow network‐based IDS (ISF‐NIDS), relies on an incremental mixed‐data clustering, a new supervised cluster adjustment method, and an instance‐based learning. The ISF‐NIDS operates in real time and learns new intrusions quickly using limited storage and processing power. The experimental results on the KDD99, Moore, and Sperotto benchmark datasets indicate the superiority of the proposed method compared with the existing state‐of‐the‐art incremental IDSs.     

主动学习半监督聚类入侵检测算法

针对聚类的入侵检测算法误报率高的问题,提出一种主动学习半监督聚类入侵检测算法.在半监督聚类过程中应用主动学习策略,主动查询网络中未标记数据与标记数据的约束关系,利用少量的标记数据生成正确的样本模型来指导大量的未标记数据聚类,对聚类后仍未能标记的数据采用改进的K-近邻法进一步确定未标记数据的类型,实现对新攻击类型的检测.实验结果表明了算法的可行性及有效性.     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

改进k-means算法的网络数据库入侵检测

提出改进的k-means算法,加入过滤优化功能,通过簇候选集合中攻击簇的数目优化,删除掉非最优聚类数据集合中的攻击数据,生产最优簇,提高后期网络数据库入侵检测的时效性,降低漏检率.实验结果表明,本文的方法能够优化聚类后生成攻击簇的数目的数目,为网络数据量入侵检测提供便利,提高了检测的准确性,降低了漏检率.     

Semi-supervised multi-layered clustering model for intrusion detection

A Machine Learning (ML)-based Intrusion Detection and Prevention System (IDPS) requires a large amount of labeled up-to-date training data to effectively detect intrusions and generalize well to novel attacks. However, the labeling of data is costly and becomes infeasible when dealing with big data, such as those generated by Internet of Things applications. To this effect, building an ML model that learns from non-labeled or partially labeled data is of critical importance. This paper proposes a Semi-supervised Multi-Layered Clustering ((SMLC)) model for the detection and prevention of network intrusion. SMLC has the capability to learn from partially labeled data while achieving a detection performance comparable to that of supervised ML-based IDPS. The performance of SMLC is compared with that of a well-known semi-supervised model (tri-training) and of supervised ensemble ML models, namely RandomForest, Bagging, and AdaboostM1 on two benchmark network-intrusion datasets, NSL and Kyoto 2006+. Experimental results show that SMLC is superior to tri-training, providing a comparable detection accuracy with 20% less labeled instances of training data. Furthermore, our results demonstrate that our scheme has a detection accuracy comparable to that of the supervised ensemble models.     

基于图注意力网络的半监督SAR舰船目标检测

基于深度学习的合成孔径雷达(SAR)舰船目标检测近年得到了快速发展。然而,传统有监督学习需要大量的标记样本来训练网络。针对此问题,该文提出一种基于图注意力网络(GAT)的半监督SAR舰船目标检测方法。首先,设计了对称卷积神经网络用于海陆分割。随后,完成超像素分割并将超像素块建模为GAT的节点,利用感兴趣区域池化层提取节点的多尺度特征。GAT采用注意力机制自适应地汇聚邻接节点特征实现对无标记节点的分类。最后,将预测为舰船目标的超像素块定位到SAR图像中并获得精细检测结果。在实测高分辨SAR图像数据集上验证了所提方法。结果表明该方法可以在少量标记样本下,以低虚警率实现对舰船目标的可靠检测。     

Network Intrusion Detection Using a Stochastic Resonance CFAR Technique

A novel constant false alarm rate (CFAR) intrusion detection method based on stochastic resonance (SR) is proposed in this paper. Using the SR technique improves the spectral power (SP) and the signal-to-noise ratio (SNR) of the network intrusion signal, hence enhancing the detectability of network attacks. The threshold and the detection probability of the proposed SR-CFAR method are derived theoretically. Computer simulations based on standard Defense Advanced Research Projects Agency (DARPA) network intrusion data show that this CFAR method outperforms the linear anomaly intrusion detection methods for various types of intrusions.     

基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法

针对宫颈细胞病理自动筛查问题,提出一种基于深度卷积神经网络的智能辅助诊断方法。首先采用基于改进UNet深度卷积神经网络模型的语义分割方法,检测出宫颈细胞病理涂片扫描图像中的细胞(粘连簇团)区域。接着,利用VGG 16深度卷积神经网络模型,结合迁移学习技术,对检测出的细胞(粘连簇团)区域进行精确识别。为了提高深度卷积神经网络模型的性能,在进行细胞(粘连簇团)区域检测、识别的过程中,采用了数据增强技术。同时,针对该领域相关研究缺乏宫颈细胞病理液基涂片扫描图像数据集的问题,我们收集四川大学华西附二院的典型LCT筛查病例,建立了宫颈细胞病理图像HXLCT数据集,并由资深病理医生完成数据标注。实验表明,本文方法能够较好地完成宫颈细胞病理涂片扫描图像中的细胞(粘连簇团)区域检测(正确率为91.33%),并能对检测出的区域完成正常、疑似病变二分类识别(正确率为91.6%,召回率为92.3%,ROC曲线线下面积为0.914)。本文工作将有助于宫颈细胞病理自动筛查系统的开发,对于宫颈癌早期防治具有重要意义。     

Weakly supervised learning based on hypergraph manifold ranking

Significant challenges still remain despite the impressive recent advances in machine learning techniques, particularly in multimedia data understanding. One of the main challenges in real-world scenarios is the nature and relation between training and test datasets. Very often, only small sets of coarse-grained labeled data are available to train models, which are expected to be applied on large datasets and fine-grained tasks. Weakly supervised learning approaches handle such constraints by maximizing useful training information in labeled and unlabeled data. In this research direction, we propose a weakly supervised approach that analyzes the dataset manifold to expand the available labeled set. A hypergraph manifold ranking algorithm is exploited to represent the contextual similarity information encoded in the unlabeled data and identify strong similarity relations, which are taken as a path to label expansion. The expanded labeled set is subsequently exploited for a more comprehensive and accurate training process. The proposed model was evaluated jointly with supervised and semi-supervised classifiers, including Graph Convolutional Networks. The experimental results on image and video datasets demonstrate significant gains and accurate results for different classifiers in diverse scenarios.