网络流量异常检测中分类器的提取与训练方法研究

随着网络安全领域研究的不断深入,研究者提出了各种类型的流量异常检测方法,基于分类的方法是其中很重要的一类.但是因为网络环境的多样性和动态变化性,在训练数据集上具有很高精度的检测系统实际部署时可能出现大量的误报.文中针对训练模型难于获取以及部署环境的动态变化性问题,对分类器的选择、使用和训练方法进行了研究.首先把网络流量数据投影到不同维度的Hash直方图上构建检测向量,在检测向量的基础上对比了各类分类器,选用能够处理高维数据、泛化能力强的SVDD进行异常检测;采用增减式在线训练算法对分类器进行不断训练,提高异常检测系统的精度并减少训练成本;最后采用多步关联检测算法优化检测精度,并在新增样本中剔除明显的异常样本,减少训练成本提高分类精度.通过大量的真实网络流量数据验证了上述方法具有较高的检准率和较低的误报率,并能够有效减少训练成本.     

基于支持向量数据描述的异常检测方法

提出了一种基于支持向量数据描述算法的异常检测方法。该方法将入侵检测看作是一种单值分类问题,建立正常行为的支持向量描述模型,通过该模型可以检测各种已知和未知的攻击行为。该方法是一种无监督的异常检测方法,能够在包含噪声的数据集进行模型训练,降低了训练集的要求。在KDD CUP99标准入侵检测数据集上进行实验,并与无监督聚类异常检测实验结果相比较,证实该方法能够获得较高检测率和较低误警率。     

局部投影可分离的高光谱图像异常检测

针对高光谱异常检测中临近异常像素相互干扰和背景地物复杂的问题,提出基于局部投影可分离的高光谱图像异常检测算法.在归一化的数据中,将待测像素光谱作为参考光谱,构造目标子空间,然后把邻域背景像素投影到该子空间,用投影后向量模值构造异常度计算式.最后将检测到的异常与全局主要背景地物进行比对,肖除部分虚警.利用HyMap高光谱数据进行仿真实验结果表明,本文算法具有克服背景复杂性和干扰点的影响,尤其对异类干扰点的抑制效果更佳.     

基于局部投影和提升小波的混沌信号降噪

根据信号和噪声的不同特性,提出了一种基于局部投影和提升小波的混沌信号降噪方法。该方法利用提升小波变换得到实际混沌信号的近似系数,对其进行相空间重构,与实际混沌信号的重构相空间进行比较,来选取局部投影的邻域,在局部邻域内进行奇异谱分析,利用代表吸引子的主分量来重构混沌信号。通过对Lorenz模型和月太阳黑子进行仿真分析,证实了提出方法对混沌信号降噪的有效性。     

基于支持向量数据描述的系统调用轨迹异常检测

通过监控主机系统调用的执行,可以在很大程度上发现入侵行为。建立支持向量数据描述(SVDD)的异常检测模型,通过对正常状态应用程序系统调用轨迹进行训练,使偏离正常模式的活动都被认为是潜在的入侵。通过对IE进程系统调用轨迹的优化处理,只利用少量的训练样本,试验获得了对异常样本99%的检测率,而虚警率不到1%。     

局部分块的一类支持向量数据描述

针对支持向量数据描述(SVDD)不能鉴别数据局部几何结构信息问题,提出了一种新颖的异常数据检测方法,称为局部分块的一类支持向量数据描述(OCSVDD_LP)。首先对数据进行局部分块,然后利用局部分块进行样本重构,最后采用SVDD对重构样本进行学习进而获得决策模型。人造数据集实验结果表明OCSVDD_LP能够捕捉数据的全局几何结构,也具备揭示数据局部几何结构信息的能力;真实数据集实验结果表明OCSVDD_LP在异常检测中具有较好的性能优势。     

结合全局与局部视频表示的视频异常检测算法

针对视频异常行为检测问题,提出结合全局与局部视频表示的视频异常检测算法.首先将输入视频连续多帧划分为视频块.再按空间位置将视频块划分为互不重叠的时空立方体,利用时空立方体运动特征构建基于空间位置的全局时空网格位置支持向量数据描述模型(SVDD).然后针对视频运动目标,提取局部纹理运动特征,采用SVDD获得围绕目标特征的超球体边界,构建运动目标正常行为模型.最后组合两部分以实现更全面的检测.公共数据集上的实验验证文中算法的有效性.     

SVM在网络流量异常检测中的应用研究

传统的异常入侵检测算法存在误报、漏报率高等问题。为此,将支持向量机应用于网络流量异常检测,提出一种基于支持向量机的网络流量异常检测模型。实验证明,该模型具有较高的检测率,对未知攻击的检测精度也很高,说明了采用支持向量机技术进行入侵检测的有效性。     

大差异网络异常数据特征检测算法的仿真分析

网络异常与普通的攻击特征不同,没有明显的行为特征.尤其是大差异样本数据集中,异常数据属性直接差异很大,很难形成统一的约束规范,传统的检测算法都是假设攻击行为特征提取的基础上,对上述异常行为很难进行判断,会出现判断多中心现象,造成误警率高,提出了一种大差异数据集的网络异常检测算法.针对大差异、高维度数据属性,运用主成分分析方法,对网络操作数据进行降维处理,引入一种差异行为判断的策略,对网络操作数据大差异特征进行分类处理,降低数据之间的差异性,从而保证差异行为能够被有效的分类约束描述.实验结果表明,利用改进算法能够有效提高网络中大差异异常数据检测的准确性.     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.     

基于层叠模型的网络流量异常检测方法*

进行网络流量异常检测,需要对正常流量行为建立准确的模型,根据异常流量与正常模型间的偏离程度作出判断。针对现有网络流量模型中自相似模型与多分形模型无法全面刻画流量特征的不足,提出了一种基于流量层叠模型分析的异常检测算法,采用层叠模型对整个时间尺度上的流量特征进行更准确的描述,并运用小波变换对流量的层叠模型进行估计,分析异常流量对模型估计的影响,提出统计累计偏离量进行异常流量检测的方法。仿真结果表明,该方法能够有效检测出基于自相似Hurst系数方法不能检测的弱异常以及未明显影响Hurst系数变化的异常流。     

基于各向异性质心Voronoi图的网络异常检测技术

网络异常检测技术是入侵检测研究领域中的重要内容,但在检测率和误报率上存在相互制约的问题,导致实际应用中性能不高。基于各向异性质心Voronoi图,提出一种新的网络异常检测算法。在新算法中,首先对数据集用各向异性质心Voronoi图进行聚类,然后计算每个数据点的点密度,判断数据点是否正常。通过KDD Cup1999数据集的实验测试表明,新算法具有较高的检测率和较低的误报率。     

Statistical and signal‐based network traffic recognition for anomaly detection

In this paper, a framework for recognizing network traffic in order to detect anomalies is proposed. We propose to combine and correlate parameters from different layers in order to detect 0‐day attacks and reduce false positives. Moreover, we propose to combine statistical and signal‐based features. The major contribution of this paper is novel framework for network security based on the correlation approach as well as new signal‐based algorithm for intrusion detection on the basis of the Matching Pursuit (MP) algorithm. As to our best knowledge, we are the first to use MP for intrusion and anomaly detection in computer networks. In the presented experiments, we proved that our solution gives better results than intrusion detection based on discrete wavelet transform.     

基于异常与误用的入侵检测系统

入侵检测系统近年来得到长足的发展,但功能都不够完善.为此将基于误用的入侵检测与基于异常的检测结合为一体.在误用检测上,将检测规则进行分类排序,从而极大地提高了检测效率.异常检测则采用人工免疫技术,使系统对已知的攻击和新型攻击均有较强检测能力.     

基于KQPSO聚类算法的网络异常检测

提出一种基于KQPSO聚类算法的网络异常检测模型.该模型利用K-Means聚类算法的结果重新初始化粒子群,聚类过程都是根据数据间的Euclidean（欧几里德）距离。再通过量子粒子群优化算法（QPSO）寻找聚类中心。最后进行仿真模拟,实验结果表明,该模型对网络异常检测是有效的。     

基于QPSO优化投影寻踪的网络入侵检测方法

为了提高入侵检测系统的检测率,降低误报率,提出应用QPSO搜索投影寻踪最优投影方向的入侵检测算法,并利用投影寻踪和聚类相结合的思想将网络检测数据的多特征属性投影到低维进行聚类识别判定。对训练样本中的数据进行预处理并且归一化,获取最优投影方向,让样本数据投影到低维空间,对检测数据进行聚类判定。实验结果表明,该方法能很有效地提高入侵检测性能。     

基于Isolation Forest的并行化异常探测设计

异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,Isolation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Hadoop分布式存储系统和MapReduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。