大规模网络流量数据异常快速检测研究

在大规模网络流量环境下,由于传统的网络流量数据异常检测方法对于异常特征的识别效果不佳,影响了网络流量异常数据检测的准确率,研究一种新的大规模网络流量数据异常快速检测方法。通过设定采集时间间隔,实时记录数据并存储在数据库中,便于数据读取,实现大规模网络流量数据采集。根据数据采集结果,提取网络流量异常特征,计算异常特征序列信息熵,去除网络流量数据的冗余特征。根据特征提取结果建立网络流量数据异常快速检测模型,判断网络流量中是否存在异常数据,实现大规模网络流量数据异常快速检测。在实验过程中将该文方法与传统方法 1和传统方法 2进行对比,该方法在不同数据个数情况下的检测准确率均在90%以上,在不同流量异常数据类别条件下的漏检率最低,且运行耗时短,证明该方法可以精准检测大规模网络流量数据异常。     

基于数学建模的无线通信网络异常流量检测方法

由于传统方法在无线通信网络异常流量检测应用中平均绝对百分比误差比较大,响应时间比较长,无法取得预期的异常流量检测效果,提出基于数学建模的无线通信网络异常流量检测方法。建立无线通信网络流量数学模型,描述网络流量状态,利用数学模型完成网络流量与参考流量对比,利用相像系数法提取到网络流量显性特征,利用小波分析技术提取到网络流量隐性特征,通过特征融合,并将特征值与阈值比较,识别检测到异常流量,以此完成基于数学建模的无线通信网络异常流量检测。经实验证明,设计方法平均绝对百分比误差小于1%,响应时间在2.5s以内,在无线通信网络异常流量检测方面具有良好的应用前景。     

融合生成式神经网络和深度神经网络的流量异常检测

针对网络攻击隐蔽性和动态多变的特征,提出一种融合生成式神经网络和深度神经网络的流量异常检测方法,该方法针对网络流量数据不平衡问题,采用生成式神经网络实现样本库的扩充,在此基础上,采用Dense Net实现网络流量多层次特征的提取,该方法通过加强不同层次特征的传递,实现不同层次特征的融合,为网络流量异常识别提供基础。实验表明,本文提出的方法在准确率、召回率、漏检率以及平均处理时间均优于单纯使用CNN或LSTM的方法,因此,本文方法能够有效检测网络异常流量,具有一定的可用性。     

基于大数据挖掘的网络流量异常检测算法

当前检测网络中存在的异常流量是防止异常流量攻击网络的有效策略之一。本文首先建立了网络流量稳态模型,挖掘并剔除了了网络流量中存在的坏数据。然后通过S变换及其逆变换重构网络流量数据,提高了检测精度。最后,提取网络流量特征,在此基础上完成了网络流量异常检测。实验结果表明,所提方法可适用于不同类型网络流量的异常检测,具有良好的检测性能。     

流量异常检测研究与最新进展

网络攻击、网络故障、网络病毒等常常引起网络流量异常,并给网络系统带来极大损失,甚至带来致命危害.如何检测和消除网络流量异常,是网络流量工程面临的重要问题.流量异常检测作为现有网络安全的热点研究领域,已引起研究人员的广泛关注.文中分析了流量异常检测的研究现状,讨论了流量异常检测研究的主要技术难题和最新进展,并提出了新的发展方向.     

一种互联网宏观流量异常检测方法

网络流量异常指网络中流量不规则地显著变化。网络短暂拥塞、分布式拒绝服务攻击、大范围扫描等本地事件或者网络路由异常等全局事件都能够引起网络的异常。网络异常的检测和分析对于网络安全应急响应部门非常重要,但是宏观流量异常检测需要从大量高维的富含噪声的数据中提取和解释异常模式,因此变得很困难。文章提出一种分析网络异常的通用方法,该方法运用主成分分析手段将高维空间划分为对应正常和异常网络行为的子空间,并将流量向量影射在正常子空间中,使用基于距离的度量来检测宏观网络流量异常事件。     

基于网络流量的实时入侵检测

实时异常检测是目前网络安全的研究热点,基于大规模网络流量的统计特征,提出了一个基于统计的流量异常检测模型。根据网络流量的测度集,描绘了一个正常网络流量的基线。参照该正常流量基线,使用假设检验理论进行异常检测。采用一个基于滑动窗口的流量更新策略和感应阈控制模型,使异常检测能够更加高效。     

一种基于相似度的DDoS攻击检测方法

在分析了网络流量构成的基础上,提出了基于相似度的DDoS检测方法。这种方法不是简单的根据流量的突变来检测网络状况,而是从分析攻击对流量分布的影响着手。首先对网络流量进行高频统计,然后对其相邻时刻进行相似度分析,根据相似度的变化来发现异常。从大量的实验结果可以看出基于相似度的检测方法能够比较有效的发现大流量背景下,攻击流量并没有引起整个网络流量显著变化的DDoS攻击,因此更适合大规模网络的异常检测。     

对等网络流量信息结构异常的检测技术研究

随着信息技术的发展,对等网络P2P信息流量经常出现偏离正常范围的异常情况,这里以决策树算法为基础,对P2P流量检测和流量异常时的检测技术进行研究。采用改进的C4.5决策树P2P流量检测模型,通过P2P流量异常检测模型对大量训练数据集的训练,实现了对错误的逐步修正,通过试验室仿真试验可知,经过选择网络流量特征后,基于改进的C4.5决策树的P2P网络流量分类器能实现较好的分类效果,分类检测率在94.6%~96.7%,较高的检测率说明采用改进的C4.5决策树算法能有效地对P2P流量进行检测,为研究P2P流量异常检测技术提供了参考。     

基于深度特征学习的网络流量异常检测方法

针对网络流量异常检测过程中提取的流量特征准确性低、鲁棒性差导致流量攻击检测率低、误报率高等问题,该文结合堆叠降噪自编码器(SDA)和softmax,提出一种基于深度特征学习的网络流量异常检测方法。首先基于粒子群优化算法设计SDA结构两阶段寻优算法：根据流量检测准确率依次对隐藏层层数及每层节点数进行寻优,确定搜索空间中的最优SDA结构,从而提高SDA提取特征的准确性。然后采用小批量梯度下降算法对优化的SDA进行训练,通过最小化含噪数据重构向量与原始输入向量间的差异,提取具有较强鲁棒性的流量特征。最后基于提取的流量特征对softmax进行训练构建异常检测分类器,从而实现对流量攻击的高性能检测。实验结果表明：该文所提方法可根据实验数据及其分类任务动态调整SDA结构,提取的流量特征具有更高的准确性和鲁棒性,流量攻击检测率高、误报率低。

     

分布式隐蔽流量异常的多尺度空间检测

分布式异常流量（如DDoS等）分布式地存在于网络多条链路中,且单条链路的流量异常特征不明显,检测具有很大的难度。丈中提出一种分布式隐蔽异常流量的多尺度空间检测方法,可在网络中的骨干结点上进行早期检测,该方法对骨干网络结点上直接可得的多条链路流量分别进行多尺度小波包分析,找到不同时段下的异常频段,获取该时段下的多个异常重构信号,再从空间上通过核密度估计评估这些信号构成的高维空间点在该时段下的异常程度,作为检测依据。美国教育骨干网实际流量数据和合成的分布式异常流量检测结果表明：文中方法能取得比现有方法更好的检测结果。     

基于大数据技术的网络流量分析与异常检测

文中基于大数据技术，研究了基于支持向量机的网络流量分析与异常检测方法。首先，对网络流量数据进行预处理，如清洗、集成和转换等，以获取适合支持向量机分析的特征向量表示。然后，应用支持向量机分析技术对网络流量进行异常检测，通过构建超平面实现对正常样本和异常样本的分类。最后，利用NSL-KDD数据集进行实验验证，并评估该方法在网络流量异常检测中的性能。实验结果表明，基于支持向量机的网络流量异常检测方法在NSL-KDD数据集上取得了较好的准确率、召回率和精确率。     

基于时间分段的贝叶斯网络异常检测方法

论文提出一种将时间分段函数与贝叶斯统计模型相结合的方法来进行网络异常检测,该方法通过使用加入时间函数的贝叶斯统计模型来发现和判定网络中的异常,利用贝叶斯理论在解决不确定问题方面的优点与网络环境中流量随时间变化的函数相结合,来发现大量事件之间的联系,对系统行为进行分类,建立起异常入侵检测模型,通过这个模型能够分析判断网络异常行为的发生。通过将该方法加入到西安交大捷普的入侵检测系统中可以发现,该方法能有效提高检测网络异常的检测率。     

基于二次特征提取和BiLSTM-Attention的网络流量异常检测方法

针对传统的网络流量异常检测方法存在识别准确度低、表征能力弱、泛化能力差,忽略了特征之间的相互关系等问题,该文提出一种基于二次特征提取和BiLSTM-Attention的网络流量异常检测方法。通过使用双向长短期记忆网络(BiLSTM)学习数据之间的特征关系,完成数据的一次特征提取,在此基础上,定义一种基于注意力机制的特征重要性权重评估规则,依据特征重要性大小对BiLSTM生成的特征向量给予相应的权重,完成数据的二次特征提取。最后,提出一种“先总分后细分”的设计思想构建网络流量异常检测模型,实现多分类网络流量的异常检测。实验结果表明,该文所提方法在性能上要优于传统单一的模型,并且具有良好的表征能力和泛化能力。     

基于神经网络的异常检测

本文针对流量异常,提出了一种使用神经网络的检测方法。在仔细分析网络流量异常的基础上,提取流量特征数据,经预处理后供优化的BP神经网络分析,可准确检测出流量异常。测试结果表明,该模型对流量异常的检测有较高的准确性。     

基于AR模型的网络异常检测

在网络流量管理中流量异常的一般检测方法是阈值监控，文章提出一种新的异常检测方法，选取适当的SNMP管理信息库变量，建立对相关变量的局部AR（自回归）模型，检测并分析一种服务器故障引起的流量异常，获得该故障的特征向量模型；该检测方法比阈值方法有更强的检测功能，并与传统GLR测试方法进行对比。     

基于条件规则库的流量异常检测系统设计

流量异常检测,作为一种网络入侵检测的方法,存在着如何建立正常行为模型的难题。提出了扩大属性检测的范围,采用异常值计算,并由此建立条件规则库作为正常模型的想法,在此基础上用不精确推理方法进行流量异常检测,最后给出了综合系统的设计。     

An adaptive KPCA approach for detecting LDoS attack

Low‐rate denial‐of‐service (LDoS) attack sends out attack packets at low‐average rate of traffic flow in short time. It is stealthier than traditional DoS attack, which makes detection of LDoS extremely difficult. In this paper, an adaptive kernel principal component analysis method is proposed for LDoS attack detection. The network traffic flow is extracted through wavelet multi‐scale analysis. An adaptive kernel principal component analysis method is adopted to detect LDoS attack through the squared prediction error statistics. Key parameters such as the parameter of the radial basis function, the number of principal components, and the squared prediction error confidence limit are adaptively trained with training data and updated with the network environment. Simulation is accomplished in NS‐2 environment, and results prove the favorable LDoS attack detection efficiency by the proposed approach. Copyright © 2015 John Wiley & Sons, Ltd.