基于机器学习的网络异常流量检测研究

异常流量检测需要在海量的数据流中检测出网络流量异常,传统的异常流量检测无法自学习和自演进,在复杂、多变的网络环境下面临巨大挑战。机器学习的方法在完成异常流量检测的同时,可以不断地对新的异常流量进行标记和学习,不断地完善异常流量检测系统,提高异常流量检测系统的准确度,并可对未知的异常进行预测与分类。文章对基于机器学习的网络异常流量检测进行分析和比较,包括监督学习、非监督学习、半监督学习下的异常流量检测,指出了基于机器学习的异常流量检测技术的未来发展方向。     

基于机器学习的物联网异常流量检测方法

随着物联网的广泛应用,物联网的安全问题受到越来越多的关注.针对物联网环境下异常网络流量问题,提出了基于机器学习的物联网异常流量检测方法.首先通过使用聚类算法分析物联网一段时间内网络数据的特征,然后使用连续假设检验算法对特征进行分类,并对恶意流量的空间分布进行二次特征分析.实验表明,相对于传统的异常流量检测方法,该检测方...     

基于多分类器集成的区块链网络层异常流量检测方法

为提升对区块链网络层混合型攻击流量的综合泛化特征感知能力,增强异常流量检测性能,提出一种具有支持异常数据综合判决机制和强泛化能力的基于多分类器集成的区块链网络层异常流量检测方法。首先,为扩大所用基分类器的输入特征子集差异度,提出基于区分度和冗余信息量特征子集选择算法,特征筛选过程中激励高区分度子集项输出,同时抑制冗余信息生成。其次,在Bagging集成算法中引入随机方差缩减梯度算法动态调整各基模型投票权重,提升对混合型攻击流量的检测泛化能力。最后,为了将集成算法输出的低维数值向量向高维空间映射,提出基于数据场概念的局部离群因子算法,并基于数据点间势差放大各样本数据点空间密度分布差异性,提升异常数据点检测召回率。实验结果表明,相较于单一分类检测器集成方法,所提方法的异常检测准确率、召回率分别平均提升1.57%、2.71%。     

基于机器学习的网络异常流量检测方法

研究一种基于机器学习的网络异常流量检测方法。使用改进型ANFIS算法作为建立的网络异常流量检测方法的核心算法。由于传统的神经网络算法使用的梯度下降算法在实际应用时,存在易陷入局部极小值,训练效率低下等问题,因此研究的改进型ANFIS算法使用附加动量算法修正模型参数,使系统能够越过误差曲面的局部最小值。最后使用KDD CUP99数据库以及LBNL实验室测试的数据对改进型ANFIS算法和BP神经网络算法的检测方法进行性能测试。结果表明,使用改进型ANFIS算法检测系统的训练效率以及检测准确率均优于使用BP神经网络算法建立的模型。     

基于数据挖掘的Web服务器攻击检测

随着Web技术的飞速发展,越来越多的单位使用Web方式为用户提供服务,黑客的矛头也逐渐转向了Web服务器。文中研究了如何使用数据挖掘的方法对Web服务器日志进行安全性分析,从而快速发现攻击,并针对Web服务器日志特有的格式,对现有的基于相似系数的异常点检测算法进行了改进,使其符合研究的要求,同时构建了两个安全性分析的数据挖掘模型。通过对现有Web日志记录的挖掘,验证了所述方法的可行性。     

基于Web日志的入侵检测系统实现

随着Internet不断发展,网络上的Web服务器安全状况愈发严峻,而web日志文件对于及早发现入侵痕迹从而及时修复网站漏洞有重要意义。本文分析了国内外一些流行的日志分析系统,分别介绍了IIS服务器与Apache服务器,并提出针对日志分析入侵检测的关键技术及解决思路,以B/S为架构搭建的Django框架,同时使用非关系数据库MongoDB数据库,大大提高了日志分析效率,最后分模块对整个系统进行设计,达成预期要求。     

基于集成Excel的个性化Web日志分析研究

日志记录了Web服务器接收处理请求以及运行时错误等各种原始信息,对日志进行统计、分析,能有效掌握服务器的运行状况,发现和排除错误原因,了解客户访问分布.在此,介绍了集成Excel技术的概况,并利用Office内置的编程语言VBA实现了对Excel的集成,利用应用程序实现了对Excel的操纵,实现了Web数据挖掘的个性化.     

基于集成学习的白流量检测过滤系统

目前主流的恶意流量检测方法是对所有流量都进行安全检测,耗时长,资源浪费大。为节省资源并提高流量检测效率,文章基于机器学习的白流量过滤算法开发了一套能快速辨别并过滤全流量中白流量的过滤系统。系统包括文件检测模块、算法模块和可视化模块三部分。实验证明,相较于传统算法,文章提出的算法能在保证安全性的前提下大大提高流量过滤的效率,节省大量资源。     

基于Web日志挖掘的门户流量分析系统规划与设计

有效的web日志数据挖掘,可为网站经营决策提供客观可信的数据支撑。为实现门户网站的精准运营、业务优化和流量提升,建立基于Web日志的门户流量分析系统。该系统包含基础流量分析、用户访问行为分析、辅助运营分析、多维流量分析等模块,具有数据采集、数据建模、数据查询、数据报表、数据备份等功能,可以从多个纬度掌握门户网站的数据流量。经黑龙江信息港的运行实践表明,该门户流量分析系统为网站运营管理者掌握用户属性、了解用户需求导向,提供了可信、有力的数据支撑,具有应用价值。     

基于模型研判的TLS恶意流量检测

为了解决加密流量中隐藏的网络安全攻击行为,提出了基于模型研判的安全传输层协议（Transport Layer Security,TLS）恶意流量检测技术。在网关设备对加密流量不进行解密的情况下,提取流量中的密钥协商和身份认证等明文信息,并结合网络安全专家经验和机器学习算法知识,通过数据处理、特征编码等技术手段,在不消耗大量资源的前提下,准确检测出加密流量中的恶意攻击事件,实现了对加密流量的智能化检测,可帮助企业保障通信安全。     

基于多尺度低秩模型的网络异常流量检测方法

现有刻画流量异常检测所需的流特征集通常是高维的,增加了检测和分类的复杂度。通过研究发现网络中异常通常是稀疏性分布的,单个异常仅仅表现在低维流特征中。基于这一现象提出了一种异常流量检测模型—多尺度低秩(MRLR,multi-resolution low rank)模型,该模型能够动态筛选出"合适的"特征集并准确分类异常。基于人工标记的实际网络流量异常和注入异常的数据集验证结果表明:MRLR对特征集的缩减率可达10%以下;并且基于MRLR的分类算法复杂度为O(n)。     

基于精细流量的网络异常行为检测研究

随着Internet的快速发展和网络应用范围的不断扩大,网络日益遭受到了黑客更多的恶意攻击,计算机网络的安全问题已成为一个国际化的问题。面对诸多的挑战与威胁,入侵的检测与防范技术必然成为当前安全审计中的核心技术之一。文章首先介绍了异常检测的发展概况和相关技术,对常用的检测算法进行了分析和评价,为基于网络精细协议流量分析的网络异常实时检测方法的研究提供理论基础。     

基于边缘计算的物联网异常流量检测模型

基于边缘计算的物联网异常流量检测技术的出现很好地弥补了传统物联网异常流量检测技术的高时延、高通信开销等问题,但现有的基于边缘计算的物联网异常流量检测存在检测率低、模型不够轻量化等问题.基于上述原因,提出了一种基于XGBoost-BLS的新的轻量级检测模型,模型位于更靠近数据源的边缘计算层,将极端梯度提升的强大特征选择能...     

基于局部异常因子的信息网络流量异常检测

网络流量异常问题是网络遭受攻击的一种表现,通常会引起网络丢包、网络延迟、甚至造成网路堵塞和瘫痪,严重威胁着网络性能和安全。因此,对于网络流量异常进行有效检测,对保障网络的正常运行具有重要意义。设计了一种基于局部异常因子的信息网络流量异常检测方案,在局部异常因子算法的基础上通过MVC模型,采用了SOA结构,通过计算最邻近点的K值,实现网络流量异常检测。在仿真实验中人为制造异常点,对比本文方法与传统方法的检测效果,结果表明设计的方案优于传统异常检测方法。     

基于CART决策树的异常流量检测系统

本文通过研究现有的异常流量检测技术,把先进的机器学习方法引入到异常检测系统中,对NSL-KDD数据集进行简单清洗并标准化后,使用基于CART决策树的递归特征消除算法对数据集进行特征选择并剔除最低标准差以及强相关度的特征得到不同攻击种类的特征子集,之后使用带网格追踪法确定的超参数的CART决策树对训练集数据进行训练.最后...     

基于PPBP流量检测模型的带宽规划研究

宽带接入情况下的链路带宽资源规划是网络部署实施过程中所面临的首要问题.为有效解决带宽规划问题,本文基于流量检测技术提出了具有一般意义的链路带宽规划方法,该方法采用了泊松帕雷托突发过程模型,能够通过有限时间尺度集解决带宽规划问题.通过统计本地缓存信息的方式,实现了链路带宽规划方法并验证了其有效性.从满足QoS的角度出发,给出了一种便于工程实施的最优网络部署方法.     

基于SVM的BGP异常流量检测

针对BGP异常检测领域中获得的数据具有多变性、小样本和高维性等特征,提出一种基于SVM的BGP异常流量检测方法。BGP数据实验结果表明,应用SVM算法进行BGP异常流量检测是可行的,有效的。     

基于柔性神经树的Internet流量早期识别模型

在互联网产生的早期阶段对其进行准确有效的识别,对于网络管理和网络安全来说都有着极其重要的意义。鉴于此,近年来越来越多的研究致力于仅仅基于流量早期的数个数据包,建立有效的机器学习模型对其进行识别。本文力图基于柔性神经树(FNT)构建有效的互联网流量早期识别模型。两个开放数据集和一个实验室采集的数据集用于实验研究,并将FNT与8种经典算法进行对比。实验结果表明,FNT在大多数情况下,其识别率和误报率指标优于其他算法,这说明FNT是一种有效的流量早期识别模型。     

基于自相似的异常流量检测模型

现行网络中存在诸多影响网络安全和服务性能的异常流量,异常流量的存在不仅影响用户的正常使用,而且会造成网络拥塞和网络瘫痪,甚至会篡改和破坏用户及服务器的数据,造成不可估量的损失。为及时发现这些流量,设计了一个基于自相似特性的异常流量检测模型。根据现行网络流量大速度快等特点,该模型设计分为简单流分类模块、自适应抽样模块、实时估计Hurst参数模块以及异常流量判断模块四部分。设计的此检测模型能够在很大程度上保证网络流量检测的准确性和高效性。     

基于MapReduce的PCA异常流量检测系统实现

PCA是一种在高维空间中检测网络异常流量的有效方法,它可以从全局角度对网络流量数据进行分析,检测网络中隐藏的异常。在面对运营商全网流量数据时,如何快速从海量的Netflow流量数据中生成统计矩阵供PCA检测分析,是PCA异常流量检测方法面临的最大困难之一。MapReduce是随着云计算兴起的一项分布式计算方法,它充分利用计算机集群的处理能力,能有效应对海量数据分析任务。本文提出了一种有效的机制,将MapReduce分布式计算方法应用在PCA异常流量检测中。结果表明,MapReduce方法极大地提高了PCA异常流量检测方法的处理性能,使得PCA异常流量检测能有效处理运营商全网数据。