模式识别算法在网络流量分类中的应用

随着互联网使用规模不断激增,网民用户不断增多,越来越多的网络应用被开发出来,网络的使用也因此延伸到各个领域.不论在何种应用情形下,管理员都需要监视网络运行状况以提高网络服务质量,并运用网络安全知识,预防网络攻击对所管网络的使用造成影响.而这一切都以网络流量应用层的分类技术为核心,可是在大数据时代背景下的网络应用不断多样化的今天,网络流量分类都面临着许多挑战.以往的以端口及载荷特征为依据的网络流量分类技术已经不再适用,研究新的网络流量分类方法、提高网络流量分类准确率具有重要的研究价值及现实意义.基于此背景,本文独创的将模式识别算法应用在网络流量分类领域中,并综合的比较了各种模式识别算法在不同情形下网络流量分类中的效率及准确性.最后,基于多次的实验结果并结合相关理论分析,验证了模式识别算法在网络流量应用层分类中的可行性,并在网络流量统计特征的选择及如何将模式识别算法有效应用于网络流量分类方面,给出重要结论.     

基于 Spark 的大规模网络流量准实时分类方法

大数据时代催生了互联网流量的指数级增长,为了有效地管控网络资源,提高网络安全性,需要对网络流量进行快速、准确的分类,这就对流量分类技术的实时性提出了更高的要求。目前,国内外的网络流量分类研究大多是在单机环境下进行的,计算资源有限,难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上,吸收当前最新的思想和技术,基于Spark 平台,有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib,提出一种大规模网络流量准实时分类方法。实验结果表明,该方法在保证高分类准确率的同时,也具有很好的实时分类能力,可以满足实际网络中流量分类任务的实时性需求。     

混合模式的网络流量分类方法

为了更好地满足用户对各类Internet业务服务质量越来越精细的要求,流量分类是网络管理的重要环节之一。通过分析、对比基于端口号匹配、特征字段分析和流统计特征的机器学习分类方法的应用现状及其优缺点,针对单一分类方法存在的分类准确度不高、分类时间长等问题,提出一种混合模式的网络流量分类方案。此方案结合端口号匹配和机器学习分类方法,采用输出结果可视化的自组织映射网络算法实现网络流量在应用层的分类。实验表明,该方案能有效地实现对网络流量应用类型的分类,分类结果可视化效果好。     

基于贝叶斯信念网的网络流量分类与识别研究

网络流量分类识别技术是许多网络研究和应用领域的基础,但随着动态端口、端口伪装和信息加密等技术的使用,传统的纯端口识别法已不再有效。提出一种基于贝叶斯信念网的网络流量分类方法,通过使用有向无环图和结点概率表,很好地解决了流属性之间条件独立的问题。对真实网络流量数据的测试结果表明,这种方法具有稳定可靠的分类识别效果。     

僵尸网络流量检测与控制追踪技术研究

借助僵尸网络进行的各种网络攻击对目前互联网的安全已构成严重威胁,对僵尸网络的检测、阻断和控制及僵尸网络控制者跟踪定位已成为当前网络安全研究的热点。文中首先对当前基于网络流量特征识别僵尸网络的方法进行了分类概括,其次对僵尸网络阻断和控制的主要技术进行了归纳整理,最后对当前僵尸网络控制者追踪定位的主要方法进行了梳理总结。现有研究表明,从网络流量角度对僵尸网络进行检测和追踪是非常有效的途经之一,但在准确性和效率方面有待提高。     

采用改进LM算法的网络流量分类方法

针对传统的流量分类方法准确率低、开销大、应用范围受限等问题,提出一种有效的网络流量分类方法（GA-LM）。该方法将基于神经网络的分类方法作为网络流量的分类模型,采用L-M算法构造分类器,并用遗传算法优化网络初始连接权值,加速了网络收敛过程,提高了分类性能。通过对收集到的实际网络流量数据进行分类,实验结果表明GA-LM比标准BP算法和L-M算法的收敛速度快,具有较好的可行性和高准确性,从而可有效地用于网络流量分类中。     

基于n-gram多特征的流量载荷类型分类方法

精确有效的网络流量分类技术对提高网络服务质量、优化网络带宽分配、加强网络安全管理以及网络相关研究具有重要意义。目前,网络流量分类技术主要按照应用类型或者协议类型对网络流量分类,不能够对未知流量和加密流量进行分析和识别。因此提出一种基于n-gram多特征的流量载荷类型分类方法来实现对网络数据包中传输内容的类型的识别,即将流量按照其载荷类型分为文本、音频、视频、图片、可执行文件、压缩加密七类。首先利用阈值筛选出高频连续子串集合,进而在该集合上提取多样化的特征来刻画连续子串的频数分布,最后基于C 4.5决策树对流量载荷类型进行准确分类。实验验证表明,在仅使用每条流1 KB数据的情况下,分类载荷类型的平均准确率和平均召回率分别达到了92.7%和91.9%,与基于熵值的分类方法相比,平均准确率和平均召回率分别提高近10.8%和12.1%。     

基于FPGA的网络流量计设计与实现

网络测量是研究网络行为和网络流量特性的有效方法.网络计费变得越来越重要,基于流量的网络计费将成为下一代网络计费的模式.文章探讨了网络流量计量的相关技术,阐述了流量计量的重要性,提出了网络流量计量的实现算法和基于FPGA的设计.     

网络流量分类算法比较研究

准确的网络流量分类既是众多网络研究工作的重要基础,也是网络测量领域的研究热点。基于流特征的六种分类算法进行比较分析,实验结果表明,使用特征选择方法,SVM算法具有较高的整体准确率和较好的计算性能,适合用于网络流量分类。     

使用贝叶斯学习算法分类网络流量

随着网络应用（如P2P）的快速增长,使得传统的基于端口与有效载荷的网络流量分类方法效率大大降低。基于FCBF特征选择方法选择最优特征子集,研究使用贝叶斯学习方法对网络流量进行分类;实验结果显示提出的方法取得了较好的分类准确率。     

Internet traffic clustering with side information

Internet traffic classification is a critical and essential functionality for network management and security systems. Due to the limitations of traditional port-based and payload-based classification approaches, the past several years have seen extensive research on utilizing machine learning techniques to classify Internet traffic based on packet and flow level characteristics. For the purpose of learning from unlabeled traffic data, some classic clustering methods have been applied in previous studies but the reported accuracy results are unsatisfactory. In this paper, we propose a semi-supervised approach for accurate Internet traffic clustering, which is motivated by the observation of widely existing partial equivalence relationships among Internet traffic flows. In particular, we formulate the problem using a Gaussian Mixture Model (GMM) with set-based equivalence constraint and propose a constrained Expectation Maximization (EM) algorithm for clustering. Experiments with real-world packet traces show that the proposed approach can significantly improve the quality of resultant traffic clusters.     

网络背景流量的分类与识别研究综述

互联网流量分类是识别网络应用和分类相应流量的过程,这被认为是现代网络管理和安全系统中最基本的功能。与应用相关的流量分类是网络安全的基础技术。传统的流量分类方法包括基于端口的预测方法和基于有效载荷的深度检测方法。在目前的网络环境下,传统的方法存在一些实际问题,如动态端口和加密应用,因此采用基于流量统计特征的机器学习（ML）技术来进行流量分类识别。机器学习可以利用提供的流量数据进行集中自动搜索,并描述有用的结构模式,这有助于智能地进行流量分类。起初使用朴素贝叶斯方法进行网络流量分类的识别和分类,对特定流量进行实验时,表现较好,准确度可达90%以上,但对点对点传输网络流量（P2P）等流量识别准确度仅能达到50%左右。然后有使用支持向量机（SVM）和神经网络（NN）等方法,神经网络方法使整体网络流量的分类准确度能达到80%以上。多项研究结果表明,对于多种机器学习方法的使用和后续的改进,很好地提高了流量分类的准确性。     

基于OpenFlow的未来互联网试验网

OpenFlow是为支持互联网创新研究而提出的基于流分类的新型网络试验技术,以OpenFlow为研究对象,在mininet测试平台下,利用Open vSwitch交换机搭建虚拟交换试验网络模型,并进行了简单测试,从而为未来互联网试验创新技术的分析和研究提供便利.     

Internet流分类方法的比较研究

Internet流分类是网络测量、流量监控中的一个重要环节.本文分析了几种典型的流分类方法：基于特定端口号、基于应用层特征字段和基于传输层的方法,其中第二种方法专门用于识别当前日益增多的对等网络应用流量.从准确性、完整性、实时性以及可扩展性等方面对这三种方法进行了比较,分别指出它们的优势和不足.最后提出了一种实用型流分类方案,并对流分类领域的发展提出了看法.     

Bayesian Neural Networks for Internet Traffic Classification

Internet traffic identification is an important tool for network management. It allows operators to better predict future traffic matrices and demands, security personnel to detect anomalous behavior, and researchers to develop more realistic traffic models. We present here a traffic classifier that can achieve a high accuracy across a range of application types without any source or destination host-address or port information. We use supervised machine learning based on a Bayesian trained neural network. Though our technique uses training data with categories derived from packet content, training and testing were done using features derived from packet streams consisting of one or more packet headers. By providing classification without access to the contents of packets, our technique offers wider application than methods that require full packet/payloads for classification. This is a powerful advantage, using samples of classified traffic to permit the categorization of traffic based only upon commonly available information     

基于复杂网络社团划分的网络流量分类

随着网络的高速发展以及各种应用的不断涌现,采用端口号映射或有效负载分析的方法进行流量分类与应用识别已难以满足应用的需求。以流为网络节点、流之间统计特征的相似度为边,构建流相关网络模型,利用Newman快速社团划分算法(NFCD)对流相关网络模型进行社团划分,得到了流的聚类结果,实现了网络流量的分类,并与先前的两种无监督的流量分类算法(K-Means,DBSCAN)进行了对比。实验结果显示,利用NFCD算法具有更高的准确率,并能产生更好的聚类效果,且不受输入参数影响。     

一种基于随机森林算法的MQTT异常流量检测方法

工业物联网系统所面临的网络安全威胁随着物联网技术的广泛应用日益增加,信息安全问题已成为其发展过程中的一大挑战。MQTT（Message Queuing Telemetry Transport）协议是物联网通信的主流协议,基于该协议的物联网通信安全研究是当前研究的热点话题。传统的流量识别技术如深度包检测无法有效地识别符合包格式的异常流量,而基于机器学习理论的异常流量识别技术则表现出很好的效果。对此提出一种基于随机森林算法的MQTT异常流量检测方法,实现整体高于90%的MQTT异常流量识别准确度,与其他常用分类模型相比拥有更好的识别效果。     

基于机器学习的IP流量分类研究

IP流量分类是Internet研究和流量工程的重要基础,近年来网络应用类别和Internet流数量在快速增长。流量分类技术不断面临新的挑战。对基于机器学习的IP流量分类方法进行了系统性研究。给出了这类流量分类方法的数学描述;通过深入研究有监督和无监督机器学习方法在流量分类中的应用,从数据预处理、模型构建和模型评估3个方面评述这类技术的研究现状,并指出存在的问题;总结得出现阶段基于机器学习的IP流量分类技术存在数据偏斜、标识瓶颈、属性变化和实时分类等4个方面的共性问题;最后展望了流量分类技术的未来发展方向并介绍了作者正在进行的工作。     

An SVM-based machine learning method for accurate internet traffic classification

Accurate and timely traffic classification is critical in network security monitoring and traffic engineering. Traditional methods based on port numbers and protocols have proven to be ineffective in terms of dynamic port allocation and packet encapsulation. The signature matching methods, on the other hand, require a known signature set and processing of packet payload, can only handle the signatures of a limited number of IP packets in real-time. A machine learning method based on SVM (supporting vector machine) is proposed in this paper for accurate Internet traffic classification. The method classifies the Internet traffic into broad application categories according to the network flow parameters obtained from the packet headers. An optimized feature set is obtained via multiple classifier selection methods. Experimental results using traffic from campus backbone show that an accuracy of 99.42% is achieved with the regular biased training and testing samples. An accuracy of 97.17% is achieved when un-biased training and testing samples are used with the same feature set. Furthermore, as all the feature parameters are computable from the packet headers, the proposed method is also applicable to encrypted network traffic.