网络流量分类与应用识别的研究*

首先介绍了网络流量分析的不同层次及机器学习领域的相关知识,分析了采用端口号映射及有效负载分析的方法进行流量分类与应用识别存在的问题;然后从网络流量的统计特征出发,重点介绍了机器学习中聚类和分类的方法在流量分类的应用和问题;最后基于聚类和分类在流量分类中的效用,指出了未来的研究趋势。     

基于SSOM的网络流量分类方法

针对目前基于端口号匹配和特征码识别的流量分类方法准确率低、应用范围受限等问题,提出一种基于有监督的自组织映射(SSOM)的网络流量分类方法。该方法使用已标注类别的网络流量训练集,通过改变自组织映射(SOM)训练过程中的权值调整规则,使输出层中获胜神经元的选择更容易,各类别之间划分更清晰,从而提高分类性能。实验结果表明,SSOM的分辨率及拓扑连续性均优于SOM,对网络流量分类具有更高的准确率。     

SDN中基于机器学习的网络流量分类方法研究

由于缺乏网络流量类别信息,目前软件定义网络SDN控制层难以有针对性地对在线视频流量和下载流量进行速率管控。当带宽有限时这会严重影响用户同时观看在线视频和进行下载时的体验。针对此问题,提出一种在SDN中基于机器学习的在线视频流量和下载流量分类方案。该方案选取新的、可以有效区分在线视频流量和下载流量的特征集合。通过测试对比多种机器学习模型的分类效果,在SDN中设计实现了基于随机森林(RandomForest)模型的实时流量分类应用,为在SDN中实现细粒度的网络流量管控、优化QoS等功能奠定了基础。测试结果表明,该方案对SDN中在线视频流量和下载流量的实时分类效果较理想,实时分类平均准确率较高。     

基于机器学习的网络流量分类研究进展

机器学习方法不依赖匹配协议端口或解析协议内容,而是利用网络流的各种统计特征识别网络应用,近年来得到了广泛关注和快速发展.本文总结了基于机器学习的网络流量分类方法自2004年来的研究进展,并且按有监督、无监督与半监督的区别进行分类、分析与比较.重点讨论了基于机器学习的网络流量分类研究的挑战与方向,即解决样本标注瓶颈、样本分布不平衡与动态变化、实时与连续分类以及分类算法可扩展性等核心问题.     

基于复杂网络社团划分的网络流量分类

随着网络的高速发展以及各种应用的不断涌现,采用端口号映射或有效负载分析的方法进行流量分类与应用识别已难以满足应用的需求。以流为网络节点、流之间统计特征的相似度为边,构建流相关网络模型,利用Newman快速社团划分算法(NFCD)对流相关网络模型进行社团划分,得到了流的聚类结果,实现了网络流量的分类,并与先前的两种无监督的流量分类算法(K-Means,DBSCAN)进行了对比。实验结果显示,利用NFCD算法具有更高的准确率,并能产生更好的聚类效果,且不受输入参数影响。     

网络流量的决策树分类

应用识别与流量分类是网络管理、安全、研究等相关事务的必要前提.随着网络的高速发展以及各种新型应用的不断涌现,基于分组传输层端口号和深度分组解析的分类技术难以满足需求.本文验证网络流量的统计特性可以有效地区分不同应用,提出一种基于C4.5决策树分类器的有监督网络流量分类方法,讨论boosting增强方法和特征选择两种改进.实验结果表明,C4.5分类器的训练复杂度适中,准确率高且分类速度快;增强方法可以进一步提高分类器的准确率,代价是训练时间大幅提高和分类时间稍微减慢;特征选择算法则提高分类速度而稍微降低准确率.     

基于特征属性信息熵的网络异常流量检测方法

针对网络异常流量检测问题,文章提出一种基于网络流量特征属性信息熵的异常流量检测方法。该方法首先计算描述网络流量特征变化的源端口号、目的端口号、源IP地址和目的IP地址这4种特征属性信息熵,并进行归一化处理,降低异常样本数据对分类性能的影响;然后利用自适应遗传算法对支持向量机分类器的惩罚参数和核函数参数进行优化,提高分类器泛化能力,同时改进遗传算法的交叉算子和变异算子,减少支持向量机分类器的训练时间;最后通过训练好的支持向量机分类器识别4种流量特征属性信息熵的变化以实现网络异常流量检测。仿真实验表明,该方法提取的4种流量特征属性信息熵能够有效表征异常流量变化,在多种异常流量类型条件下,具有较高的异常流量识别率和较低的误判率,且检测方法的鲁棒性较好。     

基于流量模板检测网络异常流量

当前的网络异常流量检测技术侧重于采用机器学习和统计学方法,两者适用于通用网络环境。本文针对受控网络环境通信特征,提出了一种基于流量模板的网络异常流量检测方法,该方法实时抓取分析网络流量,提取网络流量头部特征和行为特征,基于网络八元组信息建立流量模板,通过匹配流量模板检测网络异常流量。实验结果表明该方法在受控网络环境下能准确检测出网络异常流量。     

使用机器学习算法分类P2P流量的方法研究

随着时间的推移﹐P2P的应用数量、范围开始快速增长,这在促进社会经济发展和社会大众日常生活水平提升的同时,也带来了较多的问题,而传统的网络流量分类方式存在着较多的缺陷,难以满足时代的发展和社会大众的需求。文章主要提出基于ReliefF-CFS的方法,进而实现流量的特征子集的选择,依据具体的实验研究结果来看,文章所提出的方法取得了较高的分类准确率,比较适合在后续进行推广应用。因此,文章针对使用机器学习算法分类P2P流量的方法进行系统的研究和分析,其主要目的在于高效率处理协议加密的网络流量分类问题,这对于国内的计算机网络技术的发展也具有促进作用。     

基于信息熵的网络流异常监测和三维可视方法

通过分析网络流量可以反映网络运行情况,挖掘异常行为,感知网络安全态势。为了监测网络运行状况和流量异常情况,提高用户对网络流量态势的感知体验,针对大规模网络流量的数据量大和维度广的特点,提出了一种准实时流量数据报出机制,设计了基于三维可视化的流量监测系统,并结合基于信息熵的流量异常挖掘方法,通过人工监测和数据挖掘,实现了异常流量可视化监测,提高了异常检测成功率。给出了监测系统的设计方案和实现结果,解决了网络数据流从抽象到具象的可视化问题,提供了一种更加直观的态势展现方案,提高了用户对网络态势的感知认识能力。     

基于代价敏感决策树的网络流量分类研究

传统的基于端口的流量分类方法和基于DPI技术的流量分类方法由于P2P技术和加密技术的流行而开始失效。基于网络流特征及机器学习的流量分类方法因为克服了上述弊端而成为了流量分类领域的研究热点。实际网络环境中,“大象流”和“老鼠流”在数量和传输字节量等方面存在着严重的不平衡,降低了基于机器学习流量分类方法的实际分类效果。针对...     

An SVM-based machine learning method for accurate internet traffic classification

Accurate and timely traffic classification is critical in network security monitoring and traffic engineering. Traditional methods based on port numbers and protocols have proven to be ineffective in terms of dynamic port allocation and packet encapsulation. The signature matching methods, on the other hand, require a known signature set and processing of packet payload, can only handle the signatures of a limited number of IP packets in real-time. A machine learning method based on SVM (supporting vector machine) is proposed in this paper for accurate Internet traffic classification. The method classifies the Internet traffic into broad application categories according to the network flow parameters obtained from the packet headers. An optimized feature set is obtained via multiple classifier selection methods. Experimental results using traffic from campus backbone show that an accuracy of 99.42% is achieved with the regular biased training and testing samples. An accuracy of 97.17% is achieved when un-biased training and testing samples are used with the same feature set. Furthermore, as all the feature parameters are computable from the packet headers, the proposed method is also applicable to encrypted network traffic.     

Bayesian Neural Networks for Internet Traffic Classification

Internet traffic identification is an important tool for network management. It allows operators to better predict future traffic matrices and demands, security personnel to detect anomalous behavior, and researchers to develop more realistic traffic models. We present here a traffic classifier that can achieve a high accuracy across a range of application types without any source or destination host-address or port information. We use supervised machine learning based on a Bayesian trained neural network. Though our technique uses training data with categories derived from packet content, training and testing were done using features derived from packet streams consisting of one or more packet headers. By providing classification without access to the contents of packets, our technique offers wider application than methods that require full packet/payloads for classification. This is a powerful advantage, using samples of classified traffic to permit the categorization of traffic based only upon commonly available information     

使用机器学习算法分类P2P流量的方法*

P2P应用的快速增长,带来网络拥塞等诸多问题,而传统的基于端口与有效载荷的P2P流量分类方法存在着很多缺陷。以抽取独立于端口、协议和有效载荷的P2P流的信息作为特征,用提出的基于ReliefF-CFS的方法选择流的特征子集,研究使用机器学习算法对P2P流量进行分类的方法,也研究了利用流的前向N个报文的统计信息作为特征,分类P2P流量的方法。实验结果显示提出的方法取得了较好的分类准确率。     

使用贝叶斯学习算法分类网络流量

随着网络应用（如P2P）的快速增长,使得传统的基于端口与有效载荷的网络流量分类方法效率大大降低。基于FCBF特征选择方法选择最优特征子集,研究使用贝叶斯学习方法对网络流量进行分类;实验结果显示提出的方法取得了较好的分类准确率。     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

基于一维卷积神经网络的网络流量分类方法

针对传统机器学习算法对于流量分类的瓶颈问题,提出基于一维卷积神经网络模型的应用程序流量分类算法。将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。设计了一种新的一维卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中特征选择问题。通过网络公开数据集进行模型测试,相比于传统的一维卷积神经网络模型,所设计的神经网络模型的分类准确率提升了16.4%,总分类时间节省了71.48%。另外在类精度、召回率以及[F1]分数方面都有较好的提升。