实时网络流量分类研究综述

实时流量分类技术能够按照应用类型对在线网络流量分类,它对网络管理、流量控制以及网络相关研究具有重要意义.首先从不同层次上简单分析了实时流量分类技术的研究现状;给出了流量分类的实时性概念及其指标;然后从流量统计特征和机器学习算法两个方面综述了实时流量分类的主要技术及研究进展,并进行了实时性分析;最后根据未来网络发展对实时流量分类技术提出的新要求,展望了该领域未来的研究发展方向.     

基于FPGA的二次加权NB网络流量分类方法

针对传统网络流量分类方法不能很好地满足高速网络流量分类的实时性和准确性要求,提出了一种基于FPGA的二次加权朴素贝叶斯网络流量分类方法。该方法通过对样本属性和样本类别进行加权,并在FPGA上进行建模,从而实现网络流量的实时、准确分类。仿真实验结果表明,该方法与传统网络流量分类方法相比,提高分类精度的同时具有更好的实时性,在100MHz时钟下其分类速度约为纯软件实现分类速度的260倍。     

基于Spark的电网工控系统流量异常检测平台

针对传统的电力网络流量检测安全预警系统在面对海量高维度数据时，其在精度、实时性、扩展性以及效率上都无法满足需求的问题，建立出一种基于Spark的电网工控系统流量异常检测平台.该平台以Spark为计算框架，主要由数据采集与网络流量深度包检测协议解析模块，实时计算数据分析处理模块，安全预警预测模块和数据存储模块组成，为流量异常检测提出了一套完整的流程.实验结果表明，该平台能够有效地检测出异常流量，做出安全预警，方便工作人员及时做出决策，这充分说明该平台非常适用于电力控制系统，能够应对海量高维复杂数据做出实时分析以及安全预警，极大地提高了电网工控系统的安全性能.     

工业以太网中流量控制策略的研究

工业以太网技术应用于工业网络是网络控制技术的一大发展趋势。针对工业以太网络通信中存在的数据实时性、确定性等问题，提出了一种用于工业以太网的网络流量控制策略，同时利用数学模型和仿真测试验证了该算法，并将其成功应用在设计的网络流量控制器中。研究结果表明使用该流量控制策略后，工业以太网的网络数据拥塞现象得到了明显改善，可以满足工业现场应用以太网技术进行实时数据通信的要求。     

天地一体化智能网络流量实时分类

天地一体化智能网络规模大,环境复杂,网络中流量业务类型繁多且流量具有突发性.本文结合Spark大数据分布式平台,根据流量的特点设计了SFFS-FCBF-C4.5(简称SFC)决策树分类模型,实现了大规模网络下流量的实时分类,以保障网络中资源的合理分配和利用.SFC算法是在C4.5决策树算法的基础上结合了改进后的快速相关滤波算法(Fast Correlation-Based Filter Solution, FCBF)和连续型属性值离散化算法,可以在有效去除冗余特征和降低模型复杂度的同时,提高模型分类的速度和准确率.仿真结果表明,SFC决策树分类模型相比传统的流量分类模型具有较好的稳定性和较高的准确率,可以很好的适应复杂多变的网络环境.同时,Spark大数据分布式平台的应用大幅度提高了大规模网络下流量分类的速度,能够对海量流量进行实时分类.     

SDN中基于机器学习的网络流量分类方法研究

由于缺乏网络流量类别信息,目前软件定义网络SDN控制层难以有针对性地对在线视频流量和下载流量进行速率管控。当带宽有限时这会严重影响用户同时观看在线视频和进行下载时的体验。针对此问题,提出一种在SDN中基于机器学习的在线视频流量和下载流量分类方案。该方案选取新的、可以有效区分在线视频流量和下载流量的特征集合。通过测试对比多种机器学习模型的分类效果,在SDN中设计实现了基于随机森林(RandomForest)模型的实时流量分类应用,为在SDN中实现细粒度的网络流量管控、优化QoS等功能奠定了基础。测试结果表明,该方案对SDN中在线视频流量和下载流量的实时分类效果较理想,实时分类平均准确率较高。     

基于流量模板检测网络异常流量

当前的网络异常流量检测技术侧重于采用机器学习和统计学方法,两者适用于通用网络环境。本文针对受控网络环境通信特征,提出了一种基于流量模板的网络异常流量检测方法,该方法实时抓取分析网络流量,提取网络流量头部特征和行为特征,基于网络八元组信息建立流量模板,通过匹配流量模板检测网络异常流量。实验结果表明该方法在受控网络环境下能准确检测出网络异常流量。     

使用Spark Streaming的自适应实时DDoS检测和防御技术

分布式拒绝服务(distributed denial of service,DDoS)攻击是重要的安全威胁,网络速度的不断提高给传统的检测方法带来了新的挑战。以Spark等为代表的大数据处理技术,给网络安全的高速检测带来了新的契机。提出了一种基于Spark Streaming框架的自适应实时DDoS检测防御技术,通过对滑动窗口内源簇进行分组,并根据与各分组内源簇比例的偏差统计,检测出DDoS攻击流量。通过感知合法的网络流量,实现了对DDoS攻击的自适应快速检测和有效响应。实验结果表明,该技术可极大地提升检测能力,为保障网络服务性能和安全检测的可扩展性提供了一种可行的解决方案。     

基于信息熵的网络流异常监测和三维可视方法

通过分析网络流量可以反映网络运行情况,挖掘异常行为,感知网络安全态势。为了监测网络运行状况和流量异常情况,提高用户对网络流量态势的感知体验,针对大规模网络流量的数据量大和维度广的特点,提出了一种准实时流量数据报出机制,设计了基于三维可视化的流量监测系统,并结合基于信息熵的流量异常挖掘方法,通过人工监测和数据挖掘,实现了异常流量可视化监测,提高了异常检测成功率。给出了监测系统的设计方案和实现结果,解决了网络数据流从抽象到具象的可视化问题,提供了一种更加直观的态势展现方案,提高了用户对网络态势的感知认识能力。     

基于流量摘要的僵尸网络检测

随着僵尸网络的日益进化,检测和防范僵尸网络攻击成为网络安全研究的重要任务.现有的研究很少考虑到僵尸网络中的时序模式,并且在实时僵尸网络检测中效果不佳,也无法检测未知的僵尸网络.针对这些问题,本文提出了基于流量摘要的僵尸网络检测方法,首先将原始流数据按照源主机地址聚合,划分适当的时间窗口生成流量摘要记录,然后构建决策树、随机森林和XGBoost机器学习分类模型.在CTU-13数据集上的实验结果表明,本文提出的方法能够有效检测僵尸流量,并且能够检测未知僵尸网络,此外,借助Spark技术也能满足现实应用中快速检测的需要.     

基于 Spark 和浮动出租车全球定位系统数据的实时交通路况预测方法

随着大数据的发展和城市化进程的推进,城市交通路况预测成为智慧城市的焦点课题。而目前已有的实时路况预测模型由于软硬件的不足而不能进行准确高效的预测。文章利用真实的城市交通大数据,基于 Spark分布式内存计算框架,提出了一种高效的实时路况预测方法,其中实时路况用路段的平均速度体现。首先并行地对大量车辆的全球定位系统数据进行水平时间窗口和垂直时间窗口切片抽样,然后利用 Spark计算估测历史样本在各个时间段内历史平均速度的概率分布,最后采用贝叶斯最大后验估计基于新到的样本对未来的路况进行预测。实验结果表明,文章提出的方法可实现高效准确的实时路况预测。     

一种分布式的僵尸网络实时检测算法

僵尸网络通过控制的主机实现多类恶意行为,使得当前的检测方法失效,其中窃取敏感数据已经成为主流。鉴于僵尸网络实现的恶意行为,检测和减轻方法的研究已经势在必行。提出了一种新颖的分布式实时僵尸网络检测方法,该方法通过将Netflow组织成主机Netflow图谱和主机关系链,并提取隐含的C&C通信特征来检测僵尸网络。同时,基于Spark Streaming分布式实时流处理引擎,使用该算法实现了BotScanner分布式检测系统。为了验证该系统的有效性,采用5个主流的僵尸网络家族进行训练,并分别使用模拟网络流量和真实网络流量进行测试。实验结果表明,在无需深度包解析的情况下,BotScanner分布式检测系统能够实时检测指定的僵尸网络,并获得了较高的检测率和较低的误报率。而且,在真实的网络环境中,BotScanner分布式检测系统能够进行实时检测,加速比接近线性,验证了Spark Streaming引擎在分布式流处理方面的优势,以及用于僵尸网络检测方面的可行性。     

灰度直方图与LDA的路况分类

道路路况实时分类研究,是路况信息诱导系统的基础.通过对大量路况图像进行研究,提出使用路况图像中道路区域统计灰度直方图作为表征路况信息的特征向量,采用LDA(linear discriminat analysis)算法对高维特征向量进行降维,采用改进的K-近邻分类器实现对道路路况实时分类,并给出实际分类结果.实验结果表明,采用上述方法进行路况分类,其结果与交通管理部门给出的结果一致率达91.7%,对路况实时分类具有较高的实用价值.     

基于Spark的分布式交通流数据预测系统

在大数据时代,在城市复杂交通环境中,实现实时、准确的交通流预测,是实现智能交通系统的必要前提。提出了一种在Spark平台上基于梯度优化决策树的分布式城市交通流预测模型(distributed urban traffic prediction with GBDT,DUTP-GBDT);并提出了分布式情况下梯度优化决策树模型实现的优化方法,包括切分点抽样、特征装箱和逐层训练三种,提高了分布式情况下梯度优化决策树训练效率。基于Spark分布式计算平台高效、可靠、弹性可扩展的优势,以及梯度优化决策树模型准确率较高和时间复杂度较低的优点,利用时间特征、道路状况特征以及天气特征等特征参数,建立了DUTP-GBDT模型,实现了实时、准确的交通流预测。通过与GABP、GA-KNN、MSTAR等模型的对比,证明了利用Spark平台,DUTP-GBDT模型在分布式环境下准确率和训练速度方面均有所提高,符合城市交通流预测系统的各项要求。     

网络流量分类研究进展与展望

近年来,随着互联网的迅猛发展,越来越多的新型网络应用逐渐兴起,网络规模不断扩大,网络组成也越来越复杂。网络流量分类技术作为增强网络可控性的基础技术之一,不仅可以帮助网络运营商提供更好的服务质量,而且能够对网络进行有效的监督管理,确保网络安全。本文综述了网络流量分类领域的研究方法及研究成果,对这些传统方法进行比较,分别指出它们的优势和不足。并针对高速网络环境下的实时分类、加密流分类、精细化分类、协议动态变化时的分类等现实挑战,对相关研究进展进行阐述和分析。最后对未来的研究方向进行展望。     

双层隐马尔可夫链的突发流合成

网络流模型被广泛用于构建网络与网络服务的测试环境,其准确性直接影响各种业务的性能评估结果及在实际网络环境中的鲁棒性.随着电子商务及新型网络应用的普及,突发流现象已经成为现代互联网的主要特征之一.针对平稳网络流而设计的传统网络流模型已经难以有效地描述现代网络中突发流的时间结构性及统计属性,从而不能准确反映现代网络流的行为特征.为此,提出一种新的结构化双层隐马尔可夫模型用于模拟实际网络环境下的突发流,并设计了有效的模型参数推断算法及突发流合成方法.该模型通过结构化的2层隐马尔可夫过程描述突发流并实现仿真合成,使合成流可以重现实际突发流的时间结构性、统计特性及自相似性.实验表明,该模型可以有效合成突发流.     

Real-time network monitoring scheme based on SNMP for dynamic information

An efficient and automated network management is required in large and complex networks since it is very difficult to manage them only with human effort. In response to this need, the Simple Network Management Protocol (SNMP) has been developed and adopted as the de facto standard. Some management information changes with time and the management station needs to monitor its value in real time. In such a case, polling is generally used in the SNMP because the management station can query agents periodically. However, the polling scheme needs both request and response messages for management information every time, which results in network traffic increase. In this paper, we suggest a real-time network monitoring method for dynamic information to reduce the network traffic in SNMP-based network management. In the proposed strategy, each agent first decides its own monitoring period. Then, the manager collects them and approves each agent's period without modification or adjusts it based on the total traffic generated by monitoring messages. After receiving a response message containing the monitoring period from the management station, each agent sends management information periodically without the request of management station. To evaluate the performance of the proposed real-time monitoring method, we implemented it and compared the network traffic and monitoring quality of the proposed scheme with the general polling method.     

基于侧信道特征的安全代理流量分类方法

安全代理被越来越多的互联网用户用于规避网络审查和访问受限资源,因此安全代理流量的分类对于网络安全和网络管理具有重要意义。为弥补深度包检测技术在过滤和识别不良信息上的不足,提高防火墙流量探测能力,提出一种安全代理流量分类方法。提取用于安全代理流量分类的侧信道特征,包括有效载荷长度序列、信号序列等,使用机器学习和深度学习算法对Shadowsocks、V2Ray、Freegate、Ultrasurf 4种被广泛使用的安全代理流量进行识别。实验结果表明,通过提取与有效载荷内容无关的侧信道特征进行分类,与MLP、LSMP等算法相比,该方法在准确率、F1值等性能方面均有提升。     

Exploiting encrypted and tunneled multimedia calls in high-speed big data environment

Due to the rapid increase in the speed as well as the number of users over the Internet, the rate of data generation is enormously grown. In addition, at the same rate, the multimedia transmission especially the usage of VoIP calls is rapidly growing due to its cost effectiveness, dramatic functionality over the traditional telephone network and its compatibility with public switched telephone network (PSTN). In most of the developing countries, internet service providers (ISPs) and telecommunication authorities are concerned in detecting such calls to either block or prioritize commercial VoIP. Signature-based, port-based, and pattern-based detection techniques are inaccurate due to the complex and confidential security and tunneling mechanisms used by VoIP. Therefore, in this paper, we proposed a generic, robust, efficient statistical analysis-based solution to identify encrypted and tunneled voice media flows. We extracted six statistical parameters, which are extracted for each flow and compared with threshold values while generating a number of rules to identify VoIP media calls. The paper also offers a complete architecture that can efficiently process high-speed traffic in order to detect VoIP flows at real-time. The proposed system, including the architecture and the algorithm, can be practically implemented in a real environment, such as ISP or telecommunication authority’s gateway. We implemented the system using the parallel environment of Hadoop ecosystem with Spark on the top of it to achieve the real-time processing. We evaluated the system by considering 1) the accuracy in terms of detection rate by computing the direct rate and false positive rate and 2) the efficiency in terms of processing power. The result shows that the system has 97.54% direct rate and .00015% false positive rate, which are quite high. The comparative study proved that the proposed system is more accurate than the existing techniques.