基于 Spark 的大规模网络流量准实时分类方法

大数据时代催生了互联网流量的指数级增长,为了有效地管控网络资源,提高网络安全性,需要对网络流量进行快速、准确的分类,这就对流量分类技术的实时性提出了更高的要求。目前,国内外的网络流量分类研究大多是在单机环境下进行的,计算资源有限,难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上,吸收当前最新的思想和技术,基于Spark 平台,有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib,提出一种大规模网络流量准实时分类方法。实验结果表明,该方法在保证高分类准确率的同时,也具有很好的实时分类能力,可以满足实际网络中流量分类任务的实时性需求。     

基于机器学习的IP流量分类研究

IP流量分类是Internet研究和流量工程的重要基础,近年来网络应用类别和Internet流数量在快速增长。流量分类技术不断面临新的挑战。对基于机器学习的IP流量分类方法进行了系统性研究。给出了这类流量分类方法的数学描述;通过深入研究有监督和无监督机器学习方法在流量分类中的应用,从数据预处理、模型构建和模型评估3个方面评述这类技术的研究现状,并指出存在的问题;总结得出现阶段基于机器学习的IP流量分类技术存在数据偏斜、标识瓶颈、属性变化和实时分类等4个方面的共性问题;最后展望了流量分类技术的未来发展方向并介绍了作者正在进行的工作。     

互联网流量分类中流量特征研究

互联网流量特征用于描述和测量网络流量,是开展流量分类的重要基础。为了系统性分析互联网流量特征,首先根据统计对象或统计角度研究流量特征的归类法,随后展开评述每类流量特征;针对流量特征的稳定性问题,分析报文抽样、网络环境和模糊化技术对流量特征的影响;从分类能力、稳定性、时效性和分类粒度等方面评述流量特征的优缺点,为流量统计特征应用提供指导性建议;最后总结流量特征的未来研究方向。     

互联网加密流量检测、分类与识别研究综述

互联网流量分析是网络管理与安全的核心途径,传统基于明文的分析方法在加密流量大势所趋的环境下已基本失效.虽有部分针对加密流量的分析方法,但其忽略了不同加密流量分析目标需求内在的逻辑性与层次性,并缺乏对加密流量本质特征的研究,难以系统化地解决加密流量分析的难题.本文首先面向网络管理与安全监管的实际需求,将互联网加密流量分析按照目标需求划分为检测、分类、识别三个阶段,并描述其目标与方法上的差异;接着基于现有研究成果,分别对现有检测、分类、识别方法从多个粒度、角度进行划分,系统性地归纳与比较现有研究的优缺点;最后,本文基于目前研究,结合未来互联网网络环境发展趋势和加密流量概念漂移的实际问题,从加密流量样本数据集完善、复杂新型网络协议下的加密流量分类与识别、基于应用层特征的加密流量分类与识别、多点协同分布式加密流量分类与识别四个方面分析与展望了未来互联网加密流量检测、分类与识别中可能的研究方向.     

Internet流分类方法的比较研究

Internet流分类是网络测量、流量监控中的一个重要环节.本文分析了几种典型的流分类方法：基于特定端口号、基于应用层特征字段和基于传输层的方法,其中第二种方法专门用于识别当前日益增多的对等网络应用流量.从准确性、完整性、实时性以及可扩展性等方面对这三种方法进行了比较,分别指出它们的优势和不足.最后提出了一种实用型流分类方案,并对流分类领域的发展提出了看法.     

带内网络遥测方法综述

网络测量是网络性能监控、流量管理和故障诊断等场景的基础.带内网络遥测由于具有实时性、准确性和扩展性等特点使其成为当前网络测量研究的热点.随着可编程数据面的出现和发展,丰富的信息反馈和灵活的功能部署使得国内外学者提出许多具有实用性的带内网络遥测技术方案.首先分析了典型的带内网络遥测方案INT和AM-PM的原理和部署挑战.根据带内网络遥测的优化措施和扩展角度,从数据采集流程和多任务组合方面分析了优化机制的特点,从无线网络、光网络和混合设备网络等方面分析了技术扩展的可行性.根据带内网络遥测在典型场景的应用,从网内性能感知、网络级遥测系统、流量调度和故障诊断几个方面对比分析其在不同场景应用特点.最后,对带内网络遥测研究进行总结,展望了未来的研究方向.     

基于UDP协议的应用层实时中间件

针对网络传输开销的不确定性造成网络不能满足实时传输要求的情况,探讨了基于UDP协议的应用层实时中间件实现技术,提出了应用层实时中间件的构想,并从实时控制协议、分组收发控制、流量控制、差错控制4个方面对实现技术进行了深入研究.通过专门的测试程序对中间件的可靠性、稳定性和实时性进行测试,实验结果表明,实时中间件传输1K数据的传输延迟可控制在0.5毫秒以内,64K数据的传输延迟小于100毫秒,可满足一般实时应用.     

工业控制网络的研究现状及发展趋势

工业控制网络在工业通信及先进制造领域起到关键性作用。回顾了工业控制网络的发展历程,重点分析了工业以太网的实时通信技术,针对通信实时性的强弱性质将目前主流工业以太网进行了分类研究,将其划分为软实时、硬实时以及同步硬实时3类,重点探讨了各自的实时通信机制。同时阐述了正在进入工业控制领域的实时异构网络及无线网络,最后讨论了工业控制网络研究的技术难题,并提出了新的发展方向。     

SMON技术在交换式网络管理中的应用研究

指出RMON技术在现代TCP／IP网络管理中,无法对交换机的每一个点对点端口的流量进行管理,无法适应VLAN流量的监控,无法对QoS分类定义进行管理,无法对链路聚合情况进行实时监控等缺陷,分析了导致这些缺陷存在的根本原因。在此基础上,重点研究了关键技术SMON的原理及具体实现方法,提出了从基于共享式网络的RMON管理技术升级到基于交换式网络的SMON管理技术的具体方案。     

时间敏感网络中确定性传输技术综述

时间敏感网络是工业互联网基础设施转型升级的重要研究方向,确定性传输技术是时间敏感网络面向工业控制支撑确定性实时传输需求的核心关键技术,主要包括控制面的时间触发调度技术、转发面的混合传输技术以及确定性时延分析技术.调研了近年来时间敏感网络中确定性传输技术的研究现状并进行了系统地梳理和总结,首先介绍了时间敏感网络不同种类业务流的流量模型;然后基于该流量模型,介绍了控制面的时间触发调度模型、研究现状及其挑战,介绍了转发面时间敏感网络交换机的体系结构、多业务流混合传输策略以及当前方案的不足与改进方向;接着,对整个时间敏感网络的时延模型进行建模分析,介绍基于网络微积分的确定性时延分析技术、研究现状以及可能的改进方向;最后,总结时间敏感网络确定性传输技术所面临的挑战以及未来的研究展望.     

A new mechanism for metastability of under-saturated traffic responsible for time-delayed traffic breakdown at the signal

In this paper we introduce a new mechanism of metastability of under-saturated traffic at the signal that is responsible for a time-delayed traffic breakdown revealed by Kerner (2011). In our model, we assume that the metastability of under-saturated traffic at the signal is caused by a dependence of the mean time of driver acceleration from a queue at the signal on the driver’s stopped time within the queue. With the use of Nagel–Schreckenberg model, we demonstrate that this mechanism of the metastability of city traffic can lead to the time-delayed traffic breakdown at the signal.     

城市交通系统的微观仿真研究

基于微观交通模型,将面向对象方法与可视化技术运用到城市交通系统的微观仿真研究中,开发了一套具有一定实用价值的交通仿真软件。仿真结果表明,车辆运行动画与人的直观交通经验一致。该方法可用于对一般的规模庞大的道路交通网络的研究。     

高速公路交通状态的联合估计方法

提出一种有效的高速公路交通密度预测估计方法。通过分析交通模型，建立了系统的离散化状态和误差模型表达式，并采用推广Kalman滤波方法进行估计．为进一步增强数值稳定性以及提高计算效率，根据系统矩阵分块的特点，采用分块的正交化U-D分解算法实现时间更新，同时采用序列U-D分解方法进行测量更新．仿真计算和实际应用表明，该方法可以给出工程实用结果。     

基于周期性网络流量模型的校园网流量预测

网络流量模型是网络性能评价、网络协议设计和网络规划等的基础,然而实践证明基于泊松过程的传统流量模型并不适用于实际的网络流量.在对大量校园网络流量数据统计分析的基础上,提出一个基于周期性网络流量的网络流量模型,将网络流量分为时间相关分量和正态随机分量,并利用分布拟合检验算法加以验证,同时给出了在不同置信度下基于该流量模型的流量预测算法,从而保证对校园网络高效的管理.     

基于模糊神经网络的道路交叉口交通控制方法

提出了一种基于模糊神经网络的道路交叉口交通控制方法，分别把关键车流信息和非关键车流信息作为控制输入，采用两级控制器结构，综合形成控制策略。仿真结果表明，与传统的定时控制方法和只考虑关键车流的情形相比，所提出的两级神经网络控制方法在车辆平均延误时间和排队长度方面都有较大改进。     

基于时间特征的网络流量预测模型

本文设计一种基于时间特征的网络流量预测模型,并采用该流量模型预测网络流量。文章提出网络流量预测误差的数学定义,根据测试实验表明,我们的流量模型具有更高的可用性,并适用实际运行的网络环境。     

基于sFlow技术的网络流量监测系统研究

讨论传统流量测量技术的局限,介绍基于sFlow技术的流量监测系统设计与实现.使用本系统能够提供更为详实的全网网络流量数据,这是使用传统方法难以实现的.     

Robust identification for multi-section freeway traffic models

1IntroductionIt is important to estimate the densityandspeed oftrafficfor the safetyandtraffic control .For decades ,manyresearchwork have been done to estimate traffic density, trafficvolume ,average speed,and other parameters[1,2] .Theproblemof estimating dynamic traffic has been involved inparts of those research work[1 ~4] .By means of O_Dmatrix,some researchers have also made a series of studiesof traffic prediction and traffic layout estimation[5] .However , most of the research work m…     

基于流量特征的网络流量预测研究

传统的非线性模型已经不再适用于网络流量建模,为了能够更精确地对网络流量建模,必须考虑到网络流量的特性。针对网络流量的自相似、长度分布、周期等特征进行分析,结合小波变换与时间序列模型,有效地建立流量预测模型。首先对流量的自相似和平稳性进行分析,并对长度、周期等特征进行描述,其次根据实际流量的自相似性和平稳性选择小波变换与时间序列相结合的方法进行建模,产生预测结果,最后根据长度与周期特征粗略判断预测的合理性。根据实验验证与分析,该方法具有极大的灵活性,相比单一的小波-FARIMA模型可以减少大量的运算,同时能够描述网络流量的短相关与长相关特性。     

基于NetFlow的流量计费系统的设计与实现

以宁波市互联网交换中心流量计费系统为例，阐述了一种基于NetFlow的流量计费系统的设计与实现，分析了该系统的网络结构，硬件配置及实现方案。其中主要分析了流量采集、流量监控和系统管理模块的设计与实现。