网络流量监测系统设计

流量监测是网络管理的基础.从网络体系架构来说,网络流量是一切研究的基础:它能直接反映网络性能的好坏:更能帮助判断网络故障及网络安全等状况.本文介绍了WSDM标准的产生背景、组成及特点等基础知识;并依据该标准设计了一个局域网流量监测系统的实施方案.     

网络流量分析系统的设计与实现

现有的网络管理系统普遍存在以下问题：一是缺乏对用户用量、用法的监控和管理;二是缺乏对安全、计费、网络优化等应有的增值服务功能;三是不支持网络管理员和高级经理对网络管理高层次业务需求分析。设计的网络流量分析系统作为对网络管理系统的有力补充和提升,解决了常规网管系统的缺陷,直接从网络管理高层次需求入手,满足客户对网络使用状况分析、网络安全防卫、基于用量的计费模式等需求。     

基于GOS的远程实时可视化系统设计与实现*

提出了一个并行计算程序的远程实时可视化系统.通过实时可视化处理计算程序在计算过程中输出的数据文件,实现了对计算程序计算过程的可视化跟踪和实时分析;同时该系统采用GOS作为网格中间件,屏蔽了复杂的异构环境.     

网络流量分析系统的设计与实现

随着网络速度的不断增长及网络应用的不断增多,网络监管的难度大大增加.实现了一种高速网络流量的实时监控系统NTAS——网络流量分析系统.通过PF_ RING底层报文捕获模块,捕获网络流量,并对网络流量进行完整会话管理以及在此基础上基于有穷自动机(DFA)的协议识别,解决了同类系统性能不足和协议识别率不高的问题.最后给出了NTAS与同类系统的比较测试.测试结果表明,NTAS具备在高速网络环境下对网络流量的实时分析处理的能力.     

基于LIBPCAP的网络流量实时采集与信息萃取*

论述了网络流量实时采集与信息萃取的基本原理与实现方法。重点阐述在Linux环境下基于LIBPCAP包捕获机制,并在QT33平台上成功实现了基于GUI界面的网络流量实时采集与信息萃取及C++类的封装。     

网络流量实时监控分析系统的设计与实现

网络流量监控分析是网络管理与网络安全的重要组成部分。文章介绍了一种基于深度报文检测技术的网络流量实时采集分析系统RT-TMA,同时给出了其设计框架和关键技术实现方法。测试结果表明,该系统运行稳定、准确,可以达到预期效果。     

基于优先级的数据流数据库实时事务调度算法与实现

数据流数据库系统中的持续查询事务存在着依赖及算子共享的复杂关系．提出了基于综合事务空闲时间与价值的优先级调度算法．在算法中充分考虑了有依赖关系与共享算子的实时事务对事务优先级的影响．利用有关联的双链表给出了算法的实现，包括事务的接收策略与事务完成／夭折算法的实现．最后在GStream系统中，从累积实现价值率和差分截止期2个方面实验了算法的性能，实验表明LSV算法相对于RR算法、LSF算法、HVF算法都有很大的改进．     

基于Web的炼焦实时监视系统设计与实现

针对某钢铁企业炼焦生产过程中网络监控的需求,提出一种基于Web的三层B/S体系结构.首先利用ESP-iSYS实时数据库和SQL Server关系数据库,实现了数据存储层的实时数据采集与数据处理;然后采用基于TCP/IP协议的TCPPublish服务和基于XML的ADO.NET技术,实现业务逻辑层对实时数据库和关系数据库的访问,并通过SOAP方式调用实时数据库的WebService接口实现趋势曲线的实时绘制;最后采用SSL加密和多级区域权限体系作为系统的安全策略.实际运行表明,该系统实现了对炼焦生产全流程作业的实时监视,并有效地保证了数据传输的实时性和安全性.     

基于Libpcap的局域网流量测量系统设计与实现*

介绍了基于Libpcap和BPF包过滤器进行软件抓包的原理;针对局域网环境,在不使用专门的硬件设备前提下,设计并实现了基于Libpcap进行数据采集的流量测量系统。系统中区分了国际国内的流量,方便网络管理员进行流量控制和计费。最后,考虑了不同局域网环境下的部署问题。     

实时通讯网络的实时性能测试与分析

对1种应用较为广泛的实时通讯网络进行了性能测试和分析,提出了相应的测试方案与测试方法;通过对反射内存网络的基本读写测试、反射内存网络节点间数据传输测试和反射内存-广播内存网络间节点传输测试三部分,得出了相应情况下的利用反射内存进行实时数据通信的信息,对节点间数据读写速度有了大体的了解,同时经过相应测试对比也验证了关于其网络结构和工作原理的分析,为实际应用提供了相应参考。     

一种基于数据流分析的网络行为检测

为了更好地对网络行为进行分析, 提出了一种基于数据流分析的网络行为检测方法。通过分析网络系统体系架构, 对网络行为进行形式化建模, 并针对网络行为特点提出了一种基于与或图的行为描述方法, 最终设计实现了基于数据流分析的网络行为检测算法。实验证明该方法能在多项式时间内完成数据流事件中的关系分析, 而且与其他算法相比, 能有效提高网络行为检测的查准率。     

基于动态特征提取和神经网络的数据流分类研究

为提高数据流分类的精确性和适应性,提出了一种新的数据流分类方法。该方法基于总体最小二乘法对数据流进行分段拟合,并将传统曲线分析算法——滑动窗口(SW)和在线数据分割(OSD)进行结合、改进,以可变滑动窗口算法实现对数据流的合理分割,提高趋势分析精度。在此基础上,对数据流进行动态特征提取和判断,并以神经网络对数据流特征进行模式识别,精确分类,进而对监控对象提供早期预警、状态评估和决策支持。实验结果表明,该方法能对数据流进行有效的动态特征描述,分类效果明显。     

基于Multi—agent的网络数据流软件性能测试方法研究

应用系统整体性能欠佳,可能导致系统在大业务量时出现功能、效率和安全性问题。现代的信息系统中新型软件架构层出不变,软硬件和网络通讯之间的相互关联作用日益复杂,加大了系统性能瓶颈查找的难度。探讨如何通过多智能代理技术等方法。截取、分析和回放网络数据流来评价软件系统的性能。     

基于结构化P2P的分布式数据流系统的查询处理模型

分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题（主要是内存）,提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。     

基于数据流趋势分析的通信信号检测方法

从短波无线电通信检测在处理时间方面的实际需求出发,提出一种基于数据流趋势分析的无线电信号检测方法。分析了基于增量递推最小二乘算法构建数据流线性回归模型的方法,针对广义似然比检测法用于信号检测虚警较高的问题,提出了基于置信区间的数据流趋势分析中变化点检测方法,有效地降低了虚警。无线电检测数据动态检测实验验证该方法的有效性。     

基于数据流的启发式文件传输识别系统设计

为了防止文件通过网络泄露,研究了网络传输文件的格式、传送形式以及通信行为特征,提出一种基于网络数据流的文件传输识别方法。通过引入文件数据流的概念,构建了具有特异性的文件特征指纹库,采用自适应深度协议分析技术,对文件传输在通信协议中表现出的内容和行为特征信息进行多层次启发式的检测。测试结果表明,该系统运行高效,检测结果准确。     

数据流处理技术在电信网管系统中的应用

网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。     

基于复杂网络数据流密度的增量子空间数据挖掘算法

为了提升在复杂网络中对大规模网络数据流进行挖掘时的准确性,提出一种基于复杂网络数据流密度的增量子空间数据挖掘算法,在算法中先对复杂网络的数据流密度进行分析,并根据不同网络的数据流密度来划分社区,进行无向环路遍历来确定数据流的所属社区.再通过增量子空间数据挖掘算法来计算社区网络与数据流的相关度以及数据流所经过的节点与时间的相关系数,从而准确确定目标数据流所处的节点.通过仿真实验结果和数据分析表明,增量子空间数据挖掘算法的数据挖掘精度在节点、社区数较多的情况下仍达到了较高的挖掘精度.     

流式处理系统的动态数据分配技术

流式数据处理中,数据倾斜等原因易导致计算节点的负载不均衡,降低系统处理能力。传统的负载均衡方法,比如算子分配、算子迁移和负载脱落等技术因为相对较高的性能代价,在流式处理系统中没有得到广泛的应用。针对流式处理系统的特点,提出一种新的负载均衡方法。在该方法中,计算单元的数据被划分为若干分区,并且数据分区可以在计算单元中动态分配和迁移,在较少干扰系统运行的情况下,通过动态调整各计算单元的分区,平衡各个计算单元的输入流和利用率,以此达到负载平衡的目的。在此基础上,设计并实现了流式处理系统的负载均衡算法和数据在线迁移技术。实验结果表明,该方法能够显著减少数据处理的平均延迟,提高系统吞吐量。     

基于WSDM的校园网流量监测系统设计与实现

设计了一种基于WSDM的校园网流量监测系统。以校园网为实验环境,设计并实现了该流量监测系统的原型。通过测试结果分析,证明该系统比传统流量监测系统具有更多的流量采集方式,更好的松耦合性,更容易进行扩展以及服务管理,对基于分布式计算的网络管理系统模型的开发和设计有较好的借鉴价值。