基于数据流管理平台的网络安全事件监控系统

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件．数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型．本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型．在这个模型中，数据流管理平台有效地支持了对高速网络数据流的实时查询与分析，从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能．利用CQL作为接口语言，精确描述安全事件规则与各种监拉查询，具有很强的灵活性与完整性．另外，系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能，具有良好的可扩展性，     

高速网络环境下的网络入侵检测系统的研究

高速网络环境下的入侵检测是一个新的研究方向。基于负载均衡技术和协议分析技术,提出了一个能够应用在高速环境下的网络入侵检测系统。负载均衡技术把在前端捕获的高速数据流进行分化,以利于后端处理;协议分析技术利用网络协议的层次性和相关协议的知识快速地判断攻击特征是否存在。基于代理的分布式体系结构,增强了系统的可扩展性,提高了系统的检测效率。     

面向粗粒度数据流网络处理器的混合定制硬件加速

本文针对控制流网络处理器固定拓扑结构的限制及指令集并行性开发的不足,将粗粒度数据流设计思想引入到网络处理器体系结构设计中,提出了一种新型粗粒度数据流网络处理器体系结构-DynaNP。DynaNP利用处理引擎(PE)内控制流执行方式获得较高的可编程性,还利用PE间数据流执行方式开发了报文处理中的任务级并行性。为了进一步提高DynaNP的系统流量,面向DynaNP的多核及数据流特性,设计了混合定制硬件加速机制,并详细介绍了实现混合定制硬件加速的关键技术,通过提供统一的混合定制硬件加速接口,可以支持定制指令和协处理器两种典型硬件加速器。     

数据流处理技术在电信网管系统中的应用

网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。     

基于异构机群的高速网络入侵检测系统

结合异构机群系统,提出一种基于双向驱动的分流算法,将高速数据流分为多个子数据流,把子数据流交由异构机群系统中最合适的节点处理,实现基于异构机群的高速网络入侵检测系统。实验结果表明,该系统保证了某时间段内具有相同源或目的地址的所有数据包发向同一个后端IDS引擎进行检测,能在高速网络环境下保持高检测率,并有效解决负载均衡问题。     

分布式数据流挖掘技术综述

网络信息技术的高速发展产生了新的数据模型,即数据流模型,并且越来越多的领域出现了对数据流实时处理的需求,庞大且高速的数据以及应用场景的实时性需求均推进了数据流挖掘技术的发展。首先介绍了常见的数据流模型;然后根据数据流模型的特点总结数据流挖掘的支撑技术;最后,分析了分布式数据流挖掘的重要性和有效性,给出了算法并行化的数学模型,并介绍了几种具有代表性的分布式数据流处理系统。     

粗粒度数据流网络处理器体系结构及原型系统设计

网络处理器是一种支持高速报文处理和转发的可编程通信集成电路.作为路由器中的重要组件,网络处理器设计不但强调高性能,还要求足够的灵活性以支持未来的网络协议.针对控制流网络处理器固定拓扑结构及指令级并行性开发方面的不足,采用粗粒度数据流设计思想,提出了一种粗粒度数据流网络处理器体系结构及原型--DynaNP.DynaNP不但可利用处理引擎内控制流执行方式获得高可编程性,还利用处理引擎间数据流执行方式有效开发报文处理中的任务级并行性.此外,DynaNP提供了处理路径动态配置机制,可有效提高系统流量.DynaNP的原型系统基于SoPC技术设计实现.多个PE和功能模块通过片上高速通信网络连接,其中,核心处理引擎采用嵌入式RISC处理器核LEON3实现,并采用指令集扩展技术优化网络协议处理.该原型系统可有效验证粗粒度数据流网络处理器的功能和关键技术.     

“电信机房险”

各种网络所要完成的核心任务是:确保用户的“数据流”得以准确、高速、完整和连续(7×24小时)地被处理。因此电信机房选用的UPS电源必须为网络设备的正常运行提供理想的运行环境。 由于计算机网络技术被广泛地用于电信的管理和调控系统,当今的电信机房不再是48伏通信电源独领风骚、220伏电源无足轻重的局面。针对电信机房220伏/380伏交流用电设备不断增多的现实,在线式UPS将成为主流。同传统的48伏逆变电源相比,在线式UPS具有明显的技术     

基于FPGA+TCAM架构的网络分流系统的设计与实现

网络流量分类技术为网络服务提供有力保障,在网络行为分析和网络监管方面发挥重要作用。设计并实现了一种基于FPGA+TCAM架构的网络分流系统,接入高速网络信号,恢复数据流信息,并对其进行分流管理。解决了传统网络分流系统接入速率不高,分流效果差的问题。最后对系统平台进行了测试,测试结果表明,该系统具备在高速网络环境下数据流实时分流处理的能力。     

数据流持续查询中调度策略的适应性研究

处于高速网络环境中的许多应用所需要处理的数据是以数据流的形式存在的，数据到达可能是突发性的。数据到达速率是随着时间变化的，对数据流的实时查询处理要能适应数据流的特性和网络的波动环境。文章对数据流查询计划中调度策略的适应性进行分析，实现在降低运行时系统存储需求的同时保持较低的输出延迟，在一定程度上能够适应数据流到达速度的变化。     

高速网络IPv6数据包采集的研究

被动数据捕捉技术在网络安全领域有着极其丰富的应用,但传统的采集方式在网络流量较大时,系统将出现大量丢包现象,己经不能适应千兆网络的要求？PF_RING机制是一种不必修改网卡驱动,面向PC、普通网卡的接口丰富的性能表现优异的软件解决方案。本文首先分析了传统的数据包采集技术,然后对PFRING机制进行详细的分析,在此基础上,基于Linux操作系统实现了基于PF_RING的IPv6数据包采集,最后在实验平台上进行测试并对测试结果进行分析：     

基于统计移位排序结构的高速路由器公平队列调度算法实现

高速化和多媒体化是未来网络的主要发展方向,为了给用户提供可靠的端到端服务质量保证,通常需要在网络的中继节点上引入基于流的队列调度机制。WF^2Q＋队列调度算法即是一种性能优异同时又易于实现的公平队列调度算法。文中提出了一种基于统计移位排序结构的WF^2Q＋算法高速硬件实现方法,该方法充分利用队列的统计信息,以相对较少的硬件资源实现了统计意义上的快速完全排序。FPGA实现的结果表明,该结构可以应用于端口速率为OC－48的高速IP路由器上。     

Design and implementation of efficient communication abstractions on the Virtual Interface Architecture: Stream sockets and RPC experience

The emergence and standardization of system area networks (SANs) has provided distributed applications with a medium for high‐bandwidth, low‐latency communication. Standard user‐level networking architecture such as the Virtual Interface (VI) Architecture enables distributed applications to perform low overhead communication over SANs. The VI Architecture significantly reduces system processing overheads and provides each consumer process with a protected, directly accessible interface to the network hardware. Developing distributed applications using low‐level primitives provided by user‐level networking architecture like the VI Architecture is complex and requires significant effort. This paper describes how high‐level communication paradigms like stream sockets and remote procedure call (RPC) can be efficiently built over the VI Architecture. To evaluate performance benefits for standard client–server and multi‐threaded environments, our focus is on off‐the‐shelf sockets and RPC interfaces and commercially available VI Architecture‐based SANs. The key design techniques developed in this paper include credit‐based flow control, decentralized user‐level protocol processing, caching of pinned communication buffers, and deferred processing of completed send operations. In the experimental evaluation, the one‐way bandwidth achieved by stream sockets over VI Architecture was three to four times better than the bandwidth achieved by running legacy protocols over the same interconnect. On the same SAN, high‐performance stream sockets and RPC over VI Architecture achieve significantly better (between 2× and 3× less) latency than conventional stream sockets and RPC over standard networking protocols in a Windows NT? 4.0 environment. Furthermore, our high‐performance RPC transparently improved the network performance of the distributed component object model (DCOM) by a factor of two to three. Copyright © 2001 John Wiley & Sons, Ltd.     

高性能并行入侵检测算法与框架

基于单引擎检测的网络入侵检测系统(network intrusion detection system,NIDS)靠辅助硬件和改进检测算法来提高处理性能,但已无法适应10Gb/s以上流量的线速处理要求。利用多检测引擎进行并行处理是实现高性能入侵检测的重要技术手段,并行检测系统通过多检测引擎进行并行协同检测,具有高性能和可扩展的优点。归纳了进行流量划分时遇到的保持检测攻击所需证据和负载均衡这两方面的挑战及其解决策略。综合现有并行入侵检测框架的优点,提出了一个统一的支持多检测引擎并行检测的体系结构UPDA(uniformed parallel detection architecture)。利用NetMagic平台,基于UPDA框架,设计和实现了一个高性能并行入侵检测原型系统,并通过实验验证了系统的高性能和有效性。     

光频收发信机制及其在计算机中的应用

冯诺曼机器以提高处理器频率增强性能,多处理器环境当中的系统性能决定于使更多处理器协同工作。通信带宽是高性能计算系统的首要瓶颈。本文提出一种芯片间通信的神经脊,把数以百计的芯片连接成一组网络,为多处理单元并行运算提供一个骨架。用相干的激光作为通信媒介,以垂直腔面的激光元件组成收发信机。相干光充分利用谐振线路放大器的特性提升通信的扇出,令芯片间的信息传递效率大大提高。使通信网络的复杂性从按通信端点数n*(n+1)式上升,变为线性增加。     

Entropy-based generation of supervised neural networks for classification of structured patterns

Sperduti and Starita proposed a new type of neural network which consists of generalized recursive neurons for classification of structures. In this paper, we propose an entropy-based approach for constructing such neural networks for classification of acyclic structured patterns. Given a classification problem, the architecture, i.e., the number of hidden layers and the number of neurons in each hidden layer, and all the values of the link weights associated with the corresponding neural network are automatically determined. Experimental results have shown that the networks constructed by our method can have a better performance, with respect to network size, learning speed, or recognition accuracy, than the networks obtained by other methods.     

Streaming multiple aggregations using phantoms

Data streams characterize the high speed and large volume input of a new class of applications such as network monitoring, web content analysis and sensor networks. Among these applications, network monitoring may be the most compelling one—the backbone of a large internet service provider can generate 1 petabyte of data per day. For many network monitoring tasks such as traffic analysis and statistics collection, aggregation is a primitive operation. Various analytical and statistical needs naturally lead to related aggregate queries. In this article, we address the problem of efficiently computing multiple aggregations over high-speed data streams based on the two-level query processing architecture of GS, a real data stream management system deployed in AT & T. We discern that additionally computing and maintaining fine-granularity aggregations (called phantoms) has the benefit of supporting shared computation. Based on a thorough analysis, we propose algorithms to identify the best set of phantoms to maintain and determine allocation of resources (particularly, space) to compute the aggregations. Experiments show that our algorithm achieves near-optimal computation costs, which outperforms the best adapted algorithm by more than an order of magnitude.     

基于无线传感器网络的农业精准控制系统研究

根据设施农业应用环境复杂的情况,利用无线传感器网络多网络整合技术、无线传感器网络通信协议、无线传感器网络节点技术、无线传感器网络数据管理技术,设计出以传感数据管理为中心,结合数据库技术和计算机网络技术,从逻辑概念和软硬件技术两个方面实现高性能的以数据为中心的控制系统。     

面向卷积神经网络的FPGA加速器架构设计

随着人工智能的快速发展,卷积神经网络(CNN)在很多领域发挥着越来越重要的作用。分析研究了现有卷积神经网络模型,设计了一种基于现场可编程门阵列(FPGA)的卷积神经网络加速器。在卷积运算中四个维度方向实现了并行化计算;提出了参数化架构设计,在三种参数条件下,单个时钟周期分别能够完成512、1024、2048次乘累加;设计了片内双缓存结构,减少片外存储访问的同时实现了有效的数据复用;使用流水线实现了完整的神经网络单层运算过程,提升了运算效率。与CPU、GPU以及相关FPGA加速方案进行了对比实验,实验结果表明,所提出的设计的计算速度达到了560.2 GOP/s,为i7-6850K CPU的8.9倍。同时,其计算的性能功耗比达到了NVDIA GTX 1080Ti GPU的3.0倍,与相关研究相比,所设计的加速器在主流CNN网络的计算上实现了较高的性能功耗比,同时不乏通用性。