基于Linux的高速网络数据捕获技术

当前,在Linux下普遍使用的传统捕获技术都是基于BPF机制,随着网络速度的不断提高,捕获效率却不断下降。本文介绍一种在高速网络下基于零拷贝思想的PF_RING捕获技术,通过减少内核空间到用户空间数据拷贝的方式,大大提高了系统性能,并详细阐述了PF_RING在Linux核心下的实现,通过实验验证了它的可行性。     

网络数据采集技术研究

随着网络带宽的不断增长,网络安全系统(如网络入侵检测系统--NIDS)对网络数据包捕获能力要求越来越高,为了提高网络数据包的捕获能力以适应当今高速网络环境,本文在分析传统网络数据采集系统的基础上,采用地址映射、零拷贝捕包和零拷贝存储等技术,提出一种新的捕包系统,该系统的性能较传统的方法有了大幅的提高,在千兆网络环境下,能够满足网络安全对网络数据包捕获能力的需求.     

高速网络环境下恶意代码的监测技术

高速网络环境下恶意代码的监测技术是实现对计算机病毒和网络攻击事件动态监测、应急处置的重要手段,是有效防范计算机病毒传播、及时发现重大网络攻击事件苗头的重要措施,进一步增强了我国互联网络信息安全的整体防御能力。通过高速网络环境下恶意代码的监测技术,可以掌握我国各个地区的网络病毒传播情况,可以为信息安全主管机关提供准确的病毒疫情。开发过程中主要技术包括零拷贝报文捕获技术;采取多线程TCP/IP协议栈的方法来提高系统的整体性能;基于大流量的未知恶意代码检测技术。     

Snort入侵检测系统中数据包捕获模块的分析与设计

随着网络的高速发展,网络带宽得到了极大的提升。高速网络环境下对入侵检测系统提出了更高的要求,其中入侵检测系统的数据包捕获能力成为其发展的瓶颈。目前大多数系统使用传统的Libpcap库来实现数据包捕获功能,文章对一个基于Snort入侵检测系统中数据包捕获模块进行了分析设计,给出了设计架构,详细说明了工作流程,并对系统的性能进行了对比分析。     

基于零拷贝技术的千兆网络性能优化研究

在基于千兆以太网的应用系统中,核心系统和应用程序间的内存拷贝是额外的系统开销,是影响处理速度的关键因素之一.本文分析了在千兆速率下影响传输性能的可能存在的几个因素,着重比较了几种现有的零拷贝技术,采用了RDMA技术构建了零拷贝千兆网络,验证了RDMA技术可以有效的解决千兆网络的传输瓶颈.     

Linux环境下普适性零拷贝平台的研究与实现*

综合分析了现有的多种零拷贝平台的实现机制及优缺点,实现了一种具有普适意义的零拷贝捕包平台(packet capture platform based on universal zero-copy,PCPUZ)。通过直接对Linux内核中套接字缓冲区的内存分配和释放机制的修改,实现用户程序对数据报文的直接访问,并且克服了普通零拷贝技术应用范围单一、移植性差等缺点,面对不同型号网卡、不同版本网卡驱动,均可直接使用该平台。通过性能测试和分析表明,在低端配置的情况下,对64 Byte与1 500 Byte的报文捕     

高速网络环境下的入侵检测技术

在分析入侵检测系统速度瓶颈的基础上,针对影响提高系统性能的因素,介绍和分析相应的解决方法.最后,对入侵检测技术的发展趋势进行探讨.     

高速网络环境下的快速包捕获技术

随着计算机网络技术的快速发展,链路层以下的数据传输能力有了极大提高,与此同时,对高速网络监管的需求向快速包捕获技术提出了新的更高的要求。本文探讨了以libpcap为基础的几种快速包捕获技术——改善内存管理在包捕获中的作用、包捕获中的半轮询机制的NAPI技术。     

高速网络技术的发展及研究

本文综合了当前两大阵营的高速网络－生动活泼争位以太网及ＡＴＭ网技术的发展，讨论了两种高速网技术各自的特点及不足，并对发展中的一些关键技术问题进行了研究和对高速网络的未来作了展望。     

零拷贝技术在网络行为分析系统中的应用与改进

为了适应高速网络环境对网络行为分析系统提出的高吞吐量、低时延的要求,并提高系统处理高速数据流的实时性,提出了一种改进型的零拷贝技术.在网络行为分析系统的设计中可在使用DMA和内存映射的基础上应用零拷贝技术,并根据系统的需求对零拷贝技术做出优化,使用专用内存区域来存储网络数据包,并修改Linux操作系统对网络数据包的分配和释放方式.测试结果表明,使用改进后的零拷贝技术的系统吞吐量有明显的提高.     

基于PC的吉比特级数据采集快视系统

针对某飞行器的有效载荷数据处理单元的吉比特级高速输出信号,实现一个基于PC的吉比特级数据采集快视系统。可以从飞行器内部总线上采集数据,对图像数据进行实时显示,将原始数据写入RAID磁盘阵列保存。为实现高速数据采集,设计一块专用的数据采集卡,利用FPGA对原始数据进行必要处理,通过PCI—E总线将数据接入PC主板。该系统还特别考虑降低CPU占用率以提高系统性能。     

基于ZYNQ的千兆以太网数据记录器设计

针对航空航天领域飞行器传感数据信息采集、存储和传输等需求,设计了基于ZYNQ的千兆以太网数据记录器。以ZYNQ为主控芯片,通过以太网接口实时接收数据包,编码后写入缓存单元,逻辑端提取缓存数据写入eMMC存储单元,并可读取eMMC内存储数据经以太网接口传回电脑,用于数据验证、分析。试验结果表明,该记录器实现了千兆网TCP通信,读、写平均速率达到500 Mbit/s,以太网包解析后数据以60 MB/s平均速度写入存储单元,瞬时写入最大速度可达100 MB/s。系统将主控与存储单元分离,便于对存储单元进行过载保护,用于实验后回收数据,为高过载情况下飞行器数据记录提供解决方案。     

网络环境下的大数据采集和处理

在信息媒体技术高速发展的今天,网络信息日新月异,大数据正在世界掀起一股狂热浪潮,成为人类社会的一大生产力。网络环境下的大数据技术不仅仅只是对信息的收集,同时也是对信息的分析和处理,整合信息背后所隐藏的价值。大数据技术将会为人类社会带来新的改革方向,促进人类社会的文明发展。文章主要通过探索网络环境下大数据发展的规律,以及网络环境下大数据存在的特点,针对大数据资源的有效应用途径,进一步研究其数据的采集及处理技术。     

基于Delphi平台的高效率实时数据采集技术

在计算机智能控制领域，实时数据采集是一个非常重要的环节。该文以电力系统的数据采集为背景，说明了在Windows 2000环境下通过计算机串口实现数据采集的方法。并且介绍了在Delphi中多媒体定时器的使用，从而大大提高数据采集的速度和精度，达到了智能控制的要求。     

千兆以太网技术在校园网中的应用

千兆以太网是相当成功的10Mbps以太网和100Mbps快速以太网连接标准的扩展，能为网络主干提供lGbps的带宽，充分满足教育领域的需要。湖北省税务学校采用千兆以太网构建本校的校园网，并根据实际需要，设计了一款经济实用的方案。     

社交网络数据采集技术研究与应用

随着社交网络的快速发展,对其研究也逐步深入。显然,社交网络基础数据的获取对研究具有非常重要的意义。针对目前已有的数据采集方案,根据新浪授权标准以及最新的微博加密方式,研究了两种采集方案:1)经OAuth2.0认证后,通过微博API接口获取数据;2)在RSA2加密方式下模拟登录微博,再通过网络爬虫抓取数据。同时,还研究了通过网页采集器针对微博编写适当的采集规则进而实现对数据的获取。3种数据采集方案都能有效地对数据进行采集且各具特点,针对数据的采集需求,提出融合不同的采集方案的策略。经实验研究,方案的融合策略可快速、高效地实现大数据量的采集。     

VB环境下基于PCI总线的实时数据采集的实现

本文介绍了一种基于PCI总线的多功能数据采集卡及其工作原理,讨论了其在VB环境下,利用DLL技术实现对现场数据的实时采集,并阐述了如何实现对采集的数据实时动态的显示。