零拷贝技术在网络分析工具中的应用

针对目前网络分析工具的报文捕获机制及优缺点,实现了一种新的专用于报文捕获的网络协议簇—PF_ZEROCOPY。该协议簇基于零拷贝思想,借助内存共享技术,将网络报文直接DMA传输到用户空间的缓存区,绕开Linux网络协议栈、减少了内存拷贝次数;使用DMA缓存描述符环,实现了网卡和用户程序无冲突访问共享缓冲区;通过封装成内核网络协议簇,PF_ZEROCOPY具有易于应用和移植的特点。实验结果分析表明,该方法对随机长度的报文捕获速率可达900Mb/s以上,与libpcap相比较为明显地改善了报文捕获的能力。     

一种面向可编程确定性零拷贝的FPGA加速器

随着网络规模的进一步扩展,传统B/S架构的单体应用逐渐被微服务所代替,服务的拆分使得API的规模呈指数增长.而商用网卡处理在处理海量的微服务请求时,在确定性、可编程和数据拷贝三个方面表现出巨大的局限性.为保证各网络节点高效、灵活、精确地处理服务请求,本文提出可编程确定性的多队列FPGA加速器原型.该加速器依托多个硬件队列以及队列管理单元,扩展基于规则的RSS算法,实现serverless友好的数据包分发.添加PTP硬件时钟组件,与队列管理单元协同控制对数据包的确定性发送.为提升网络节点的数据收发效率,设计了适配FPGA加速器的驱动程序,实现数据包收发的零拷贝.在支持100Gbps线速率的FPGA上进行的实验表明,该加速器可以支持不同数据包大小的多队列的零拷贝传输,定义网路节点的转发行为,并在8个核心的FPGA设备上接近线速率处理数据,此外,它还支持以接近ovs-DPDK的低延迟进行数据包转发,在一定程度上克服了商业网卡在面向微服务架构时的局限性.     

基于RTL8169网卡的零拷贝技术研究与实现

在传统的数据包捕获系统中,数据在内存中的拷贝花费了巨大的开销,严重影响了捕包系统的性能.文中根据零拷贝的思想,实现了一种基于RTL8169千兆网卡的高性能数据捕获平台,使得数据报文到达网络接口后,直接以DMA的方式存储到应用程序可以访问的地址空间,从而避免了其在内存中的拷贝,节省了CPU的开销.测试结果表明,当捕获的数据包为大数据包时,本捕获平台的最高捕获率达到了895M,几近发挥了网卡的最大性能,而且对小数据包的捕获率也得到了大幅提升.     

SCSI系统中零拷贝技术的应用

随着网络带宽和IO总线速率迅速提高,设备驱动的IO性能越发成为数据存储的瓶颈：本文讨论了两种零拷贝技术,直接输入输出和内存映射输入输出,在Linux SCSI Generic驱动中的应用,并结合实验对其在存储系统的吞吐率和处理器负载等方面的改善加以研究。     

零拷贝RAID系统的设计

RAID零拷贝设计充分利用散聚表，减少数据在RAID系统中各个模块间不必要的内存拷贝，避免数据重复保存．这种设计和传统的RAID设计相比，可以有效减少RAID系统的处理器负载．提高IO吞吐率和CACHE命中率．通过信息存储系统教育部重点实验室实现的两种设计的RAID系统测试表明，零拷贝的RAID设计可以提高IO吞吐率10％左右．     

Linux环境下普适性零拷贝平台的研究与实现*

综合分析了现有的多种零拷贝平台的实现机制及优缺点,实现了一种具有普适意义的零拷贝捕包平台(packet capture platform based on universal zero-copy,PCPUZ)。通过直接对Linux内核中套接字缓冲区的内存分配和释放机制的修改,实现用户程序对数据报文的直接访问,并且克服了普通零拷贝技术应用范围单一、移植性差等缺点,面对不同型号网卡、不同版本网卡驱动,均可直接使用该平台。通过性能测试和分析表明,在低端配置的情况下,对64 Byte与1 500 Byte的报文捕     

网络缓存的零拷贝优化

数据的冗余拷贝是影响网络缓存软件性能的重要因素.本文详细分析了当前广泛使用的网络缓存程序Squid的数据拷贝流程,利用快速文件传输和数据流拼接两种策略在Linux平台上实现了squid的零拷贝优化.快速文件传输是将文件数据从文件系统内核缓存直接发送到远程主机,数据流拼接则是在网络协议栈内核缓存之间直接交换数据,二者都能够减少数据在内核空间和用户空间流动带来的冗余拷贝.实验证明,经过优化的Squid在主机CPU占用率和请求响应时间等方面的性能均有显著提高.     

基于网络处理器的零拷贝技术*

通过分析网络处理器系统的收发机制,提出了一种基于网络处理器的零拷贝技术。该技术不仅实现了在网络处理器系统下的零拷贝技术,而且也体现出网络处理器中不同数据处理层的协作框架。     

零拷贝技术及其实现的研究

零拷贝（ｚｅｒｏ－ｃｏｐｙ）是实现主机或路由器等设备高速接口的主要技术。零拷贝技术通过减少或消除关键通信路径影响速度的操作,降低数据传输的操作系统开销和协议处理开销,从而有效提高通信性能,实现高速数据传输。     

零拷贝报文捕获平台的研究与实现

根据零拷贝思想,实现了一种高性能的报文捕获平台(High-Performance Packet Capture Platform,HPPCP)．通过实现网络接口设备直接将数据报文以DMA方式存储到应用程序可以访问的地址空间,避免数据报文在内核态里传输时的内存操作,缩短了数据报文的行走路径;通过环策略管理数据报文缓冲区,实现了网卡和应用程序能够无冲突访问共享资源．这两点有效地降低了网络通信的延迟,极大地节省了CPU的开销．通过性能的分析比较表明,接收64Byte与1500Byte的报文时吞吐量分别达到90万pps(439Mbps)和8．2万pps(938Mbps),与传统的报文传输机制相比,报文捕获能力有了较为显著的提高．     

一种高速数据传输中的软硬件解决方法

本文从软硬件两方面着手，重点介绍了DMA传输及混合语言编程应用在高速数据采集过程中的一个实例，并给出了具体实现的接口示意图和程序。     

高性能PCI驱动程序的关键技术

为了提高基于PCI互连多处理器之间大量数据的有效传输,提出了一种针对PCI设备数据传输的驱动程序设计方法.首先描述了嵌入式处理平台由通用处理器PowerPC与数字信号处理器(DSP)组成,DSP处理器需要将处理的图像及视频等数据发送给PowerPC处理器,PowerPC负责事务性管理及远程网络传输,然后讨论了Linux操作系统下PCI数据传输驱动程序设计的关键技术,如DMA传输技术、零拷贝技术等.通过在PowerPC和DSP双处理器平台上进行编程测试,实验结果表明,采用该关键技术设计的PCI驱动程序明显提高了PowerPC与DSP之间的数据传输能力.     

OMAP5910实时图像系统中的DMA数据传输

分析OMAP5910的内存管理及DMA传输能力;提出一种基于OMAP5910开发的图像系统数据传输优化方案;给出具体的实现方法和调试经验,为今后实时图像系统的设计提供重要参考。     

PCI总线高速数据传输系统设计

本文通过一套数据采集卡的设计介绍了PCI总线数据传输的基本过程,给出了系统整体设计方案和PCI接口通信方式及驱动程序实现,并着重讨论了PCI数据传输中影响传输速率的各个方面.     

基于PCI总线的DMA方式高速数据传输

本文通过PCI总线I／O加速器PCI9054，利用DMA方式实现了高速数据传输。详细介绍了两种主要的DMA方式,PCI9054内部相关寄存器的配置以及DMA的数据操作流程，并根据本地信号状态机，在FPGA中设计本地信号控制器，实现了计算机高速读取PCI设备内的数据。     

基于锁集合的动态数据竞争检测方法

数据竞争使得共享存储程序难于调试．以前大部分针对共享存储程序的动态数据竞争检测工作都是通过维护发生序来实现．这种方法有一个重要缺点，即针对程序的一种输入，对程序的一次执行进行检测，不能检测出所有的可行数据竞争．文中利用存储一致性模型的框架模型，针对域一致性模型提出了增强发生序概念，并依此得出一种基于锁集合的动态数据竞争检测算法，克服了这个问题．在软件DSM系统JIAJIA上的实现获得了很好的性能，应用平均减速比为3．14．利用该方法，在TSP程序中找到了大量的读写数据竞争的情况．     

DMA传输方式下基于VB的高速数据采集程序设计

介绍了DMA传输方式下高速数据采集的基本原理,分析了在Windows 2000/XP/NT操作系统下,利用VB (Visual Basic)作为开发平台,通过调用动态链接库(DLL)实现基于DMA传输方式的高速数据采集的详细方法.