多网卡绑定技术在服务器系统中的应用

随着社会信息化进程的不断推进,各行业的服务器访问量越来越大,客户端连接的速度越来越慢,一块普通的百兆网卡已经不能满足气象业务应用的需要。由于服务器在气象业务中的特殊地位,加上服务器的高可用性和安全性,也受到用户前所未有的重视,它已经成为气象网络信息环境的重要指标,其中最重要的一点是服务器网络连接的高可用性。为了实现气象数据传输更加顺畅和公众对气象信息的访问更加快捷,我们在服务器中采用多网卡绑定技术使网卡之间能自动切换工作、自动分担负载。本文介绍了多网卡绑定的提出背景和绑定模式,详细介绍了Linux环境下的多网卡bonding技术实现过程,服务器端的配置方法。研究表明,多网卡链路绑定解决方案可以明显增加系统整体网络接口的吞吐率和提供网络子系统的可用性。     

基于异构多核处理器的媒体资源服务器

随着彩铃、IVR等多媒体增值业务需求的增加,电信网络中媒体资源服务器的多媒体并发处理能力逐渐成为这些增值业务发展的主要制约瓶颈。该文在分析媒体资源服务器特性的基础上,提出一种基于异构多核微处理器架构的媒体资源服务器的解决方案,探讨媒体资源服务器在该多核架构下的设计及媒体处理的性能优化,并进行相关测试。仿真测试结果表明,该设计可以获得高于现有通用处理器平台下媒体资源服务器2倍~4倍的性能表现。     

针对搜索服务的操作系统伸缩性研究

分析当前成熟操作系统,找出其在多核环境下的性能瓶颈并进行改进,已经成为了现代操作系统研究的重点之一.通过搜索服务压力测试实验发现,运行Nginx反向代理的64核Linux服务器的伸缩性不佳,启用64核时的吞吐量仅是1核时的3倍.瓶颈在于服务器上所有网卡中断和软中断处理都集中在一个CPU核上.结合网卡的Flow Direction机制和Linux内核中断的亲和性配置,实现了网卡中断负载均衡的方法,系统吞吐量提升33％.多核环境下网卡中断负载均衡无法保证TCP连接的亲和性.通过修改Linux内核代码,解决了TCP连接的非亲和性问题,系统吞吐量在之前的提升基础上,又提升9％.     

运用双向链路聚合提高服务器性能的运用

随着云计算、大数据应用的普及,服务器作为提供信息化服务的核心设备,其接口带宽、并发数据处理能力和数据稳定性关重要。采用HP自带的NCU网卡绑定工具和Quidway S9306核心交换机进行服务器与核心交换设备之间的链路聚合可以扩展服务器网络带宽,减少响应时间,提高网络数据传输效率,为网络部件及链路提供冗余和失效接管,保障服务器稳定运行。该文通过实例介绍了网卡绑定技术的原理和利用网卡绑定+核心交换设备ETH-THUNK的技术提升服务器性能。     

运用双向链路聚合提高服务器性能的运用

随着云计算、大数据应用的普及,服务器作为提供信息化服务的核心设备,其接口带宽、并发数据处理能力和数据稳定性关重要。采用HP自带的NCU网卡绑定工具和Quidway S9306核心交换机进行服务器与核心交换设备之间的链路聚合可以扩展服务器网络带宽,减少响应时间,提高网络数据传输效率,为网络部件及链路提供冗余和失效接管,保障服务器稳定运行。该文通过实例介绍了网卡绑定技术的原理和利用网卡绑定+核心交换设备ETH-THUNK的技术提升服务器性能。     

基于多核的IPSec并行处理技术研究与实现

IPSec VPN网关需要进行大量加解密运算,对网络传输带宽产生较大影响。该文提出基于多核处理器的IPSec协议并行处理模型,将IPSec网络报文调度到多个处理器单元上运行,从而提高传输带宽。在Linux操作系统上对该模型进行具体实现,经过测试,在双核处理器上,IPSec VPN网关获得了接近倍速的性能提升。     

一种高性能高精度IP流重放系统的设计与实现

现有IP流重放系统大多基于纯软件或昂贵的网络测试设备,存在着性能低、时间戳精度不够及成本过高等诸多问题。提出并实现了一种基于Cavium公司的CN38XX系列多核网络处理芯片的网卡、运行于Linux主机和网卡芯片的在线改包发包系统,该系统具有高精度高性能的IP流修改、重放的功能。     

基于多核的多线程程序优化研究

随着主流芯片厂商的大力推广,多核处理器已经变得越来越普及.以往串行化的程序设计方法在多核环境下已经不能充分利用多核CPU的资源.怎样高效地利用多核处理器的计算性能,已经成为软件开发者面临的新的课题.文中在传统的多线程编程基础上,根据Intel处理器的微架构(Microarchitecture)特点,以及Linux内核提供的CPU绑定技术,通过采用Cache优化和CPU亲和力(CPU affinity)优化,消除了多核环境下局部多线程Cache行竞争和伪共享,减少了线程的调度开销,提高了多线程程序的运行效率.     

多网卡链路绑定策略的研究与实现

在考虑到NAS(Network Attached Storage system)服务器处于网络中的中枢位置，为了提高网络性能和安全，文中提出了多网卡链路绑定MNCB(Multiple Network Channel Bonding)的解决方案．本文描述了在FreeBSD操作系统下实现MNCB的解决方案．着重描述了网卡负载均衡ALB(Adapter Load Balancing)网卡出错冗余AFT(Adapter Fault Tolerance)技术，并对该方案的性能和提高网络可用性作出了分析．研究表明，多网卡链路绑定解决方案可以明显增加系统整体网络接口的吞吐率和提高网络子系统的可用性．     

一种基于X86架构的多核绑定技术

针对如何利用高性能多核化设备,提高网络安全产品的处理能力,设计和实现了一种基于x86架构的Llinux平台多核绑定技术。该技术首先建立DMA缓冲队列映射,减少网卡访问次数,采用SIMD多核思想设计和实现了虚拟数据桶,并对进入数据桶的数据实施负载均衡;将Netfilter主函数多线程化,并采用内核线程绑定技术将多线程绑定到指定核.实验结果表明,DMA缓冲队列映射可以提高网络设备的I/O吞吐量,虚拟数据桶减少了数据包二次拷贝的开销,节省内核态内存,多核绑定技术提高网络安全设备多核利用率和数据包处理能力。     

服务器多网卡高可用技术的应用研究

随着服务器地位在企业内部的提高,它的可靠性、可用性及其I/O速度就显得非常的重要,保持服务器的高可用性和安全性是企业IT环境的重要指标,其中最重要的一点是服务器网络连接的高可用性。介绍了Linux服务器网卡高可用Bonding技术及采用Bonding技术的服务器,如何与交换机配合构建高可用的网络环境,并介绍了超算中心服务器与交换机模式不匹配问题的解决方法。     

A high-performance and scalable multi-core aware software solution for network monitoring

In recent years, the need for high-performance network monitoring tools, which can cope with rapidly increasing network bandwidth, has become vital. A possible solution is to utilize the processing power of multi-core processors that nowadays are available as commercial-off-the-shelf (COTS) hardware. In this paper, we introduce a software solution for wire-speed packet capturing and transmission for TCP/IP networks under Linux operating system, called DashCap. The results of our experimental evaluations show that the proposed solution causes more than two times performance boost for packet capturing in comparison to the existing software solutions under Linux. We have proposed a scalable software architecture for network monitoring tools called DashNMon, which is based on DashCap. Multi-core awareness is a distinguished property of this architecture. Comparing to the existing cluster-based solutions, DashNMon can be used with COTS multi-core processors. In order to evaluate the proposed solutions, we have developed several prototype tools. The results of the experiments carried out using these tools show the scalability and high performance of the network monitoring tools that are based on the proposed architecture. Using the proposed architecture, it is possible to design and implement high-performance multi-threaded network intrusion detection systems (NIDSs) or application-layer firewalls, completely in the user space and with better utilization of the computational resources of multi-processor/multi-core systems.     

基于bonding技术的负载均衡研究

负载均衡技术的使用能够扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。文章阐述了基于bonding技术的负载均衡思想,描述了Linuxbonding驱动的加载步骤,并利用测试带宽工具在Linux平台双网卡连接环境下对bonding技术的性能进行测试,并对测试结果进行分析,表明bonding技术在负载均衡方面的可用性。     

DSCF:一种面向共享存储多核DSP的数据流分簇前向技术

多核数字信号处理器(DSP)的性能常常受限于共享存储的长延迟Cache一致性访问.数据前向(forwarding)技术是隐藏长延迟访问的一种有效手段.根据多核DSP应用的两类重要特征,提出了一种面向共享存储多核DSP结构的数据流分簇前向技术DSCF(data stream clustered forwarding).DSCF方法的主要特点是:兼容基本的共享存储Cache一致性协议;不污染目标Cache;数据的传输速度能够与消费速度相匹配;系统结构的可扩展性好.典型测试程序的模拟评测表明,采用DSCF方法能够将Cache一致性失效率平均降低44%,将系统总体性能提升30%～70%.     

异构处理器多操作系统协同技术研究

随着嵌入式设备应用场景日趋复杂的变化,异构多核架构逐渐成为嵌入式处理器的主流架构.目前,多核处理器主要采用的单操作系统模式在实际应用中存在诸多局限性.为了充分发挥异构处理器的多核特性,针对异构处理器不同核部署相应的操作系统并实现多操作系统协同处理技术至关重要.本文对异构多核处理器（ARM+DSP）操作系统进行了研究,在异构多核平台上成功移植了嵌入式Linux和国产DSP实时操作系统ReWorks;为实现ReWorks与Linux操作系统协同处理,本文对核间通信的关键技术进行分析研究,并以TI公司的AM5718为例,设计了一系列多核异构通信组件.经测试,本文设计的异构通信组件实现了在ARM上对DSP核进行ReWorks操作系统和应用程序的动态加载、Linux与ReWorks核间消息收发、以及Linux与ReWorks的协同计算等功能.     

Optimizing image processing on multi-core CPUs with Intel parallel programming technologies

The rapid advance of computer hardware and popularity of multimedia applications enable multi-core processors with sub-word parallelism instructions to become a dominant market trend in desk-top PCs as well as high end mobile devices. This paper presents an efficient parallel implementation of 2D convolution algorithm demanding high performance computing power in multi-core desktop PCs. It is a representative computation intensive algorithm, in image and signal processing applications, accompanied by heavy memory access; on the other hand, their computational complexities are relatively low. The purpose of this study is to explore the effectiveness of exploiting the streaming SIMD (Single Instruction Multiple Data) extension (SSE) technology and TBB (Threading Building Block) run-time library in Intel multi-core processors. By doing so, we can take advantage of all the hardware features of multi-core processor concurrently for data- and task-level parallelism. For the performance evaluation, we implemented a 3?×?3 kernel based convolution algorithm using SSE2 and TBB with different combinations and compared their processing speeds. The experimental results show that both technologies have a significant effect on the performance and the processing speed can be greatly improved when using two technologies at the same time; for example, 6.2, 6.1, and 1.4 times speedup compared with the implementation of either of them are suggested for 256?×?256, 512?×?512, and 1024?×?1024 data sets, respectively.     

Adaptive network-traffic balancing on multi-core software networking devices

Software networking devices running on commercial-off-the-shelf hardware offer more flexibility and less performance than high-end, dedicated, networking devices. However, this lack of performance can be compensated, to some extent, by multi-core processors that can manage network packets in parallel. In order to efficiently utilize multi-core architectures, the processing load and the network traffic must be properly balanced to optimize the inter-core communication. Here, we analyze the traffic distribution on a per-packet and per-flow basis and verify the performance of the Linux Bridge networking device. A new, adaptive, traffic-distribution method is proposed, which combines packet-based and flow-based traffic distributions. The method was experimentally validated by two test cases – the “worst-case” scenario, with one dominant flow, and the “backbone-link” scenario, with a large number of flows that have a similar packet rate. In the case of one dominant flow, the performance in traffic throughput is improved by a factor of 2.8 by engaging four processing cores. In the case of a large number of traffic flows, the performance remains similar to the existing flow-based methods.     

一种加速访存地址计算的编译优化

在国产申威高性能多核服务器系统中,基础编译系统对应用程序中访存操作进行代码生成时,没有考虑国产处理器指令特征,导致编译器生成的访存地址计算代码效率较低,影响国产高性能处理器的性能。为充分发挥国产处理器高性能计算能力,提出一种加速访存地址计算的编译优化方法。加速访存地址计算编译优化基于处理器支持带扩展因子的运算指令,在编译器后端内存地址表达式合法性检查中,添加针对乘加模式的地址计算表达式合法性检查算法,自动识别地址表达式中存在的乘加运算并进行合法性检验,对符合条件的地址表达式在代码生成阶段匹配生成带扩展因子的运算指令来快速计算访存地址,从而加快访存指令的发射与执行以及应用程序中的访存地址生成,提升访存效率。使用行业标准性能测试集SPEC CPU2006对优化效果进行评测,结果表明,相比优化前SPECspeed Integer与SPECspeed Float Point两个子集,该优化方法平均性能分别提高了2.53%与1.50%。     

基于指令Cache作废的多核处理器同步技术

共享存储多核处理器中“忙-等待”技术常用来实现锁或栅栏等同步操作,这些典型的同步机制通常受限于较长的同步延迟和资源竞争等问题,导致扩展性较差,且需要不时进行访存操作,影响正常存储器访问操作,加剧对存储系统的带宽需求。提出了一种用于同步数据触发结构多核处理器的基于指令Cache作废的同步技术,同步时作废将执行的指令Cache行导致取指失效,向L2 Cache发送取指请求,L2 Cache中设置相应的过滤机制,不服务不满足同步条件的处理器核的取指请求,使相应处理器核暂停,达到同步目的。测试表明,该方法在可扩展性和同步性能方面均具有一定的优势。