分布式流处理技术综述

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.     

数据流Eager传输:一种分布式流体系结构中的性能优化技术

分布式流体系结构扩展了分布式环境下的流计算模型,可在互联网上为大数据计算应用提供高效低成本的运行环境。互联网中较长的通信开销制约了计算性能。提出了一种数据流Eager传输的性能优化技术,以挖掘计算与通信之间的并行性,隐藏通信延迟。在分布式流体系结构原型系统中实现了该技术。实验结果表明,应用程序采用该优化技术之后的平均时间开销减少了19.58%,表明该优化技术能够显著提高应用的性能,具有良好的应用前景。     

iSCSI性能优化方法综述

iSCSI是利用TCP/IP网络进行SCSI数据传输的协议,与传统存储访问协议相比,其不受限于连接距离,连接方式和拓扑结构灵活,硬件成本和管理成本大大降低,但由于TCP/IP协议栈以及数据拷贝等开销,iSCSI数据传榆性能存在一定的瓶颈.详细分析和探讨了目前优化iSCSI传输性能的几种主要方法,并探讨了iSCSI协议未来发展趋势.     

实时流处理系统Storm的调度优化综述

随着大数据技术的发展,流式处理系统渐渐成为了研究的热点。相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点。在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等特点,使它在流式数据处理系统中脱颖而出。但是在任务调度方面,Storm系统并没有做过多的考虑,默认采用相对简单的轮询调度法,导致系统在性能上存在瓶颈。近年来针对Storm系统的调度问题,研究提出了各种优化方案。本文从实时流处理系统Storm的调度优化出发,将这些优化方法分为四类,并详细阐述各类中具有一定代表性的方法,分析其优缺点以及适用的场景。最后,讨论了在日益发展的新环境下,Storm系统的调度优化相关研究未来可能存在的方向。     

交叉点规模的优化与交叉算子性能的改进

通过分析交叉点规模对交叉算子空间搜索性能的影响,可以发现在遗传算法的搜索过程中,其对交叉点规模的需求是随群体状态的演变而动态变化的.为实现对交叉点规模的优化,提出使用分阶段调整策略、随机分配策略以及自适应进化策略3 种方法来完成对交叉点规模的动态调控.对典型高维函数的优化实验表明,上述方法可以显著提高交叉操作的搜索效率,其中,自适应进化策略利用搜索机制可以发现一类高维函数交叉点规模的控制知识,实验结果证实了此类知识的有效性.此外,该研究也为对进化算法中算子和参数的优化提供了新思路.     

分布式账本系统性能优化技术综述

分布式账本作为分布式数据管理的体系架构,通常在多节点之间通过共识机制来共同维护数据记录,可将数据所有权、传播过程、交易链条等相关信息完整全面地记录在分布的账本中,并在数据产生、流动的整个生命周期中,保证数据的不可篡改、不可抵赖,为确权、维权、审计提供背书.区块链是一种典型实现.随着数字货币、数据资产交易等数字经济新应用的发展,分布式账本技术得到了越来越广泛的关注,但系统性能是其大规模落地应用的一个主要瓶颈,账本性能优化成为产业界和学术界一个研究热点.从账本体系结构、数据结构、共识机制和消息通讯4个方面,系统地调研分析了分布式账本性能优化的主要方法、关键技术和代表性的解决方案.     

分布式流数据加载和查询技术优化

分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。     

遗传算法算子优化的应用

为了解决简单的遗传算法中容易出现"早熟收敛"等问题,需要对遗传算法进行改进.改善的算法采用自适应的交叉和变异算子,让交叉和变异概率随适应函数值的变化而变化.测试证明这是一种有效的优化方法,可以起到跳出"早熟",加速收敛的效果.     

SDN性能优化技术研究综述

软件定义网络(Software-Defined Network,SDN)是一种新兴的网络架构,完全解耦了数据平面与控制平面。控制平面集中制定并下发全网决策,数据平面单纯负责数据转发。通过控制平面的开放接口,SDN实现了网络的可编程性。在未来SDN大面积部署应用的过程中,各个平面的性能优化技术将面临诸多挑战。首先,分析了SDN架构中控制平面和数据平面的性能优化技术的发展现状。其次,总结了各平面性能优化过程中所面临的问题。最后,展望了SDN性能优化方面的未来研究趋势。     

分布式流处理系统的容错性能基准测试

随着对数据处理的实时性要求越来越高,分布式流处理系统应运而生。但是在分布式的集群规模下,各种软硬件原因导致的故障很难避免的。现有的相关基准测试主要关注于分布式流处理系统的处理性能,很少对该类系统处理故障的容错性能进行评测,以至于关键应用在系统选型的时候特别艰难。针对分布式流处理系统的容错性能,本文设计并实现了一套灵活的基准测试框架。最后,本文在开源数据流处理系统ApacheStorm和ApacheFlink进行了容错性能的基准测试,验证定义的测试基准的正确性和有效性,实验结果也表明Flink的容错性能相对较好。     

面向电网流式数据处理的性能测试平台

提出一种面向电网流式数据处理的性能测试平台的系统架构及关键技术.针对电网流式数据的业务场景特点,测试平台支持基于浏览器的测试脚本设计和测试场景设计,并支持测试任务的全生命周期管理和高可用保障.为了满足大规模负载测试需求,测试平台提供基于Linux容器的虚拟化测试资源池,实现了测试资源的轻量化、弹性管理.     

面向X10的数据流程序编译优化算法

数据流编程作为一种编程模式已被广泛应用到各个领域.然而,多核体系结构的不同使得数据流程序在不同平台上移植困难.X10作为一种新型并行编程语言,为不同的多核体系结构提供了统一的并行计算环境.如何利用X10语言的特性来提高数据流程序的效率已成为目前研究工作的一大难点.本文设计并实现了一个面向X10的编译优化系统,该系统确立了三种优化算法:针对X10语言的代码生成优化减少了生成的X10代码量;针对同步数据流图的任务划分优化在负载均衡的基础上,避免了死锁的产生,同时减少了通信开销;针对底层硬件资源的通信优化在机器间通信、机器内部线程间通信、线程内部通信方面进行了区分和优化,减少了通信开销.实验结果表明,设计的三种编译优化算法都获得了较大的性能提升.     

基于可信执行环境的物联网边缘流处理安全技术综述

万物互联时代,物联网中感知设备持续产生大量的敏感数据。实时且安全的数据流处理是面向物联网关键应用中需要解决的一个挑战。在近年兴起的边缘计算模式下,借助靠近终端的设备执行计算密集型任务与存储大量的终端设备数据,物联网中数据流处理的安全性和实时性可以得到有效的提升。然而,在基于边缘的物联网流处理架构下,数据被暴露在边缘设备易受攻击的软件堆栈中,从而给边缘带来了新的安全威胁。为此,文章对基于可信执行环境的物联网边缘流处理安全技术进行研究。从边缘出发,介绍边缘安全流处理相关背景并探讨边缘安全流处理的具体解决方案,接着分析主流方案的实验结果,最后展望未来研究方向。     

Java无状态系统的优化实践

Java无状态系统越来越成为系统API平台间无缝连接的主要方式,例如跨平台REST API,SOAP调用等;但平台间的安全性和性能根据业务的要求都有着一定的标准,事无巨细,对某一复杂逻辑重要单API的优化需要经过从测试分析到检查瓶颈,到优化方法一系列过程,从而反推到设计问题,例如架构的选择和表结构设计等.     

ADO.NET性能的优化

本文主要分析了ADO.NET中两种典型的数据访问模式的性能,以及有肋于提高数据访问性能的存储结构和连接池技术,并进一步研究了ADO.NET中其他优化数据访问性能的方法。     

基本图像处理算法的优化过程研究

针对实时、高效的图像处理任务的实现,以视频图像中基于模板匹配的运动目标开环跟踪算法为例,对其基于Matlab原型算法的跟踪性能进行评估,具体介绍了对此算法的多级优化过程。从Matlab原型算法开始,主要 从以下两方面进行优化:在提高实时处理速度方面,采用C语言提速、乘法提速、Release提速、合并运算、CUDA架构提速等10级以上的优化策略;在提高正确率方面,采用简单的多模板策略。测试结果表明,算法速度提高了200多倍,最终达到30Hz的实时处理速度,并且大幅提高了跟踪正确率。     

Asynchronous Stream Processing with S-Net

We present the rationale and design of S-Net, a coordination language for asynchronous stream processing. The language achieves a near-complete separation between the application code, written in any conventional programming language, and the coordination/communication code written in S-Net. Our approach supports a component technology with flexible software reuse. No extension of the conventional language is required. The interface between S-Net and the application code is in terms of one additional library function. The application code is componentised and presented to S-Net as a set of components, called boxes, each encapsulating a single tuple-to-tuple function. Apart from the boxes defined using an external compute language, S-Net features two built-in boxes: one for network housekeeping and one for data-flow style synchronisation. Streaming network composition under S-Net is based on four network combinators, which have both deterministic and nondeterministic versions. Flexible software reuse is comprehensive, with the box interfaces and even the network structure being subject to subtyping. We propose an inheritance mechanism, named flow inheritance, that is specifically geared towards stream processing. The paper summarises the essential language constructs and type concepts and gives a short application example.