一种优化的Kafka消费者/客户端负载均衡算法*

Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。本文提出了一种优化的Kafka消费者客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。     

ENLHS:一种基于抽样的Kafka自适应调优方法

Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差。海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能。因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差。为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法。该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度。实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延。     

基于预分区策略的装备数据分布式存储方法

随着传感器技术和计算机技术的发展,装备在研制生产过程中会产生大量的数据,这些数据是海量的、多源的和异构的,企业需要考虑如何将数据进行快速处理和存储管理,进而利用加工后的数据提升装备生产制造能力。对卫星、飞机等典型装备数据进行了研究,提出了一种基于预分区策略的分布式数据存储方法。该方法研究HBase的预分区机制和装备数据模型特点,研究装备数据快速存储的影响因子,并给出了数据快速存储算法,使海量装备数据可以负载均衡地、快速地存储在HBase数据库里。最后,对模型的数据存储性能、负载均衡性、各类装备的适用性进行了评估试验。试验结果表明,该方法可以覆盖多种类型的装备数据,并在数据存储效率上有良好的表现。     

基于分区策略的蚂蚁算法

蚂蚁算法是一种解决组合优化问题的有效算法,该算法具有许多优良的性质,但是也存在一些缺点,如计算时间较长等。该文在基本蚂蚁算法的基础上,提出分区策略和信息素直接优化策略。分区策略加快了蚂蚁算法初期信息素的获得速度,信息素直接优化方法加速了蚂蚁算法后期收敛的速度。实验表明,这种改进有效提高了蚂蚁算法的搜索效率。     

一种格状分区模型的研究

本文提出一种新的分区模型结构并给出辨识算法．与此同类型的其它模型结构相比，该模型算法简洁，占用内存少，鲁棒性好，并具有与输入分量尺度无关性和很好的收敛性．     

新的RoboCup救援仿真分区消防策略

在RoboCup救援仿真的消防策略中,火势蔓延的控制对救援的效果有着重要的作用。大多数队伍采用基于单个建筑的各种指标的单目标选择法,该方法在着火建筑较多或者火势蔓延快时难以对火势进行有效控制。提出一种新的基于密度聚类的分区方法,根据火势蔓延速度将所有建筑进行聚类分析形成建筑簇并分开成为不同的区域,然后综合建筑的属性作为权值选择目标区域和灭火建筑,从而有效地控制火灾的蔓延甚至将火灾完全扑灭。最后通过仿真实验和比赛验证了该方法的有效性。     

智能数据分区与布局研究

大数据时代,数据规模庞大,由数据进行驱动的应用分析场景日益增多.如何快速、高效地从这些海量数据中提取出用以分析决策的信息,给数据库系统带来重大挑战.同时,现代商业分析决策对分析数据的实时性要求数据库系统能够同时快速处理ACID事务和复杂的分析查询.然而,传统的数据分区粒度太粗,且不能适应动态变化的复杂分析负载;传统的数据布局单一,不能应对现代大量增加的混合事务分析应用场景.为了解决以上问题,“智能数据分区与布局”成为当前的研究热点之一,它通过数据挖掘、机器学习等技术抽取工作负载的有效特征,设计最佳的分区策略来避免扫描大量不相关的数据,指导布局结构设计以适应不同类型的工作负载.首先介绍了智能数据分区与布局的相关背景知识,然后对智能数据分区与布局技术的研究动机、发展趋势、关键技术进行详细的阐述.最后,对智能数据分区与布局技术的研究前景做出总结与展望.     

云环境下基于超球面投影分区的Skyline计算

目前,Skyline查询在集中式数据库、分布式数据库、数据流及分类属性数据集上的良好应用前景,使其成为当前数据库界研究的重点和热点之一,受到了学术界和工业界的广泛关注,它作为一种重要的数据挖掘技术广泛应用于多目标优化、城市导航系统、用户偏好查询及约束决策、智能防御系统以及地理信息系统等领域.随着人类可以采集和利用的数据信息的急剧增长,如何处理大数据的Skyline查询成为急需解决的问题.针对云计算环境,在Map-Reduce框架下设计并实现了基于超球面投影分区的分布式Skyline算法HSPD-Skyline,其主要思想是通过对高维数据点的超平面投影映射,即由空间坐标转换为超球面坐标,可以有效提高分区内数据点的平均减枝力度,降低Skyline的计算代价.同时,使用基于空间分区树的启发式策略HA-SPT,进一步提高了HSPD-Skyline算法的处理效率.通过详细的理论分析和实验验证表明,在不考虑数据分布和进一步优化算法的条件下,提出的HSPD-Skyline算法的总体性能(可扩展性、Skyline查询时间等)优于同类算法.     

SQL Server 2000分布式分区视图应用研究

分布式分区视图是SQL Server2000数据库管理系统的最新特性之一，本文主要讨论创建分布式分区视图及其用于更新的技术要点.     

SQL Server 2000分布式分区视图应用研究

分布式分区视图是SQLServer2000数据库管理系统的最新特性之一,本文主要讨论创建分布式分区视图及其用于更新的技术要点。     

关于分布式IMA的网络分区方法及其实时性能分析

功能需求会在一定程度上增加系统重量、尺寸、能耗及通信复杂程度,借助模块化综合航空电子系统可以有效解决该问题。该文结合分布式综合模块化航空电子体系结构,依托于时间、空间分区以及带宽分区,提出网络分区概念,同时构建对应的网络模型、消息模型以及流量模型,并对实时性能进行分析和探讨。     

ADC误差对系统性能影响的分析与研究

在数据采集系统中，模数转换器(ADC)的误差对系统性能的影响是至关重要的。本主要从直流特性、误差源、温度效应及交流特性等方面，详细讨论了ADC误差对系统性能的影响，并提出了部分校正措施。     

高性能计算机的系统分区技术研究

随着SMP和ccNUMA等高性能计算机系统的规模越来越大,为了满足用户应用动态负载平衡的需求,并同时提高系统利用率和高可用性,越来越多的高性能计算机系统采用了分区技术。本文在分析对比了各种分区技术的基础上,深入介绍了系统分区的关键技术：支持分区技术的硬件设计技术、Firmware监控层技术和操作系统技术等关键技术,并展望了其面临的问题和技术发展趋势。     

多核对分区操作系统影响研究

分区操作系统是综合化航空电子领域中的核心技术。随着单核性能极限的到来,处理器结构向着多核发展。将两者结合起来,在多核分区操作系统的基础上研究分析多核处理器结构为分区操作系统带来的影响。经分析实验数据得出多核处理器结构在多核处理器中共享Cache结构和内核中临界资源并发访问两方面对分区操作系统产生影响。     

Oracle数据表分区的策略

本文描述通过统计分析出医院信息系统需分区的表，对需分区的表选择分区键，即找出包括在你的分区键中的列(表的属性)，对大型数据的管理比较有意义，本文的工作在Orate8.1.6下实现.     

基于分区概率的P2P实时流媒体缓存策略

随着流媒体实时应用的日益扩大,传统C/S(Client/Server)模式网络构架的服务器负载过重,导致QoS(Quality of Service)得不到保证,而P2P(Peer-to-Peer)网络具有负载均衡、可扩展性强、容错性强等优点。目前P2P技术开始逐步走向成熟,诸多学者对P2P流媒体系统缓存策略的研究愈演愈烈,本文提出的一系列P2P实时流媒体缓存策略,通过仿真实验,从系统开销、帧丢失率等方面对两者进行了性能对比。实验结果表明,本文提出的缓存策略有效的减少了数据块传输时延,并且在很大程度上避免了数据块的重复推送,降低了数据冗余。     

多核嵌入式实时操作系统的分区间通信机制

为了解决多核嵌入式实时操作系统在不同分区间进行通信的问题,介绍了一种基于多核嵌入式实时操作系统的分区间通信机制。在该机制下,分区通过消息、端口和通道与同一模块中的另一个分区进行通信,或与其他模块中的分区进行通信,或与模块外的设备进行通信。分区利用端口与通道发送消息,根据通信目的不同,选择采样模式或队列模式将消息从源端口发送至目的端口,分区应用从对应的目的端口读取消息。该机制的可靠性和有效性在某多核嵌入式实时操作系统中得到了验证。     

分布式容错系统的同步化策略

分布式容错的时间同步化系统虽然在我们国内还没有得到广泛的应用 ,但是随着计算机技术的发展 ,分布式环境中各计算机的时间同步化问题显得越来越重要。目前国际上有多种时间同步化的软件 ,它们的运行机制不同且各有特点 ,本文就目前流行的几种分布式容错系统的时间同步化策略进行了较详细的研究 ,并得出了相应的结论。