异构服务器集群中基于请求分配的一种可扩展的负载均衡算法

传统的请求分配算法作为一种集中式的静态分配负载均衡算法,一直被认为存在分配不准确的缺陷[1],主要有两个原因:一是集中调度容易成为系统的连接瓶颈,二是静态分配时对各处理机的动态性能把握不够准确.本文针对这两个问题采用自适应的集中调度,使之具有可扩展性,并且严格根据各处理机的实时性能参数实施静态分配,使之适用于异构的服务器集群.     

Hadoop异构集群中数据负载均衡的研究

Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。     

一种新的异构无线传感器网络分簇算法

针对能量异构的无线传感器网络,提出一种新的基于能量分布的非均匀分簇算法(EDUCRA).在该算法中,距汇聚点较近的节点直接与汇聚点通信、簇首使用非均匀的竞争范围来构造大小不等的簇.通过在OMNet++平台上的仿真结果表明:该算法可以有效均衡网路能量消耗,提高节点能量利用率,延长网络寿命.     

多级能量异构传感器网络的负载均衡成簇算法

在多级能量异构无线传感器网络中,节点的初始能量在一定的范围内随机分布,负载均衡和降低能耗是能量异构网络成簇算法的一个重要挑战.现有的分布式成簇算法主要是针对能量同构或二级异构网络设计的,无法实现节点能量多级异构时的负载均衡,因此提出了适用于多级能量异构传感网络的负载均衡成簇算法LBCA(load balance clustering algorithm).LBCA根据传感器网络的能量分布情况选择簇头节,最和实现负载均衡,可以有效地延长网络的稳定周期.簇头选择过程中,当探测区域能量分布均衡时,拥有较低平均通信能耗的节点将优先成为簇头节点,有利于降低探测区域内的总通信能耗;当探测区域能量分布不均衡时,具有较高剩余能量的节点将优先成为簇头节点,有利于实现探测区域内的负载均衡.将LBCA与主要的分布式成簇方案进行了比较,模拟实验结果显示,在多级能量异构传感器网络中,LBCA可以更好地实现负载均衡,极大地提高网络的稳定周期.     

基于节点分组的异构集群负载均衡算法*

首先根据排队论理论给出了一个理想的负载均衡模型。针对该模型的系统开销问题,提出了一种基于节点分组的异构集群负载均衡算法。实验结果表明,相比于轮转法和加权轮转法这两种普遍采用的负载均衡算法,该算法可以提供更加稳定的请求响应时间,并在负载波动较大时明显提高集群的吞吐率。     

一种分布式异构带宽环境下的高效数据分区方法

在分布式大数据处理框架的作业运行过程中,会有大量的数据通过网络传输,数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下,因为带宽瓶颈节点的存在,传统的数据分区方法效率低下.针对这个问题,建立了节点间的数据传输模型,该模型以降低数据传输时间为目标,根据各节点的上下行带宽和初始数据量大小,计算出各节点的最优数据分发比例.以该模型为基础,设计了基于带宽的数据分区方法,该数据分区方法使得各节点按最优数据分发比例来分配数据.最后在Apache Flink框架中将基于带宽的数据分区方法进行了实现,并通过实验进行了验证.实验结果表明:异构带宽条件下,基于带宽的数据分区方法可以有效减少数据分区所需的时间.     

云计算平台下大数据处理效率分析及优化

全球化的今天,每天产生着大量的数据,各种大数据应用系统层出不穷。如何快速高效地处理大数据是目前应用系统中关键技术之一。云计算技术的发展与完善,使得大数据应用系统也相继上云。分析了在云平台上处理大数据时影响处理效率的相关因素,并提出了启迪式的感应负载均衡方法来优化处理效率。启迪式的感应负载均衡方法减少了云平台上任务部署的时间,实现了更好的云计算平台负载均衡效果,提升了大数据的处理效率。     

异构集群环境下逆时偏移任务调度算法

逆时偏移方法作为目前最先进的地震资料成像方法之一,已经广泛应用于地震数据成像领域;基于地震资料的庞大数据量,该方法仍存在计算需求较大的问题,通常需要借助集群系统来完成运算.在异构集群环境中,各个节点的性能不同,节点的处理能力也会存在差异,在进行数据运算时容易出现负载不均衡的现象.为了提高并行计算的工作效率和异构集群系统...     

基于节点剩余能量的能量异构网络分簇算法

针对无线传感器网络中如何利用有限能量延长网络生存时间的问题,研究了分簇算法在能量异构传感器网络环境下的性能特点,设计出一种基于节点剩余能量,适用于多级能量异构网络的分簇算法。在该算法的网络簇头选举加权概率中引入了参量γ,使得在簇头选举过程中,具有较高的初始能量和剩余能量的节点在簇头选举过程中当选簇头的机会增多。避免了剩余能量较小的节点担任簇头引起节点过早死亡使网络覆盖度降低的问题,从而均衡消耗网络中的各节点能量,延长网络的生存时间。同时,引入簇头管理机制保证了网络每轮簇头数目的稳定,进而提高了网络的传输质量。实验仿真结果表明,该算法在多级能量异构网络下比LEACH、SEP和DEEC具有较长的网络生存时间和稳定的数据传输能力。     

基于能量分布的异构传感器网络分簇算法

针对能量异构的无线传感器网络,提出一种分簇算法。该算法采用基于节点剩余能量分布状况的簇头竞争参数,降低成簇过程中的通信能耗,实现簇头的均匀分布。在簇间综合考虑簇头剩余能量及其与基站的通信能耗,以选择合适的下一跳路由节点。仿真结果表明,该算法可以均衡网络能量消耗,提高节点能量利用效率,延长网络寿命。     

高能物理粒子实验中的大数据技术

高能物理实验具有大科学、大需求、大数据、大计算、大发现的特征,这些特征决定了进行高能物理研究需要多种计算技术,包括集群、网格、超算、云计算、志愿计算等方式,同时需要分布式的资源整合。本文针对高能物理实验的多种信息化支撑手段,包括云计算 、分布式存储、网络传输以及协同环境等方面的发展进行了简要描述。     

面向人工智能和大数据的高效能计算

【目的】本文主要分析人工智能和大数据应用随着迅速增大的数据规模,给计算机系统带来的主要挑战,并针对计算机系统的发展趋势给出了一些面向人工智能和大数据亟待解决的高效能计算的若干研究方向。【文献范围】本文广泛查阅国内外在超级计算和高性能计算平台进行大数据和人工智能计算的最新研究成果及解决的挑战性问题。【方法】大数据既为人工智能提供了日益丰富的训练数据集合,但也给计算机系统的算力提出了更高的要求。近年来我国超级计算机处于世界的前列,为大数据和人工智能的大规模应用提供了强有力的计算平台支撑。【结果】而目前以超级计算机为代表的高性能计算平台大多采用CPU+加速器构成的异构并行计算系统,其数量众多的计算核心能够为人工智能和大数据应用提供强大的计算能力。【局限性】由于体系结构复杂,在充分发挥计算能力和提高计算效率方面存在较大挑战。尤其针对有别于科学计算的人工智能和大数据领域,其并行计算效率的提升更为困难。【结论】因此需要从底层的资源管理、任务调度、以及基础算法设计、通信优化,到上层的模型并行化和并行编程等方面展开高效能计算的研究,全面提升人工智能和大数据应用在高性能计算平台上的计算能效。     

一种面向云的大数据完整性检测协议

云计算的出现为计算机的发展提出了一个新的发展方向,但是其中的很多安全问题一直限制着云计算的发展,其中云存储的完整性检测问题最为突出。由于大数据的特性,现有的关于数据完整性检测的协议并不适合大数据的检测。通过对Juels协议的改进,文中提出一种新的更加适合大数据存储的数据完整性检测协议,改进了原有协议只能进行有限次数检测的缺陷,引入了纠删码技术,使得数据的可恢复性得到大幅提升。通过理论分析表明该协议在数据的计算量和用户数据存储量上都有明显优势。     

基于普适云的大数据挖掘

通过查阅大量相关文献资料,概述大数据和普适云的基本概念,提出基于普适云的大数据挖掘架构,在理论方面论证其可行性、论述其运行模式并进行了性能分析,分析总结了基于普适云的大数据挖掘所涉及的关键技术．     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

大数据概念辨析及应对措施

首先介绍大数据的概念及其意义,指出大数据会给未来的社会生活带来深远影响。接着对大数据涉及的相关技术进行详细分析,指出需要解决的问题。然后对大数据与云计算进行比较分析,指出两者的异同,同时对如何应对大数据进行探讨,提出相关建议。     

异构大数据网络的多维关联细粒度数据挖掘算法

为了解决具有密度高、关联复杂的异构大数据网络的数据挖掘效率低下问题,基于多维关联架构,结合细粒度控制提出了数据挖掘算法.首先,在异构大数据网络存储与转发、处理的数据个性特征和差异化的基础上,给出了异构大数据网络数据定义和多维关联模型.接着,基于大数据网络多维关联初始化进程,通过大数据单位重构、维度置换、细粒度化和粒度均衡等,提出了多维关联细粒度数据挖掘算法.最后,通过与粗粒度算法、线性化结构数据挖掘算法对比了在不同网络规模和数据规模下的执行效率.实验结果表明,所提算法具有更佳的执行效率.     

大数据处理中基于热感知的能源冷却技术

大数据极速发展使超大型大数据分析平台不断涌现,导致能源成本急剧上升。为保证服务器的热可靠性,提出一种以数据处理为中心的能源冷却成本技术。该技术考虑了服务器不均衡热力特性、热力稳定性负载阈值差异以及集群大数据语义差异等,对文件进行主动式热感知布局,从而在不影响性能的前提下降低冷却能源成本,保证大数据分析集群的热可靠性。基于Yahoo公司一个月的真实大数据分析对该技术进行评估,实验结果表明,该技术可使冷却成本下降42%,总体性能是当前无关冷却技术的9倍。     

电力大数据调度云的优化

由于电力大数据的体量大、类型多、速度快等特点,传统计算难以对其很好地处理.在深入研究云计算技术的基础上,尝试在调度业务中引用云计算.介绍了一种调度云框架,详细说明了调度云基础设施层、平台层、服务层的层次结构,阐明了调度云的五种应用服务,并设计了调度云的拓扑结构和工作流程.通过仿真比较了云计算和传统计算的效率,验证了利用云计算处理电力大数据的可行性.最后,提出了一种在系统内存中对电力大数据进行处理的云计算方法,并通过实验证明云计算方法能够实现调度云的优化.     

云数据管理系统能耗基准测试与分析

云数据管理系统是一种新兴的数据管理系统.为了研究云数据管理系统的能耗优化,实现"绿色计算",首先要定义能耗的度量模型和基准测试方法,分析系统的能耗特点.目前云数据管理系统的基准测试主要集中在性能方面,对能耗方面的评估和优化工作很少;对测量仪器、测试手段、测试用例以及能耗基本规律的研究存在空白.文中提出了一种能耗的度量模型和数学表达;定义了一组数据装载、查询和分析用例来测试云数据管理系统的能耗;设计了系统能耗的测量方法;分析了若干云数据管理系统在执行数据装载、读取、查询、聚集和连接等操作时的能耗特征,提出了通过降低"等待能耗"而进行云数据管理系统的能耗优化.大量实验数据证明,尽管云计算被认为是一种绿色计算,但文中测试的云数据管理系统在能耗方面差异较大,需要对部分系统进行进一步的优化.