异构分布式负载均衡容错算法研究

基于基/副版本技术提出一种异构分布式容错调度模型,并在该模型上提出HDL算法。该算法克服了以前算法在故障发生前后负载均衡性不稳定问题,并在一定程序上实现均衡可控性,同时在模拟实验中给出一种基于协方差反映负载均衡性的方法。实验结果证明,该算法的负载均衡性在故障发生前后是稳定的。     

一种异构集群中能量高效的大数据处理算法

集群的能量消耗已经超过了其本身的硬件购置费用,而大数据处理需要大规模的集群耗费大量时间,因此如何进行能量高效的大数据处理是数据拥有者和使用者亟待解决的问题,也是对能源和环境的一个巨大挑战.现有的研究一般通过关闭部分节点以减少能量消耗,或者设计新的数据存储策略以便实施能量高效的数据处理.通过分析发现即便使用最少的节点也存在很大的能源浪费,而新的数据存储策略对于已经部署好的集群会造成大规模的数据迁移,消耗额外的能量.针对异构集群下I/O密集型的大数据处理任务,提出一种新的能量高效算法MinBalance,将问题分为节点选择和负载均衡两个步骤.在节点选择阶段采用4种不同的贪心策略,充分考虑到节点的异构性,尽量选择最合适的节点进行任务处理;在负载均衡阶段对选择的节点进行负载均衡,以减少各个节点因为等待而造成的能量浪费.该方法具有通用性,不受数据存储策略的影响.实验表明MinBalance方法在数据集较大的情况下相对于传统关闭部分节点的方法可以减少超过60%的能量消耗.     

一种基于负载均衡异构分布式系统的改进容错调度算法*

基于基/副版本技术提出了一种具有容错功能的静态进程调度算法。给出了一个新的设计模型,并在该模型上提出HDAL算法。此前类似负载均衡容错调度算法都是通过排序来解决故障发生前后的负载均衡调度问题。该算法与以往算法不同之处就是在不依赖排序情况下,通过引进控制进程来解决负载均衡调度问题,并且该算法的负载均衡性在一定程度上具有了可控性。最后通过模拟实验得到以下有意义的结论：在业务繁忙的异构系统中,HDAL算法比以往算法资源利用率高,负载均衡性更好,并且在调度速度上优势明显。     

一种面向异构边缘架构的实时高能效图像分类任务划分策略

近年来,神经网络在图像分类和目标检测领域取得了巨大的成就.许多学者开始研究如何在异构边缘设备上高效部署神经网络,提出了将数据划分为Hot/Cold-Class的思想.然而,由于异构边缘设备前、后端(CPU-GPU)的处理性能差异很大,使用传统训练方法会导致资源错配.本文提出了一种面向负载均衡的任务分区调度算法.该方法通...     

Hadoop异构集群中数据负载均衡的研究

Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。     

一种最小化最大带宽利用率的TE路由算法

随着网络中流量的迅速增长，流量工程对于减小拥塞、提高网络资源的使用效率、满足业务的QoS要求，正在起着越来越重要的作用．提出了一种对Dijkstra算法进行改进的最小化最大带宽利用率TE路由算法．该算法在搜寻路径的过程中，将原来Dijkstra算法中的以路径代价最小为目标，更改为以最小化最大带宽利用率为目标．仿真证明，算法在一定程度上达到了均衡负载分布的作用．     

一种异构磁盘系统的数据分配方法

随着各种存储系统应用和技术的不断发展 ,出现了异构磁盘系统 .如果采用同构系统的数据分配和放置方法如 striping来管理异构系统 ,并不能针对异构系统中各个磁盘的性能差异来进行数据分配 ,降低了异构系统的性能 .提出了一种新的异构系统数据分配方法 .这种方法能够根据异构系统中磁盘的差异有效的进行数据分配 .它通过把系统中的磁盘划分成带宽相同的逻辑盘 ,并使用在同构系统中很成熟的 striping方法来对这些盘进行管理 ,实验证明这种方法能够有效的提高异构系统的吞吐率     

异构集群环境下逆时偏移任务调度算法

逆时偏移方法作为目前最先进的地震资料成像方法之一,已经广泛应用于地震数据成像领域;基于地震资料的庞大数据量,该方法仍存在计算需求较大的问题,通常需要借助集群系统来完成运算.在异构集群环境中,各个节点的性能不同,节点的处理能力也会存在差异,在进行数据运算时容易出现负载不均衡的现象.为了提高并行计算的工作效率和异构集群系统...     

分布式环境下大规模维表关联技术优化

分布式环境下大规模维表关联技术是当前在线大数据分析的关键技术之一,其广泛应用于实时推荐、实时分析等领域.维表关联是指将流数据和离线存储的维表数据进行关联,并根据这种关联进行数据处理.首先,对已有的维表连接技术方案进行了研究,调研了相关的优化技术和主流分布式引擎的设计路线,主要通过优化维表数据查询提高性能,但传统的优化方...     

物联网开放环境多源异构传感数据低能耗采集

物联网开放环境存在大规模异构数据,增加了传感数据采集的能耗,且容易导致采集误差。为此,提出了物联网开放环境多源异构传感数据低能耗采集。利用数据采集时间、负载均衡度和数据采集过程中的能量损耗为评价函数。并在此基础上构建数据采集分配模型,之后布置相关传感网络节点,收集数据信息。构建传感器节点优化部署模型,优化网络信道分配,降低数据采集能耗,以此达到低能耗数据采集的目的。实验验证表明,使用该方法对数据实施采集,当丢包率达到15%时,数据采集误差为0.03m。平均能量消耗为0.524 J,平均节点存活数量为141个,平均采集数据量为2.18 × 103 bit,该方法优化了数据采集误差和网络信道的分配性能,有效降低了传感数据的采集能耗。     

一种自适应的分布式副本定位方法

提出了一种在数据网格环境下的自适应的分布式副本定位方法SADRL．该方法利用索引结点和本地副本定位结点实现对同一个数据文件的多个副本的快速定位；将副本定位索引信息平均分布在多个索引结点上，并且能够自适应索引结点的动态加入或退出：同时利用本地副本定位节点完成本地副本的查询定位。理论分析和实验表明，SADRL能够快速由逻辑文件名定位其索引结点。具有负载均衡、可扩展和高效的特点。     

异构分布式数据查询系统设计分析

对分布式存储的异构数据源来说,通过LDAP与各数据库的集成能够更好地提高系统的效率。从系统设计、系统模型、LDAP与异构数据库的集成3个方面,对异构分布式数据查询系统的设计进行了分析。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

面向异构超算的结构分析高效并行计算方法

In order to exploit the efficient computing power of many integrated cores on heterogeneous cluster, a multi-level and multi-granularity collaborative parallel computing method is proposed for finite element structural mechanical analysis. Computing tasks are divided into three levels: inter-node parallelism, inter-device parallelism and inter-core parallelism. Through mapping decomposablecomput- ing jobs to different hardware layers of heterogeneous MIC system, the proposed method not only effectively resolves the load balancing problem between CPU and MIC devices, but also significantly reduces the communication overheads of the system. Different engineering simulation case experiments for large scale parallel computing were conducted on “Tianhe 2” supercomputer. Up to 39000 CPU+MIC cores were employed and the finite element size of the analysis was more than 100 million units. Test results show that the proposed method can achieve good speedup and parallel computing efficiency in large scale parallel computing of finite element structural analysis. The optimized adaptation of finite element structural analysis and heterogeneous MIC computing platform is realized, which can provide reference for parallel porting and performance optimization of similar applications.     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

一种基于多核环境的海量数据快速读取方法

随着多核计算机的发展,多核PC机已经可以完成许多大规模计算任务,然而面对海量数据的处理,存储器与辅助存储器内的数据读取往往会成为提高应用程序运行速度的瓶颈,从而不能很好运用多核系统带来的优越硬件性能.基于多核环境的海量数据快速提取方法,以内存映射文件方法为基础并运用基于视图映射粒度的划分方式和动态与静态结合的负载均衡策...     

一种异构数据库数据的直接转换技术

本文阐述了如何利用PowerBuilder与数据库系统连接和可视化编程的强大功能，实现了异种数据库的直接转换方法。该方法为用户提供了可视化集成界面，完成了分布在网络不同结点上的目前常用几种数据库（ORACLE、SYBASE、INFORMIX、MSSQLSrver、SQLanywhere和FoxPro）的两两互相转换。     

一种基于本体的异构数据语义抽取方法

针对领域科学数据异构多样、缺乏语义的问题,本文提出一种基于本体的异构数据语义抽取方法。首先,构建领域科学数据的语义抽取框架,并在此基础上分别针对结构化、半结构化以及非结构化数据制定相应的语义转换与抽取规则,形成局部领域本体;然后,通过异构数据间的关联映射,构建领域数据的全局本体,实现异构数据的有效组织与统一管理;最后,将相关方法应用到材料领域,为材料科学数据的有效管理与共享服务提供支撑。     

异构网络中基于博弈的多宿主用户带宽分配算法

针对异构无线网络中的带宽分配问题,将网络间的带宽分配模型转化为非合作博弈模型,提出一种基于非合作博弈论的动态带宽分配（ NCRA）算法。首先,根据用户的带宽需求,并充分考虑当前各种不同网络的负载因素,设计一种基于网络能力动态为用户分配带宽的效用函数;然后,通过证明效用函数为凹函数来验证网络间非合作博弈纳什均衡的存在性,并获得网络间的最佳带宽分配策略;最后,通过仿真实验,验证所提出算法的性能。     

异构环境下数据窗口对象的快速生成

本文论述了利用Ｅｘｔｅｒｎａｌ数据源定义数据窗口对象的利弊，提出了在不同数据库环境下，利用数据库接口的转换，来快速生成数据窗口对象的方法，并以ＰｏｗｅｒＢｕｉｌｄｅｒ６．５加以实现。