首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到18条相似文献,搜索用时 156 毫秒
1.
当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。  相似文献   

2.
异构环境下云计算数据副本动态管理研究   总被引:4,自引:0,他引:4  
针对现有HDFS(Hadoop Distributed File System)数据副本数目固定,副本放置时未考虑节点异构性问题,本文提出一种异构环境下云计算数据副本动态管理模型DMDR.在副本创建时,DMDR根据节点性能选择最优副本放置节点;在系统运行过程中,基于灰色预测技术,DMDR根据数据的最近访问特征预测数据访问热度,并动态调整副本数目.实验表明,在异构环境下,较之现有HDFS副本管理机制,DMDR可有效减少节点之间数据传输,提高负载均衡,降低作业执行时间.  相似文献   

3.
数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。  相似文献   

4.
传统的副本布局大多假定数据是独立的、不需要任何管理成本,但并未考虑副本开销以及中间数据的生成对副本布局的影响。为此,给出一种兼顾成本与存储空间的两阶段高效数据副本生成与存储策略,在数据副本初始布局阶段,基于遗传算法通过比较数据传输开销与存储开销,尽可能地将数据放置在数据中心。在数据中心利用数据生成关系,通过比较数据存储开销与生成开销,并基于Dijkstra最短路径算法确定最小数据开销的数据存储与生成策略。实验结果表明,成本感知的两阶段副本存储与生成策略在确保数据可靠性访问的同时,可以有效减少数据开销与数据存储空间,从而提升云存储系统性能。  相似文献   

5.
在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.  相似文献   

6.
分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.  相似文献   

7.
一种异构集群中能量高效的大数据处理算法   总被引:2,自引:0,他引:2  
集群的能量消耗已经超过了其本身的硬件购置费用,而大数据处理需要大规模的集群耗费大量时间,因此如何进行能量高效的大数据处理是数据拥有者和使用者亟待解决的问题,也是对能源和环境的一个巨大挑战.现有的研究一般通过关闭部分节点以减少能量消耗,或者设计新的数据存储策略以便实施能量高效的数据处理.通过分析发现即便使用最少的节点也存在很大的能源浪费,而新的数据存储策略对于已经部署好的集群会造成大规模的数据迁移,消耗额外的能量.针对异构集群下I/O密集型的大数据处理任务,提出一种新的能量高效算法MinBalance,将问题分为节点选择和负载均衡两个步骤.在节点选择阶段采用4种不同的贪心策略,充分考虑到节点的异构性,尽量选择最合适的节点进行任务处理;在负载均衡阶段对选择的节点进行负载均衡,以减少各个节点因为等待而造成的能量浪费.该方法具有通用性,不受数据存储策略的影响.实验表明MinBalance方法在数据集较大的情况下相对于传统关闭部分节点的方法可以减少超过60%的能量消耗.  相似文献   

8.
云计算中的数据放置与任务调度算法   总被引:1,自引:0,他引:1  
在海量数据的云计算中,通常面临着数据传输时间长的问题.针对目前大多数数据放置与任务调度算法存在的副本静态性和传输标准精确度的不足,提出了一种动态调整副本个数、以时间作为衡量数据传输标准的数据放置与任务调度算法.该算法根据数据访问频率和存储大小,动态地调整副本个数,一方面减少了低访问率副本对存储空间的浪费;另一方面也减少了高访问率副本所需跨节点传输次数.考虑到节点间网络带宽的差异性,确定以数据传输时间作为传输衡量标准,提高了传输标准的精确度.实验结果表明,除了任务集和网络节点均较少的情况外,该算法均能有效地减少数据传输时间,甚至在任务集合和网络节点较多的情况下,能减少近50%的传输时间.  相似文献   

9.
VOD服务器集群中的改进SLF存储调度策略   总被引:2,自引:0,他引:2  
在VOD服务器集群中,存储调度策略是影响整个系统存储容量和总并发数的关键技术之一.针对现有存储调度策略中最小负载优先(SLF)副本放置算法调整代价过高的问题,提出了一种改进SLF算法.算法以最小化负载不平衡度和最小化副本调整代价为目标,在放置过程中充分利用当前已经存储的副本,降低副本调整的代价.仿真实验表明,基于改进SLF算法的存储调度策略可以最小化负载不平衡度,降低了存储调度的调整代价,同时提高了系统的用户请求接受概率.  相似文献   

10.
在异构Hadoop集群场景中, 为了缓和由于纠删码和副本存储模式混合使用, 以及服务器节点本身实时算力差异造成的MapReduce作业处理效率低下的问题, 本文实现了一种根据数据存储情况和节点实时负载来在多并发场景下动态调节MapReduce作业任务分配情况的调度策略. 该策略通过修改当前Hadoop框架中的数据存储选址策略并对节点任务并发量进行动态控制, 在多作业并发时实现更加均衡的作业间资源分配. 实验结果表明, 相较于Hadoop默认的两种作业调度策略, 本文提出的调度模式能够将作业完成时间缩短约17%, 并有效避免部分作业面临的饥饿现象.  相似文献   

11.
云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。  相似文献   

12.
海量存储网络中的虚拟盘副本容错技术   总被引:2,自引:1,他引:2  
大规模存储网络中的数据可用性和读写性能越来越重要.在海量存储虚拟化系统的基础上,实现了多副本虚拟盘技术来提高网络存储的数据容错能力.同时,通过多副本选择调度与异步副本更新以及副本盘空间布局的动态调整算法,提高了系统的数据读写能力.测试结果表明,加入虚拟盘副本后,在设备数量充足情况下的读性能可提高26%;即使少量磁盘失效,读写操作也能正确执行,且读性能仍然比无副本时提高10%以上.  相似文献   

13.

With the rapid growth of massive data in the Internet of Multimedia Things, there are some problems of insufficient storage space and unbalanced load in the current methods. For the problem of massive real-time data storage, a distributed cluster storage optimization method is proposed. Considering the impact of replica cost and the generation of intermediate data on the replica layout, a replica generation and storage strategy is given with consideration of cost and storage space. In the data center, the data sensitivity and data access frequency is used as migration factors to achieve massive data migration. The improved collaborative evolution method is used to code the task scheduling particle swarm in massive data storage to obtain the optimal solution, and achieve massive real-time data distributed cluster storage for the Internet of things. The experimental results showed that the cost of data management by this method was only between 10 and 15, which showed that this method can effectively improve data access speed, reduce storage space, lower cost and better load balancing.

  相似文献   

14.
为了提高网络数据动态传输与存储安全自动监测能力,进行监测系统优化设计,提出基于负载均衡调度和嵌入式总线传输控制的网络数据动态传输与存储安全自动监测系统设计方法。构建网络数据动态传输的信道均衡调度模型,采用随机线性均衡控制方法进行网络数据动态传输与存储过程中的信道自适应调度,提取网络数据动态传输过程中的模糊关联规则,采用自适应的链路转发控制方法进行网络数据动态传输与存储的安全监测和负载均衡调度。在嵌入式总线协议下进行网络数据动态传输与存储安全自动监测系统的软件开发设计。仿真结果表明,采用该方法进行网络数据动态传输与存储安全自动监测的稳定性较好,自适应控制能力较强,降低了网络数据动态传输的误比特率。  相似文献   

15.
陈燕  于放  田月  刘璐 《计算机系统应用》2018,27(10):268-272
随着互联网技术的快速发展,各行各业所产生的信息数据也在以指数级的速度增长.传统的车辆调度算法已经不能够很好地解决车辆调度问题中出现的实时性,大规模等问题.因此,本文构建了一种基于Hadoop的动态车辆调度并行智能优化算法.该算法以传统遗传算法为基础,通过改善遗传算法全局优化能力弱和收敛于局部次优解的问题,并利用Hadoop平台的并行计算机制对传统遗传算法进行改进,使其能够有效应对大规模、快速响应的车辆调度.数值计算结果表明:基于Hadoop的车辆调度算法能够有效提升传统调度算法的优化性能,在处理大规模车辆调度问题时具有良好的加速比.  相似文献   

16.
Data Grid is a geographically distributed environment that deals with large-scale data-intensive applications. Effective scheduling in Grid can reduce the amount of data transferred among nodes by submitting a job to a node, where most of the requested data files are available. Data replication is another key optimization technique for reducing access latency and managing large data by storing data in a wisely manner. In this paper two algorithms are proposed, first a novel job scheduling algorithm called Combined Scheduling Strategy (CSS) that uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers the number of jobs waiting in queue, the location of required data for the job and the computing capacity of sites. Second a dynamic data replication strategy, called the Modified Dynamic Hierarchical Replication Algorithm (MDHRA) that improves file access time. This strategy is an enhanced version of Dynamic Hierarchical Replication (DHR) strategy. Data replication should be used wisely because the storage capacity of each Grid site is limited. Thus, it is important to design an effective strategy for the replication replacement. MDHRA replaces replicas based on the last time the replica was requested, number of access, and size of replica. It selects the best replica location from among the many replicas based on response time that can be determined by considering the data transfer time, the storage access latency, the replica requests that waiting in the storage queue and the distance between nodes. The simulation results demonstrate the proposed replication and scheduling strategies give better performance compared to the other algorithms.  相似文献   

17.
黄冬梅  杜艳玲  贺琪  随宏运  李瑶 《计算机科学》2018,45(6):72-75, 104
数据的完整性和可靠性是保证其能被高效访问的关键,尤其是在云存储环境中,数据副本策略是影响系统性能和保障数据可用性的核心。从数据副本布局的角度,提出了基于多属性最优化的数据副本布局策略(Data Replica Layout Strategy based on Multiple Attribute Optimization,MAO-DRLS)。该策略根据数据的访问热度和存储节点的关键属性特点,为每个数据设置动态的副本数,并选择合适的节点对副本进行布局。实验表明,MAO-DRLS策略能够有效地提升数据副本的利用率,缩短系统的响应时间。  相似文献   

18.
Secure Data Objects Replication in Data Grid   总被引:1,自引:0,他引:1  
Secret sharing and erasure coding-based approaches have been used in distributed storage systems to ensure the confidentiality, integrity, and availability of critical information. To achieve performance goals in data accesses, these data fragmentation approaches can be combined with dynamic replication. In this paper, we consider data partitioning (both secret sharing and erasure coding) and dynamic replication in data grids, in which security and data access performance are critical issues. More specifically, we investigate the problem of optimal allocation of sensitive data objects that are partitioned by using secret sharing scheme or erasure coding scheme and/or replicated. The grid topology we consider consists of two layers. In the upper layer, multiple clusters form a network topology that can be represented by a general graph. The topology within each cluster is represented by a tree graph. We decompose the share replica allocation problem into two subproblems: the Optimal Intercluster Resident Set Problem (OIRSP) that determines which clusters need share replicas and the Optimal Intracluster Share Allocation Problem (OISAP) that determines the number of share replicas needed in a cluster and their placements. We develop two heuristic algorithms for the two subproblems. Experimental studies show that the heuristic algorithms achieve good performance in reducing communication cost and are close to optimal solutions.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号