共查询到20条相似文献,搜索用时 62 毫秒
1.
《计算机应用与软件》2016,(5)
Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。 相似文献
2.
在HDFS系统中,集群负载分配不均衡成为影响分布式文件存取速度的瓶颈。针对医院信息系统的负载现状,提出多属性双阈值决策的动态负载均衡算法,对分布式集群中使用HDFS默认的单属性评价、单阈值的负载均衡策略存在的缺陷加以改进。通过负载性能测试,对比证明运用多属性双阈值的负载均衡算法相比较HDFS默认的负载均衡更有利于将大量的影像负载数据相对均衡地分配到服务器集群中的各个节点上,大幅度地缩短了增加数据规模时数据服务器节点的平均响应时间,有利于提高HDFS集群整体的工作效率。 相似文献
3.
4.
异构环境下云计算数据副本动态管理研究 总被引:4,自引:0,他引:4
针对现有HDFS(Hadoop Distributed File System)数据副本数目固定,副本放置时未考虑节点异构性问题,本文提出一种异构环境下云计算数据副本动态管理模型DMDR.在副本创建时,DMDR根据节点性能选择最优副本放置节点;在系统运行过程中,基于灰色预测技术,DMDR根据数据的最近访问特征预测数据访问热度,并动态调整副本数目.实验表明,在异构环境下,较之现有HDFS副本管理机制,DMDR可有效减少节点之间数据传输,提高负载均衡,降低作业执行时间. 相似文献
5.
针对由于云服务器之间软件环境存在异构性及数据分布不均匀等特点而导致云服务器集群在处理大量任务时往往出现节点负载不均衡的情况,提出了解决在线多任务异构云服务器集群负载均衡的方法与相关算法。首先统计集群提供的各类服务的平均资源消耗,结合任务在服务器上已运行时长和资源占用情况,预测评估某一时刻服务器上任务剩余负载总量;然后按周期获取节点实际任务负载情况,及时修正任务负载情况;最后综合考虑节点各项性能,计算在待分配任务提交时刻各节点的预测负载评估值,并将任务分配给预测负载最轻的节点。实验结果表明,该算法具有可行性且在多任务异构云服务器集群负载均衡方面具有一定优势。 相似文献
6.
传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法. 相似文献
7.
8.
对弹性分布式缓存动态扩展机制实现中的关键问题进行了研究。针对动态扩展时的数据重均衡问题,提出了一种适用于异构环境的热点感知的数据重均衡算法(hotspot sensitive data rebalancing algorithm,HSDRA)。该算法同时考虑内存占用和网络流量的均衡,在线识别热点分区,优先确保其在各缓存节点间均衡分布。针对动态扩展时缓存服务的数据一致性和持续可用性保障问题,分别提出了一种基于两阶段请求的数据访问协议和一种受控的数据迁移算法。实验结果表明,该方法能够在保障数据一致性和持续可用性的要求下实现缓存系统的动态扩展,HSDRA算法与未考虑各分区实际负载的加权静态数据重均衡算法相比响应时间更短。 相似文献
9.
请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性. 相似文献
10.
11.
12.
Windows NTFS下数据恢复的研究与实现 总被引:6,自引:0,他引:6
针对由主观或客观因素造成计算机中数据丢失的情况,提出一种Windows NTFS文件系统下数据恢复的实现方案.介绍了NTFS文件系统在磁盘上的结构,重点分析了NTFS文件系统的核心--主文件表MFT,文件记录的结构和文件的几个关键属性.通过分析文件删除前后文件记录中属性值的变化,详细阐述了数据恢复的具体实现. 相似文献
13.
以计算机和通信技术为主要手段,在Lotus Domino/Notes环境下,开发了办公自动化档案管理系统,实现了机关内部各级部门之间档案信息的收集、处理、流动、共享与科学决策。 相似文献
14.
《International Journal of Parallel, Emergent and Distributed Systems》2013,28(5):407-433
Due to the explosive growth in the size of scientific data-sets, data-intensive computing and analysing are an emerging trend in computational science. In these applications, data pre-processing is widely adopted because it can optimise the data layout or format beforehand to facilitate the future data access. On the other hand, current research shows an increasing popularity of MapReduce framework for large-scale data processing. However, the data access patterns which are generally applied to scientific data-set are not supported by current MapReduce framework directly. This gap motivates us to provide support for these scientific data access patterns in MapReduce framework. In our work, we study the data access patterns in matrix files and propose a new concentric data layout solution to facilitate matrix data access and analysis in MapReduce framework. Concentric data layout is a data layout which maintains the dimensional property in chunk level. Contrary to the continuous data layout adopted in the current Hadoop framework, concentric data layout stores the data from the same sub-matrix into one chunk. This layout can guarantee that the average performance of data access is optimal regardless of the various access patterns. The concentric data layout requires reorganising the data before it is being analysed or processed. Our experiments are launched on a real-world halo-finding application; the results indicate that the concentric data layout improves the overall performance by up to 38%. 相似文献
15.
考虑到如何在应用程序中有效地指定数据文件的路径 ,不管应用程序安装在何目录或数据文件存放在何盘 ,使程序都能找到数据文件的路径的问题 ,讨论了VB程序设计中指定数据文件路径的方法 ,以便实现程序安装目录与程序数据文件存放路径无关。 相似文献
16.
17.
本文讨论的方法是将一台插入IBM主机3270仿真卡的微型机作为中间机,使得NOVELL网上的任何一台工作站可以与IBM主机交换数据文件,文中同时介绍进行数据文件交换的支持程序。 相似文献
18.
行缓冲和表缓冲是对数据库中记录操作的常用方法,但在处理大数据量数据的时候其效果通常不很理想。为有效的对大数据量数据进行处理,本文介绍了一种用文件缓冲的方式来处理大数据量数据的方法。 相似文献
19.
20.
刘保利 《数字社区&智能家居》2014,(1):166-167,188
硬盘是计算机系统中最主要的外部存储设备,硬盘上存储的数据会因为各种原因遭到损坏或丢失,数据恢复是将硬盘上损坏或丢失的数据重新找回来,还原为正常可用数据的过程。该文主要分析了硬盘文件存储和读取的原理,以及数据恢复的原理,论述了硬盘数据损坏或丢失的原因和类型,以及相应的恢复方法。 相似文献