共查询到10条相似文献,搜索用时 62 毫秒
1.
如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。 相似文献
2.
3.
《Parallel Computing》2014,40(10):722-737
The MapReduce programming model, in which the data nodes perform both the data storing and the computation, was introduced for big-data processing. Thus, we need to understand the different resource requirements of data storing and computation tasks and schedule these efficiently over multi-core processors. In particular, the provision of high-performance data storing has become more critical because of the continuously increasing volume of data uploaded to distributed file systems and database servers. However, the analysis of the performance characteristics of the processes that store upstream data is very intricate, because both network and disk inputs/outputs (I/O) are heavily involved in their operations. In this paper, we analyze the impact of core affinity on both network and disk I/O performance and propose a novel approach for dynamic core affinity for high-throughput file upload. We consider the dynamic changes in the processor load and the intensiveness of the file upload at run-time, and accordingly decide the core affinity for service threads, with the objective of maximizing the parallelism, data locality, and resource efficiency. We apply the dynamic core affinity to Hadoop Distributed File System (HDFS). Measurement results show that our implementation can improve the file upload throughput of end applications by more than 30% as compared with the default HDFS, and provide better scalability. 相似文献
4.
分布式存储系统HBase关键技术研究 总被引:1,自引:0,他引:1
HBase是一个面向列的非关系型的开源分布式存储系统,它基于Hadoop HDFS文件存储系统,使用MapReduce来处理海量数据,利用Zookeeper作为协同服务,它使用简单的键值对映像关系为超大规模和高并发的海量数据实时响应系统提供一个很好的解决方案。对HBase的体系结构、数据模型、MapReduce算法设计等几个方面进行详细阐述,并对HBase的未来发展做出展望。 相似文献
5.
分布式文件系统能够解决日益增加的海量存储需求,从而成为研究的热点。KFS就是一款优秀的分布式文件系统。介绍了KFS的架构以及一些实现细节,并对其读写性能进行了测试分析。 相似文献
6.
一种优化的多Agent相关任务并行调度算法 总被引:4,自引:0,他引:4
讨论了在多Agent系统中多组作业的并行调度问题,提出了一个描述多组作业推进速度的指标——调度效率和一种优化的多Agent相关任务并行调度算法——多Agent相关任务均衡 压缩调度算法(MADTBCSA)。以调度效率作为调度的标准,通过追求多组作业的均衡推进,来达到有效利用Agent时间的目的,同时利用静态压缩算法,进一步压缩调度长度,提高了Agent的利用率。 相似文献
7.
8.
分布式文件系统中的负载平衡技术 总被引:4,自引:1,他引:4
I/O,特别是存储系统成为了计算机系统结构的核心,因而用于组织存储内容并提供使用接口的文件系统中的负载平衡研究也成为提高整个系统性能和可扩展性的重要组成部分。在分析现有文件系统负载平衡技术的优缺点的基础上,提出了一种动态的负载平衡技术,并给出此技术的实现方案和可行性分析。 相似文献
9.