一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。     

网络并行机群文件系统的协同高速缓冲技术研究

XFS文件系统采用了许多用于高性能多处理器设计的技术和协同高速缓存技术。为了更好地确定文件或数据块在工作站机群中的位置 ,XFS采用分层结构来组织宿主机。XFS通过采用回写式高速缓存相关协议 ,解决高速缓存相关性。由于XFS灵活巧妙且充分地利用了局部的宿主机和局部的存储设备 ,所以XFS比当前用于广域网中文件系统更有效且拥有更好的性能。     

Dynamic core affinity for high-performance file upload on Hadoop Distributed File System

The MapReduce programming model, in which the data nodes perform both the data storing and the computation, was introduced for big-data processing. Thus, we need to understand the different resource requirements of data storing and computation tasks and schedule these efficiently over multi-core processors. In particular, the provision of high-performance data storing has become more critical because of the continuously increasing volume of data uploaded to distributed file systems and database servers. However, the analysis of the performance characteristics of the processes that store upstream data is very intricate, because both network and disk inputs/outputs (I/O) are heavily involved in their operations. In this paper, we analyze the impact of core affinity on both network and disk I/O performance and propose a novel approach for dynamic core affinity for high-throughput file upload. We consider the dynamic changes in the processor load and the intensiveness of the file upload at run-time, and accordingly decide the core affinity for service threads, with the objective of maximizing the parallelism, data locality, and resource efficiency. We apply the dynamic core affinity to Hadoop Distributed File System (HDFS). Measurement results show that our implementation can improve the file upload throughput of end applications by more than 30% as compared with the default HDFS, and provide better scalability.     

分布式存储系统HBase关键技术研究

HBase是一个面向列的非关系型的开源分布式存储系统,它基于Hadoop HDFS文件存储系统,使用MapReduce来处理海量数据,利用Zookeeper作为协同服务,它使用简单的键值对映像关系为超大规模和高并发的海量数据实时响应系统提供一个很好的解决方案。对HBase的体系结构、数据模型、MapReduce算法设计等几个方面进行详细阐述,并对HBase的未来发展做出展望。     

分布式文件系统KFS的架构与性能分析

分布式文件系统能够解决日益增加的海量存储需求,从而成为研究的热点。KFS就是一款优秀的分布式文件系统。介绍了KFS的架构以及一些实现细节,并对其读写性能进行了测试分析。     

一种优化的多Agent相关任务并行调度算法

讨论了在多Agent系统中多组作业的并行调度问题，提出了一个描述多组作业推进速度的指标——调度效率和一种优化的多Agent相关任务并行调度算法——多Agent相关任务均衡 压缩调度算法(MADTBCSA)。以调度效率作为调度的标准，通过追求多组作业的均衡推进，来达到有效利用Agent时间的目的，同时利用静态压缩算法，进一步压缩调度长度，提高了Agent的利用率。     

基于Hadoop分布式文件系统的单点问题的研究

从Hadoop分布式文件系统的架构出发,对Name Node节点存在的单点问题进行了分析与研究。在这个前提下,针对单点内存瓶颈问题,提出了一个小文件归并算法。此算法以Hadoop为基础,利用Hadoop分布式文件系统的特点,将归并后生成的大文件序列化到Hadoop分布式文件系统,很好地解决了小文件过多时Name Node单点内存瓶颈问题,并提高了系统的性能和可靠性。     

分布式文件系统中的负载平衡技术

I／O，特别是存储系统成为了计算机系统结构的核心，因而用于组织存储内容并提供使用接口的文件系统中的负载平衡研究也成为提高整个系统性能和可扩展性的重要组成部分。在分析现有文件系统负载平衡技术的优缺点的基础上，提出了一种动态的负载平衡技术，并给出此技术的实现方案和可行性分析。     

大规模多移动机器人合作任务的分布自主协作系统

以大规模多移动机器人觅食任务为背景,探讨了在分布式协作体系结构下系统任务级的协作与行为级的协调问题．提出了一种动态任务分配机制,在缩短任务完成时间的基础上减少了系统通信量并解决了任务死锁问题．同时,设计了一种基于预测的冲突消解方法,使机器人能够对动态障碍物进行精确避障．最后,通过仿真实验验证了上述方法的有效性．     

基于Web服务的分布式文件系统模型

文章研究了面向服务架构的高性能网络海量文件存储系统。文中采用具有高可扩展性的Web服务体系,将Internet上大量分散的文件服务器组织成一个逻辑整体,形成一个遍布Internet的大规模分布式系统,各文件服务器相互协作,共同对外提供文件服务。文中探讨了分布式体系结构中的高扩展性能和提高广域网范围文件访问性能的方法。