共查询到20条相似文献,搜索用时 15 毫秒
1.
2.
3.
4.
曙光星云分布式文件系统:海量小文件存取 总被引:2,自引:0,他引:2
随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度. 相似文献
5.
The problem of minimizing the access time of a requested multimedia (MM) document on a network based environment is addressed. A generalized version of this problem is formulated and retrieval strategies that minimize the access time of the user-requested MM document from a pool of MM servers are proposed. To this end, we design single-installment and multi-installment MM document retrieval strategies, through which the minimization of access time can be carried out. The main idea is to utilize more than one MM server in downloading the requested document. Each server assumes the responsibility of uploading a predetermined portion of the entire document in a particular order. Single- and multi-installment strategies differ in the number of disjoint document pieces each server sends to the client. We first introduce a directed flow graph (DFG) model to represent the retrieval process and generate a set of recursive equations using this DFG. Then, we derive closed-form solutions for the portions of the MM document downloaded from the various servers and the corresponding access time. We present rigorous analysis for these two strategies and show their performance under MPEG-I and MPEG-II video streams playback rates. Their behavior under different network bandwidths is also examined, revealing in-depth information about their expected performance. We also show that in the case of a multi-installment strategy, the access time can be completely controlled by fine tuning the number of installments. Since the number of installments is software tunable, the adaptive nature of the strategies to different channel bandwidths is also demonstrated. Important trade-off studies with respect to the number of servers involved in the retrieval process and the number of installments are presented. In the case of a heterogeneous network employing a single-installment strategy, we prove that the access time is independent of the server sequence used. Illustrative examples are provided for ease of understanding. 相似文献
6.
为对网格文件进行数据访问,提出一个带有标准服务器和协议的高性能存储系统——联众系统。采用集群环境中的数据管理方法,通过使用多个标准数据服务器访问多个站点,采用的技术包括Grid FTP以及OGSA Byte I/O界面等。实验结果证明,联众系统能够被用作真实网格环境中的并行文件系统,并获得较好的数据访问结果。 相似文献
7.
Athanasios I. Margaris 《International journal of parallel programming》2009,37(2):195-222
The objective of this paper is the review of the log file formats that allow the performance visualization of parallel applications
based on the usage of message passing interface (MPI) standard. These file formats have been designed by the LANS (Laboratory
for Advanced Numerical Software) group of the Argonne National Laboratory and they are distributed together with the corresponding
viewers as part of the MPE (multipurpose environment) library of the MPICH implementation of the MPI. The formats studied
in this paper is the ALOG, CLOG, SLOG1 and SLOG2 file formats—the formats are studied in chronological order and the main
features of their structures are presented. 相似文献
8.
广域存储虚拟化所要解决的一个问题是如何实现对分布的文件进行方便高效的访问。本文在分析了几种常见的文件系统后,针对广域存储虚拟化系统的特征,设计了客户端的文件访问模式,并实现了一套应用于该系统的文件访问接口,使用户能够像使用本地系统一样使用广域存储虚拟化系统的存储资源。 相似文献
9.
并行文件系统是高性能计算机为提高I/O带宽在软件方面采用的主要并行I/O技术之一。该文介绍了一种基于直接数据访问的并行文 件系统的设计和实现,阐明了该并行文件系统具备的主要功能及解决的关键技术问题。 相似文献
10.
基于HTTP协议的文件远程存取方法研究 总被引:1,自引:0,他引:1
提出一种基于HTTP协议的文件远程存取方法。该方法通过HTML表单提交文件信息,服务端程序处理这些信息并将文件内容直接存入数据库;同时,服务器将根据客户端请求发送文件,并自适应地确定是否删除数据库中的文件信息。 相似文献
11.
12.
Web日志挖掘可以通过对用户访问模式进行分析,以获取用户的访问兴趣程度。目前,大多数的web日志挖掘是基于频率的,其挖掘的信息没有太大的价值。而提出的聚类技术是基于访问时间的,使用模糊向量表示用户浏览模式,记录用户是否浏览过该页面以及停留的时间。通过不同的聚类方法对用户的访问序列进行聚类分析。将模糊粗糙[k]-均值和夹角余弦相结合,提出了一种双层聚类技术,减少了对初始聚类中心的敏感性,并且通过一系列实验,论证了该聚类方法的可行性。而且,实验通过使用Davies-Bouldin指标来验证不同聚类方法的效果并进行比较。由于数据量大时,仍然存在算法效率低的问题,因此,使用MapReduce实现双层聚类的并行化,提高了聚类的效率。 相似文献
13.
在异型数据库的增值应用中,需要解决数据库集成而引起的问题,多数据库系统提供了解决数据库集成问题有价值的方法。本项目的目的是建立模型,即透过一个简单的图形用户界面(GUI)访问远程异型数据库。简单介绍项目中的软件设计和实现方案,包括图形用户界面、通信子系统和数据库管理子系统。 相似文献
14.
针对分布式文件系统应用于海量小文件访问模式时, 元数据请求过多导致系统性能下降的问题, 提出了客户端元数据缓存授权机制的解决方案. 客户端从服务器读取元数据时, 申请相应类型的授权, 服务器分析请求并决定是否授予此客户端所访问的元数据的授权. 若客户端成功获取授权, 则将其与本地缓存的元数据相关联, 作为缓冲有效性的凭证. 当再次访问本地缓存的元数据时, 若有相关授权, 则可以直接从本地获取元数据, 无需向服务器发送缓存数据的有效性验证RPC. 仿真实验表明, 文中的方法有效的降低了客户端发送元数据请求RPC的数量, 节省了宝贵的网络带宽资源, 降低了元数据服务器的负载. 相似文献
15.
网络技术的主要结构,客户机/服务器结构与浏览器/服务器结构随着互联网技术的发展,向基于C/S和B/S混合模式的开发应用过渡。本文就Netilla远程网络接入平台的原理、作用等做了详细的阐述和探讨。 相似文献
16.
网络技术的主要结构,客户机/服务器结构与浏览器/服务器结构随着互联网技术的发展,向基于C/S和B/S混合模式的开发应用过渡.本文就Netilla远程网络接入平台的原理、作用等做了详细的阐述和探讨. 相似文献
17.
介绍了为曙光3000并行机开发的基于Java/CORBA的远程文件浏览器RFB(remote file browser)的设计与实现.在传统的并行机上,用户通过命令行接口对文件系统进行组织和管理,这给用户带来了诸多的不便.为此,设计并实现了一个具有图形用户界面的文件浏览器以支持用户对并行机文件系统的访问.RFB采用客户/服务器模式,实现了图形用户界面和对文件系统访问的分离.图形用户界面的实现采用Java语言及其图形工具包Swing,从而具有平台独立的特点,而客户/服务器之间的通信则采用当今流行的CORBA 相似文献
18.
元数据操作是影响分布式文件系统性能的一个关键因素。笔者深入研究了分布式文件系统Lustre的元数据存储方式及其访问特点,针对提高元数据的服务效率提出了一种改进方案。该方案将指定的扩展属性(系统元数据)在扩展属性块中的地址偏移存放到元数据文件索引节点的数据区域中,减少了扩展属性遍历的开销。系统测试和分析表明,改进后的系统有更高元的数据访问效率。 相似文献
19.
20.
The Journal of Supercomputing - 相似文献