首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 46 毫秒
1.
分析了体全息存储的有关特点,对支持体全息存储的文件系统进行了研究和设计。阐述了文件存储的整体结构、存储编址方式、物理存储块的分配、页面的缓冲及数据一致性等方面的设计方案,并在体全息存储高速通道的基础上开发了文件系统的原型系统,经过仿真运行,效果较好。  相似文献   

2.
通过分析多媒体文件存储和文件访问的特点,在TCP/IP协议和本地文件系统的基础上,针对多媒体应用设计一种高性能的多媒体网络文件系统MNFS(Multimedla Network File System).MNFS采用目录和文件数据两级Cache组织结构,便于Cache的维护和快速查询;为了提高系统性能,采用顺序优化的Cache预测算法;Cache的替换算法采用常用的LRU(Least Re-cently Used)算法,分别将目录Cache和文件数据Cache组织成不同的LBU链表.在以太网环境下对MNFS性能进行了测试,测试结果表明,MNFS随机读的性能同SMB(Server Message Block Protocol)相接近,而MNFS顺序读的性能要比SMB高10-20%左右.  相似文献   

3.
GeoFS是一个遵从POSIX标准的广域分布式文件系统,用于站点之间共享数据.GeoFS使用FUSE用户态文件系统库,为应用程序提供标准文件系统接口,现有应用无需修改源代码即可运行其上.详述GeoFS副本及缓存设计,使得GeoFS适用于高时延、低带宽的广域环境的同时,提高GeoFS的可靠性与可用性.性能测试表明GeoFS在不同时延下,并行两副本读比单副本读性能平均提高56%,其中在100ms时延下,并行两副本读比单副本读性能提高66%;而当客户端缓存命中时,读写性能与本地文件系统性能相当.  相似文献   

4.
并行文件系统的框架设计和性能研究   总被引:1,自引:0,他引:1  
利用InfiniBand技术特征实现高效的并行文件系统(EPFS),设计一个高性能的透明传输层,对数据流的缓存管理、动态和公平的缓存共享,以及有效的内存注册和注销进行研究。实验表明,当I/O节点足够多时,随着计算节点的增加,基于InfiniBand技术的EPFS比基于TCP/IP的EPFS的读写性能增长更快。并且,两级别的内存注册和注销方法AFMRD比受约束的缓存技术更好地改进I/O性能。  相似文献   

5.
随着存储数据的爆炸性增长和集群技术的快速发展,集群文件系统的研究越来越成为一个焦点,该文设计并实现了一个多级集群文件系统(MCFS)的全局命名空间,MCFS系统采用元数据分层管理思想,建立一个统一的元数据树,从而使整个系统运行在一个松耦合、异构的环境下实现全局命名空间,提高了系统的并行性和可扩展性。在介绍了MCFS命名空间管理的同时,进行了相应的试验测试和性能分析。  相似文献   

6.
蒋金虎  陈左宁  黄文政 《计算机工程》2005,31(1):71-72,F003
全局文件系统(GFS)是大规模并行处理计算机系统和机群系统的关键技术。该文系统地介绍了一种新型的全局文件系统在“神威”计算机系统上的设计和实现,重点讨论了系统采用的一系列高性能和高可靠措施。最后提出了对下一代全局文件系统的展望。  相似文献   

7.
DVR网络文件系统的设计与实现   总被引:1,自引:0,他引:1  
随着多媒体技术和网络技术的快速发展,融合数字录像、DVD播放、视频点播和网络共享等功能的DVD录像机(DVD Recorder:DVR)正成为新的研究热点,DVR网络信息共享也越来越受到人们的重视.通过分析DVR文件存储和文件访问的特点,在现有的TCP/IP协议和FAT32文件系统的基础上,针对DVR设计了一种高性能的DVR网络文件系统DNFS(DVR Network File System).在百兆以太网环境下对DNFS性能进行了测试,测试结果表明,DNFS随机读的性能同SMB(Server Message Block Protocol)相接近,而DNFS顺序读的性能要比SMB高10-20%左右.  相似文献   

8.
设计并实现了在网格虚拟文件系统Grid VFS客户端采用代理管理磁盘缓存来隐藏网络延迟,提高网格数据利用率。此方法扩展了虚拟化分布式文件系统,提高了对网格资源有效完整的数据访问。在Grid VFS中,客户端代理动态地产生和管理磁盘缓存,每一个未修改的应用程序和OS都能应用,支持write-back策略、文件系统之间缓存的共享以及磁盘缓存的多级化,通过用户级VFS可以完整的集成到网格应用程序和资源中,从而提高了网格数据的访问性能。  相似文献   

9.
本文描述了一个安全网络文件系统-SNFS的设计和实现,包括其设计思想、体系结构、密钥管理、安全分析和实现方法。  相似文献   

10.
安全网络文件系统能够保证在开放环境下数据的安全性,其设计应当综合权衡安全性、性能和使用方便性.描述了一个安全网络文件系统SecNFS的设计与实现,包括设计思想、体系结构、共享方案、密钥管理、安全分析和实现方法.  相似文献   

11.
合作式缓存技术是提高机群文件系统性能的关键技术之一.s2fs(scalable single-image file system)是一个单一映像机群文件系统原型,它利用双粒度协议实现了符合严格UNIX语义的合作式缓存.该文为s2fs设计了基于hint的启发式缓存替换算法,并为其建立了性能分析模型.分析结果表明,同现有的合作式缓存替换算法N-chance相比,启发式算法几乎在所有情况下都有效地降低了I/O的响应时间.  相似文献   

12.
基于网络软RAID的分布式文件系统的设计与实现   总被引:1,自引:0,他引:1  
随着计算机技术与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点。分布式文件系统作为分布式存储系统中数据的管理者,为不同节点上的用户提供了对底层存储系统的文件访问接口。文章设计与实现了基于网络软RAID的分布式文件系统,并对系统的设计思想、总体结构和技术要点进行了详细介绍。  相似文献   

13.
传统缓存算法存在命中率低、交换率高等问题,且现有缓存算法在分布式大数据存储系统中并不适用,为此提出了一种基于频繁序列挖掘的自适应缓存策略。该方法使用数据挖掘算法挖掘历史访问窗口内的频繁序列,将频繁序列模糊合并后构建匹配模式集合以供查询。当新的访问来临时,将固定访问长度内的子序列与匹配模式集合进行匹配,然后根据匹配结果预取数据,同时结合修改后的S4LRU(4-segmented least recently used)数据结构进行缓存数据换出。在公开的大数据处理trace集上进行了仿真实验,实验结果表明,在不同的缓存大小下,提出算法与现有典型缓存算法相比,平均命中率提高了0.327倍,平均交换率降低了0.33倍,同时具有低开销和高时效的特点。此结果表明,该方法较传统替换算法而言是一个更为有效的缓存策略。  相似文献   

14.
提出了一种新的机群文件系统缓存模型,它充分利用机群系统累积的系统资源和高速的互联网络,将文件系统元数据和内容数据分离,分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存,并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明,这两种缓存机制结合使用能极大地提高机群文件系统的性能。  相似文献   

15.
This paper describes a scalable architecture for Web servers designed to cope with the ongoing increase of the Internet requirements. In the paper, first the drawbacks of the traditional Web server architecture are discussed, and the need for an innovative solution is described. The proposed design addresses two of the parameters that can dramatically impact the performance of Web servers: (1) the need for a powerful data management system to cope with the increase in the complexity of users' requests; and (2) an efficient caching mechanism to reduce the amount of redundant traffic. In this direction, a scalable solution based on distributed database technology to replace the file system is described, and performance test results of the system are provided. This architecture is further extended by a collaborative caching system that builds up an adaptive hierarchy of caches for Web servers, which allows them to keep up with the changes in the traffic generated by the applications they are running. Finally, some improvements to the proposed architecture are addressed.  相似文献   

16.
孙耀  刘杰  叶丹  钟华 《软件学报》2016,27(12):3192-3207
请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.  相似文献   

17.
在传统的分布式文件系统中用户无法判断文件的可信任性,针对此问题提出采用信任管理的分布式文件系统TrustFs,使用数字签名对文件的发布者进行认证,通过信任管理技术评估发布者的可信任度,从而达到帮助用户识别不安全文件的目的。TrustFs使用可堆叠文件系统的技术实现,可以移植到所有的Unix系统,并具有良好的扩展性。  相似文献   

18.
一种SAN环境下集群文件系统的元数据缓存研究   总被引:1,自引:0,他引:1  
为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证.  相似文献   

19.
大规模集群文件系统LCFS的元数据管理与访问机制   总被引:2,自引:0,他引:2  
文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号