副本协作预取中文件相关性查询机制

副本协作预取是一种网格副本复制策略,旨在通过获取隐性高价值文件进一步降低数据访问延迟.副本协作预取的关键在于隐性高价值文件的确定和获取,因此,提高隐性高价值文件获取的速度能够大幅度提升副本协作预取的性能.利用DHT(distributed hash table)组织网格节点,以快速定位隐性高价值文件查询所必需的文件相关性信息.针对隐性高价值文件的特殊查询模式,提出基于预取规则树的文件相关性信息存储结构及其查询机制,以提高查询效率.基于真实网格作业运行记录的实验,验证了所提出方法的有效性和高效性.     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

蚂蚁算法在数据网格副本选择中的应用研究

数据网格中由于采用复制备份策略,文件存在多个副本.用户访问文件时,如何从拥有相同文件的多个结点中选择某一结点获取文件,达到以相同的代价获得最优质的服务,是一个迫切需要研究的问题.深入研究了蚂蚁算法的原理,分析了影响副本选择性能的主要因素,利用这些参考因素设计了基于蚂蚁算法的副本选择策略;并对这个新算法进行了分析和实现.经仿真平台实验,表明该算法可有效地减少数据访问延迟及带宽消耗,实现网格中存储节点间的负载平衡,提高数据的访问速度.     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

对等网络中一种优化的副本分布方法

数据复制技术是一种提高P2P系统中数据可靠性和可用性的常用策略.现有复制方法大多只考虑副本数量,副本数量越多就越能提高资源访问效率,但采用这样的数据复制方法将会带来高昂的副本一致性维护代价.为平衡副本一致性维护的开销和多副本带来的访问性能提升之间的关系,该文提出了动态副本分布方法.文中首先给出了副本目录的设计和副本信息的获取方法,能够获得某一逻辑资源的所有副本信息.然后,根据逻辑资源的全局副本信息,对访问频率高且平均响应时间长的数据资源进行复制,并给出副本数量的计算方法.最后,根据用户访问特征和节点实时带宽等信息计算放置副本的最佳地点,使副本分布能够适应数据访问请求和网络带宽的动态变化.模拟实验结果显示,该方法能够实现全局优化的副本分布,以少量数据副本提升资源访问的性能.     

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题.存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠.论文提出一种基于云存储的二阶段动态优化调度机制：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用.最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率.     

云计算架构下的动态副本管理策略

为有效管理云计算环境中的数据副本,减少系统带宽消耗、最小化响应时间和平衡负载,提出了一种动态副本管理策略.通过建立文件可用性和副本数量间的关系模型来计算系统应维持的最小副本数量;基于数据被请求访问的次数和传输花费进行副本放置;数据被请求时结合节点间带宽和节点效用选择副本.实验结果表明了该策略的正确性有效性.     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

基于P2P在线信息聚合的存储策略研究

利用P2P节点的在线信息,设计存储策略,使得在没有副本迁移的情况下具有比较高的可靠性,减少频繁的副本迁移带来的带宽压力。节点根据历史在线信息利用Cluster-Based Predictor预测模型对未来一段时间的在线情况进行预测,当本地节点存储文件时搜集邻居节点的在线信息,然后基于这些聚合的在线信息通过三种存储策略选择副本进行存储。实验结果表明在线行为相似策略可以在没有副本迁移的情况下有很高的可靠性。     

针对负载均衡的P2P动态副本策略

对等网络系统面临的最大的问题就是负载均衡.针对P2P网络中负载均衡的问题,提出了两种基于动态副本策略的负载均衡技术:周期性副本策略和基于需求的副本策略.在周期性副本策略里,每个超级节点周期性地把文件的副本发送给请求该文件频率最高的远程超级节点.在基于需求的副本策略里,当一个超级节点发现其对某个文件的访问频率过高时,就向拥有该文件的超级节点发送文件请求,以获得该文件副本.本文分析了这两种技术的平均访问代价和副本负载代价.一系列的模拟实验证实了这两种技术的可行性及其带来的好处.     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

广域存储虚拟化系统的文件访问

广域存储虚拟化所要解决的一个问题是如何实现对分布的文件进行方便高效的访问。本文在分析了几种常见的文件系统后，针对广域存储虚拟化系统的特征，设计了客户端的文件访问模式，并实现了一套应用于该系统的文件访问接口，使用户能够像使用本地系统一样使用广域存储虚拟化系统的存储资源。     

Data file management

This paper reviews the different types of data files and methods of storing and retrieving information using sequential access and random access files. A data management program that contains specifications on 300 robot models is used to show how to: (1) create a new data file, (2) add information to an existing file, (3) modify records within a file, (4) display information from a data file, and (5) to analyze data from individual records.     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。     

An optimized approach for storing and accessing small files on cloud storage

Hadoop distributed file system (HDFS) is widely adopted to support Internet services. Unfortunately, native HDFS does not perform well for large numbers but small size files, which has attracted significant attention. This paper firstly analyzes and points out the reasons of small file problem of HDFS: (1) large numbers of small files impose heavy burden on NameNode of HDFS; (2) correlations between small files are not considered for data placement; and (3) no optimization mechanism, such as prefetching, is provided to improve I/O performance. Secondly, in the context of HDFS, the clear cut-off point between large and small files is determined through experimentation, which helps determine ‘how small is small’. Thirdly, according to file correlation features, files are classified into three types: structurally-related files, logically-related files, and independent files. Finally, based on the above three steps, an optimized approach is designed to improve the storage and access efficiencies of small files on HDFS. File merging and prefetching scheme is applied for structurally-related small files, while file grouping and prefetching scheme is used for managing logically-related small files. Experimental results demonstrate that the proposed schemes effectively improve the storage and access efficiencies of small files, compared with native HDFS and a Hadoop file archiving facility.     

海量文件系统中基于特征实现文件多维度浏览

SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海量小文件倒排索引技术和分布索引技术,使SMDFS可根据多个特征快速浏览文件。实验数据表明,支持特征的SMDFS能为海量小文件提供高效管理和多维度快速浏览能力,同时基于文件目录结构访问海量小文件的性能并没有明显下降。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

Analysis of file usage in personal computer environments

This paper discusses collection, analysis and interpretation of data pertaining to files in personal computer (PC) environments. We developed programs to collect and analyze data from PCs running the OS/2¹ operating system and using the High Performance File System (HPFS). The data collection program gathers the information about file sizes, the times and dates of file creation, the last file access, and the last file update by scanning the contents of disk storage devices. The gathered information is used to analyze the distributions of file sizes, functional file lifetimes, and functional lifetimes of file's data. The analysis shows that: most files are small (more than 60% of files on a system are smaller than 8 Kbytes), about 60% of files on a system have never been accessed again after being created and very few files are ever modified. Recommended by: N. Boudriga     

支持动态授权和文件评价的访问控制机制

针对传统的访问控制方法不支持动态授权和文件评价、且存在恶意再分享隐患,设计了一种支持动态授权和文件评价的访问控制机制(DAFE-AC)。DAFE-AC采用的动态授权机制能够对已授权用户进行实时监控,保证了用户之间的相互监督;采用的文件评价机制可以支持文件解锁阈值的动态更新。基于Hash/索引数据库,DAFE-AC确保了文件在系统中的唯一性。在DAFE-AC中,用户授权值会随着其他用户行为动态变化,且用户可以通过对文件进行评价以消除恶意再分享。     

面向高效文件访问的目录结构优化研究

针对气象水文应用中,大量常规观探测报文批量访问出现的低效问题,研究文件存储特性,定量分析了目录级数和文件数量对访问性能的影响,发现文件数相对于文件大小,对于系统的访问效率影响更大,当单个目录下文件数目过大时,文件存取延时较大,严重影响用户体验与服务性能。根据NTFS下的实验数据,设计了一种高效的目录组织方法,优化用户态文件存储管理算法。实验表明,优化后的文件目录结构和组织形式,能极大地提高批量文件的读取效率,降低20%—73%的访问延时,改善网络环境下的大规模文件接收处理效率。