首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 187 毫秒
1.
基于海量数据存储系统多级存储介质的热点数据区分方法   总被引:2,自引:0,他引:2  
海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.  相似文献   

2.
郭刚  于炯  鲁亮  英昌甜  尹路通 《计算机应用》2015,35(12):3392-3397
为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。  相似文献   

3.
海量存储系统是一个大规模分布式的集群存储系统,拥有着PB级的存储容量,存在着数以千计的并发访问。为实现对海量存储系统的监控和管理,采用以ganglia为基础并且辅以各种改进和优化的监控模型,以满足海量存储系统的要求。从性能、功能、可靠性以及资源优化等多方面入手,使模型不断完善,最终达到一个比较好的性能,为集群的监控和管理提供一个可靠的保障。  相似文献   

4.
节能型磁盘阵列S-RAID通过对磁盘分组,关闭部分磁盘,降低存储系统部分性能来实现节能.为避免启动已关闭磁盘而产生额外能耗,S-RAID中的写操作全部采用"读-改-写"方式,影响了S-RAID的写性能.本研究提出一种S-RAID的优化结构:LS-RAID,在不提高存储系统能耗的条件下,优化S-RAID的写性能.LS-RAID适用于以连续访问为主的应用,通过磁盘分区,分离存储系统中的随机访问和顺序访问,降低了随机访问对存储系统性能的影响;提出一种数据增量校验算法,避免了写过程中对数据盘旧数据的读操作,降低了因"读-改-写"导致的写惩罚.实验表明,与S-RAID相比,在不增加系统能耗的情况下,LS-RAID的写速率可以提升至少56%.在提供相同写性能的条件下,LS-RAID可以关闭更多磁盘,进一步降低了存储系统能耗,提升了节能效果.  相似文献   

5.
一种海量数据分级存储系统TH-TS   总被引:5,自引:0,他引:5  
随着数据存储规模的飞速增长,降低存储系统的总拥有成本,提高数据访问性能成为构建海量存储系统的关键.设计并实现了一个海量数据分级存储系统TH-TS(Tsinghua Tiered Storage),由多级存储设备构成一体化的数据存储环境.该系统提出了Cute Mig数据迁移方法:采用基于升级成本和升级收益的升级迁移策略和基于剩余空间的文件自适应降级选择策略,解决了传统on-demand迁移方法中迁移数据量大、访问性能不佳的问题.评测结果表明,TH-TS采用Cute Mig迁移方法的系统平均I/O响应时间比传统的LRU和GreedyDualSize方法分别降低了10%和39%左右,数据升级迁移量分别降低了32%和59%左右,降级迁移量分别降低了47%和66%左右.  相似文献   

6.
为了应对信息时代巨量数据的存储要求,多种网络存储技术和理论先后出现.其中,智能网络磁盘(intelligent network disk,IND)存储系统理论和实现技术是解决当前网络上的海量信息存储问题的一种重要的新技术方法.然而,至今还少有关于这种存储系统数据容灾性的研究.对智能网络磁盘存储系统进行了简单介绍,根据这种存储系统的数据分布特点和现有的容灾技术,提出了在智能网络磁盘存储系统上实现的自免疫容灾恢复算法和后备智能网络磁盘容灾恢复算法;还通过在高速局域网上的相关实验证明了这两个算法的可行性和正确性;实验和理论都证明了后备智能网络磁盘容灾恢复算法比自免疫容灾恢复算法更可靠.研究工作将对今后智能网络磁盘存储系统的容灾研究有较好的理论借鉴意义和实际参考价值,同时也可以让智能网络磁盘存储技术和理论更趋完善.  相似文献   

7.
随着网络的普及和应用,诞生了海量的网络数据,因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。  相似文献   

8.
基于智能网络磁盘的安全存储系统研究与设计   总被引:1,自引:0,他引:1  
针对海量数据存储安全问题,提出并设计了一种基于智能网络磁盘的安全存储系统。介绍了该存储系统的硬件和软件构成以及体系结构,分别从数据编码、数据分发以及数据恢复3个方面详细阐述了基于纠删码的数据安全存储机制的设计思路,对系统的安全可靠性进行了分析。分析结果表明,提出的安全存储机制具有较高的安全可靠性和良好的整体性能,对系统的时间开销影响较小。  相似文献   

9.
绿色网络存储系统的动力学分析模型   总被引:2,自引:2,他引:0  
分析和研究了复杂网络存储系统中能耗管理控制的动力学行为规律。通过分析网络存储系统中的磁盘能耗模型,提出一种针对分布式网络存储系统的理想化能耗优化数据布局模型(IEEDP)。在此基础上,结合数据迁移和数据复制技术,提出一种基于二维元胞自动机的绿色网络存储系统模型(GNSSCA)。实验表明,通过节点的局部性调节行为,该系统呈现出复杂的时空演化现象。系统总体副本个数随着负载的增加而出现相应的增加并最终趋于稳定。在负载较低的情况下,节点的访问队列长度嫡出现近似的幂律分布。  相似文献   

10.
尹洋  刘振军  许鲁 《软件学报》2009,20(10):2752-2765
随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.  相似文献   

11.
The file system, and the components of the computer system associated with it (disks, drums, channels, mass storage, tapes and tape drives, controllers, I/O drivers, etc.) comprise a very substantial fraction of most computer systems; substantial in several aspects, including amount of operating system code, expense for components, physical size and effect on performance. In a companion paper, we surveyed the traditional methods for optimizing the I/O system. We then examined disk and I/O system architecture in IBM type systems, and indicated shortcomings and future directions. In this paper we go one step further and summarize research by the author on two topics: cache disks and file migration. Cache disks are disks which have an associated cache which buffers recently used tracks of data. The case for cache disks is presented, and some of the issues are discussed. Parameter values for some aspects of the cache design are suggested. The second part of this paper summarizes the author's work on file migration, by which files are migrated between disk and mass storage as needed in order to effectively maintain on-line a much larger amount of information than the disks can hold. Some of the algorithms investigated are discussed, and the basic results are presented.  相似文献   

12.
The file system, and the components of the computer system associated with it (disks, drums, channels, mass storage tapes and tape drives, controllers, I/O drivers, etc.) comprise a very substantial fraction of most computer systems; substantial in several aspects, including amount of operating system code, expense for components, physical size and effect on performance. In a comparison paper, we surveyed the traditional methods for optimizing the I/O system. We then examined disk and I/O system architecture in IBM type systems, and indicated shortcomings and future directions. In this paper we go one step further and summarize research by the author on two topics: cache disks and file migration. Cache disks are disks which have an associated cache which buffers recently used tracks of data. The case for cache disks is presented, and some of the issues are discussed. Parameter values for some aspects of the cache design are suggested. The second part of this paper summarizes the author's work on file migration, by which files are migrated between disk and mass storage as needed in order to effectively maintain on-line a much larger amount of information than the disks can hold. Some of the algorithms investigated are discussed, and the basic results are presented.  相似文献   

13.
分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.  相似文献   

14.
设计并实现了一个大容量、可扩展、高性能和高可靠性的网络虚拟存储系--BW-VSDS.和其他网络存储系统对比,它有如下的特点:1)采用带内元数据管理和带外数据访问的虚拟存储管理架构,存储管理更灵活,并且系统扩展性更好;2)在单个节点内部的多个虚拟卷、多个虚拟池和多个网络存储设备上利用存储虚拟化技术重构得到面向多种存储应用的网络虚拟存储设备,实现了3层的层次化存储虚拟化模型,对内共享存储设备的容量和带宽,对外提供不同属性的虚拟磁盘;3)采用写时按需分配策略提高了存储空间的利用率,使用数据块重组提高了I/O读写性能;4)使用设备链表和位图实现了层叠式虚拟快照,支持增量快照、写时拷贝和写时重定向机制,实现源卷和快照卷的数据共享;5)提出结合带外存储虚拟化管理的后端集中的带外冗余管理结构,数据读写直接访问存储节点,冗余管理节点在磁盘上以日志方式缓存从存储节点镜像写的数据,然后在后台进行RAID5冗余计算,提高了活跃数据的可靠性,减轻了冗余计算对写性能的影响.  相似文献   

15.
大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增。新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列(RAIS)已在各种存储系统中广泛使用。传统RAIS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力。针对该问题,设计实现了基于多线程并发处理的存储池架构,该架构能够并发处理存储池中的I/O请求,提高用户I/O和数据重构I/O的访问性能。提出了一种负载自适应的I/O调度策略,能够在保证用户I/O服务质量的同时,提升数据重构效率。实验结果表明,基于存储池的多线程并发I/O处理架构能够提升数据重构性能,负载自适应的I/O调度策略能够根据用户I/O的负载情况动态调整用户I/O和数据重构I/O的调度比例,在保证用户I/O服务质量的同时,提升数据重构效率。  相似文献   

16.
一种基于网络磁盘阵列的高性能海量存储系统   总被引:3,自引:0,他引:3  
网络磁盘阵列将传统的以服务器为中心的存储转发改变为以数据为中心的直接传输,从而消除了传统模式下的服务器I/O瓶颈.本文基于网络磁盘阵列构建出一种高性能的海量存储系统,其文件集中管理和数据分布存储的体系结构不仅加快了数据传输速度、降低了存储管理开销,同时也实现了命令与数据分流、扩容与增速同步的目标,从而大大提高的整个存储系统的性能.  相似文献   

17.
随着计算机性能的迅速提高,系统越来越强烈地要求所配置的高速外存储器有更好的联机性能,I/O性能增长与CPU速度增长的严重失配,使I/O并颈问题日超严重,本文研究了Windows NT系统下的一种用来改善磁盘小写I/O(写请求的长度小于16K)性能的新途径0-缓存磁盘技术,它采用了多级Cache的存储思想,在办公/工程负载环境中的
峰值性能相对于常规磁盘有很大的提高。本文深入了研究了缓存磁盘技术在Windows NT环境下驱动程序的结构和原理,并详细阐述了具体的实现机制和方法。  相似文献   

18.
谢华成  陈向东 《计算机应用》2012,32(7):1924-1928
非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。  相似文献   

19.
分布式存储系统作为数据存储的载体,广泛应用于大数据领域.纠删码存储方式相对副本方式,既具有较高的空间利用效率,又能保证数据存储的可靠性,因此被越来多的应用于存储系统当中.在EB级大规模纠删码分布式存储系统中,元数据管理成本较大,位置信息等元数据查询效率影响了I O时延和吞吐量.基于位置信息记录的有中心数据放置算法需要频繁访问元数据服务器,导致性能优化受限,基于Hash映射的无中心数据放置算法越来越多地得到应用.但面向纠删码的无中心放置算法,在节点变更和数据恢复过程中,存在位置变更困难、迁移数据量大、数据恢复和迁移并发度低等问题.提出了一种基于条带的一致性Hash数据放置算法(consistent Hash data placement algorithm based on stripe,SCHash),SCHash以条带为单位放置数据,通过把数据块到节点的映射转化为条带到节点组的映射过程,减少节点变动过程中的数据迁移量,从而在恢复过程中降低了变动数据的比例,加速了恢复带宽.并基于SCHash算法设计了一种基于条带的并发I O调度恢复策略,通过避免选取同一节点的数据块进行I O操作,提升了I O并行度,通过调度恢复I O和迁移I O的执行顺序,减少了数据恢复的执行时间.相比APHash数据放置算法,SCHash在数据恢复过程中,减少了46.71%~85.28%数据的迁移.在条带内重建时,恢复带宽提升了48.16%,在条带外节点重建时,恢复带宽提升了138.44%.  相似文献   

20.
海量存储网络中的虚拟盘副本容错技术   总被引:2,自引:1,他引:2  
大规模存储网络中的数据可用性和读写性能越来越重要.在海量存储虚拟化系统的基础上,实现了多副本虚拟盘技术来提高网络存储的数据容错能力.同时,通过多副本选择调度与异步副本更新以及副本盘空间布局的动态调整算法,提高了系统的数据读写能力.测试结果表明,加入虚拟盘副本后,在设备数量充足情况下的读性能可提高26%;即使少量磁盘失效,读写操作也能正确执行,且读性能仍然比无副本时提高10%以上.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号