LCFS中元数据服务器的可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面，元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案，采用马尔可夫补偿模型研究元数据服务器的状态迁移概率，分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响，对实现大规模集群文件系统中的元数据服务器有重要的指导意义。     

基于iSCSI存储集群的设计与实现

为了节约成本,提高系统的可用性,通过研究iSCSI与存储集群的特点,提出将iSCSI应用到存储集群中的方案.分析了心跳检测、故障迁移、数据镜像等技术,在设计心跳检测时,通过增加失效点阀值提高检测的正确性,故障迁移利用ARP欺骗原理来完成,数据镜像则使用同步模式来保障数据的一致性.最后实现了一款高可靠、高可用基于iSCSI的存储集群系统,并对存储系统性能进行了测试.     

集群文件系统的性能最优化配置

集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件服务和Web服务,测试了不同节点数和不同lustre条块大小配置下的系统性能;通过对比分析,得出lustre集群文件系统最优化配置,为提高集群文件系统性能提供参考.测试结果显示.当lustre文件系统的OST节点数与client节点数相当时系统性能最好.     

NoSQL非关系型数据库负载均衡的实现

NoSQL数据库以其支持数据高并发读写,海量数据高效率存储和访问,以及高扩展性和高可用行的特点在分布式存储系统中得到了广泛的应用。通过对分布式存储系统负载均衡的研究,提出了使用一致性哈希函数来实现系统负载均衡,并通过添加为集群节点添加虚拟节点的方式来增加缓存的命中率。     

基于动态布局的块级网络存储系统VISA

高性能、可扩展的网络存储系统在当今数据密集型应用中日益重要.分布式RAID作为一种存储体系结构,被广泛应用在集群和分布式计算环境中,但其机械的数据放置策略会导致在数据一致性维护中读写性能的下降.基于分布式RAID和存储虚拟化的理念,提出了一种新型块级网络存储系统VISA(virtual interface storage architecture).VISA系统不仅可以实现本地和远程的快速存储访问,而且可以根据当前各存储节点的负载状况和数据布局策略,将用户I/O请求的逻辑块地址动态映射到物理块地址,从而达到负载均衡与高性能的统一.测试结果显示,使用这种动态映射策略的VISA系统与传统的采用分布式RAID结构的IP-SAN相比,顺序写性能提高了78.66%～141.77%,顺序读性能提高了34.89%～51.73%.     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

基于Agent的分布式存储系统故障检测技术

当前的分布式并行文件系统与数据库系统在存储容量、访问性能、可靠性、可扩展性等方面都不能很好地满足数据密集型应用的需求,基于集群的存储系统也存在一定的不足.针对这一问题,提出了一种PC存储集群解决方案,采用3层Agent结构构建了一个分布式存储系统,介绍了基于主从备份方式的系统可靠性模型,详细阐述了检查点检测和心跳检测相结合的故障检测方法,分析故障检测带来的系统开销并加以改进.数学分析表明,新系统具有较高的可靠性与较低的通信开销.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

一种网络存储技术新方案棗智能网络磁盘集群存储系统

针对网络存储技术中存在的一些问题,提出一种网络存储技术新方案棗智能网络磁盘集群存储系统.通过"分散服务、集中管理"模式,有效解决了普遍存在的单点失效问题;通过设计一种虚拟文件系统,将多个存储节点虚拟成一个超大容量、集中化的数据存储中心,满足了海量信息存储的大容量、可扩展性等要求;通过多数据布局方法,满足了数据完整性和吞吐率等不同数据存储要求;最后分别提出了一种智能I/O调度和自适应负载均衡方案.     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

海量分级存储系统中磁带访问性能优化

磁带是顺序访问设备,其访问性能因受到多方面因素的影响而变化很大,因此进行针对性的优化非常必要;采用基于磁盘-磁带的分级存储管理是海量存储系统中最常用的技术手段之一,首先对当前磁带访问的现状和影响因素进行分析,然后对性能优化方法进行探讨,包括驱动器调度、迁移策略、文件大小、磁带文件顺序等;实验结果表明,海量分级存储系统将网络存储架构与磁带存储结合起来,具有良好性价比,在高能物理、数字媒体等领域得到广泛应用。     

基于Web的集群管理系统结构

介绍高性能计算集群管理现状, 并根据目前管理缺点与不足, 对集群管理系统进行了总体框架设计, 利用Linux中/proc文件系统、MySQL数据库及Web技术, 对管理数据采集、数据存储及应用接口进行了功能设计, 最终实现了在统一Web界面中对集群系统运行实时情况、历史数据统计与分析进行管理.     

面向NVM存储系统的快速文件访问系统

NVM存储设备系统具备提供高吞吐的潜质,包括接近内存的读写速度、字节寻址特性和支持多路转发等优势。但现有的系统软件栈并没有针对NVM去设计,使得系统软件栈存在许多影响系统访问性能的因素。通过分析发现文件系统的锁机制具有较大的开销,这使得数据的并发访问在多核心环境下成为一个难题。为了缓解这些问题,设计了无锁的文件读写机制以及基于字节的读写接口。通过取消基于文件的锁机制改变了粗粒度的访问控制,利用自主管理请求提高了进程的并发度;在设计能够利用字节寻址的新的文件访问接口时,不仅考虑了NVM存储设备的读写非对称,还考虑了其读写操作的不同特性。这些设计减少了软件栈的开销,有利于发挥NVM特性来提供一个高并发、高吞吐和耐久的存储系统。最后利用开源NVM模拟器PMEM实现了FPMRW原型系统,使用Filebench通用测试工具对FPMRW进行测试与分析,结果显示,FPMRW相对EXT+PMEM和XFS+PMEM能提高3%~40%的系统吞吐率。     

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.     

蓝鲸机群文件系统文件layout设计与实现

维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。     

MORM: A Multi-objective Optimized Replication Management strategy for cloud storage cluster

Effective data management is an important issue for a large-scale distributed environment such as data cloud. This can be achieved by using file replication, which efficiently reduces file service time and access latency, increases file availability and improves system load balancing. However, replication entails various costs such as storage and energy consumption for holding replicas. This article proposes a multi-objective offline optimization approach for replica management, in which we view the various factors influencing replication decisions such as mean file unavailability, mean service time, load variance, energy consumption and mean access latency as five objectives. It makes decisions of replication factor and replication layout with an improved artificial immune algorithm that evolves a set of solution candidates through clone, mutation and selection processes. The proposed algorithm named Multi-objective Optimized Replication Management (MORM) seeks the near optimal solutions by balancing the trade-offs among the five optimization objectives. The article reports a series of experiments that show the effectiveness of the MORM. Experimental results conclusively demonstrate that our MORM is energy effective and outperforms default replication management of HDFS (Hadoop Distributed File System) and MOE (Multi-objective Evolutionary) algorithm in terms of performance and load balancing for large-scale cloud storage cluster.     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

NTFS系统存储介质上文件操作痕迹分析

计算机用户通过文件系统存取数据，文件和文件夹的操作(如增加、删除、修改)会在存储介质上留下痕迹，这些痕迹与文件系统有关。NTFS文件系统以簇为单位分配和回收外存空间，通过主文件表来进行管理。文章从计算机取证角度探讨NTFS文件系统下访问文件(夹)的方法，研究NTFS文件系统下文件和文件夹的操作痕迹，并与FAT文件系统中的痕迹进行比较。     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。