云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

基于 HDFS 的安全云存储模型

针对基于HDFS的云存储平台对元数据绝对全权管理控制问题,提出元数据自主组织模型ASOM,通过分析DataNode与NameNode之间的交互过程,ASOM设计并实现了元数据子服务,通过提取HDFS中DataNode元数据信息直接跟元数据子服务器交互,并且由元数据子服务器处理文件与块、块与DataNode 之间的映射关系。通过对HDFS源代码进行分析编译和模块替换,搭建原型系统进行测试,测试结果表明：对NameNode中的元数据进行必要的安全隔离保证了用户对元数据的控制与管理,可有效避免平台管理员对元数据可能的恶意操作和安全隐患。     

分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析

对现有HDFS的设计架构进行分析,并借与LinuxFS架构的对比凸显HDFS的分布式特性。通过分析得出:现有的HDFS架构使用Java的Map界面,不利于任务的分解和并行处理,因此HDFS仅在数据的存储上实现分布式,数据处理依然是集中式的,这就形成了对NameNode的依赖,随着集群的扩大,NameNode的性能成为系统瓶颈,并提出了解决方向。     

敏感数据自主可控的云存储平台元数据管理

针对传统云存储平台的敏感数据的安全问题,将元数据管理分成客户端元数据管理与云端元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据,在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障元数据子服务器与云端元数据服务器之间的数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性.在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,该存储系统在自主管理敏感信息元数据的前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力.     

HDFS平台上以能效为考量的小文件合并

为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题,建立Hadoop节点集群的能耗模型进行分析推导,证明了在Hadoop平台上,存在能使程序运行能耗成本最低的最优文件大小,并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略. 此策略可以对存放在HDFS上的小文件合并进行效益计算,将小文件合并为成本最优文件大小以获得最佳收益. 通过实验证明了能效最优数据块大小的存在,并通过实验证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性.     

海量小文件元数据的分布式存储与检索

针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用Map Reduce并行程序对元数据检索进行了实现,并指出了并行检索中存在的问题,提出采取局部位图索引对元数据检索进行了优化．最后通过实验进行了验证,实验结果证明,该方法实现了海量元数据的分布式存储与检索,避免了现有分布式文件系统在处理海量小文件时存在的主节点单点性能瓶颈．     

基于Hadoop的小文件存储优化方案

Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。     

延迟光照算法对Hadoop集群渲染系统的改进与实现

针对集群渲染系统在三维场景文件输出过程中,海量数据处理以及存储的问题,利用Hadoop框架对现有系统进行分布式模型改造,以基于延迟光照算法的处理方式,对分布式存储和计算的业务逻辑结构部署,实现改进Hadoop集群渲染系统对任务的处理策略,提供高容错、可靠的存储和海量计算数据的方式.通过实验证明改进的Hadoop集群渲染系统可以提高系统利用率和任务处理能力.     

基于对等网络的面向小文件的云存储系统

针对目前主从结构的云存储系统在存储小文件延迟过大的问题,提出基于对等网络(P2P)的分布式云存储系统.通过改进Chord路由算法提高了资源的查询效率,在系统中引入中心路由节点,中心路由节点上存储系统中所有节点的路由和状态信息,使资源查询时间复杂度缩短到O(l),客户端预取中心路由节点数据,从而减少数据操作时的时间开销;系统通过备份的策略来保证数据的可靠性,实现中数据备份数为3;系统实现了文件存储、读取、删除及列目录等基本操作功能.实验结果表明,与Hadoop HDFS文件系统相比,该系统的小文件操作时间减少了一个数量级.     

基于键值存储的元数据集群副本一致性研究

设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。     

基于网络存储的异构集群文件系统研究与实现

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径，提出了一个基于网络存储的开放系统与大型机集群文件系统，该系统采用第三方数据传送和大型机文件系统模拟的方法，解决了开放系统的字节流型文件系统与大型机的记录型文件系统的互操作问题，进而利用一些I／O性能优化策略实现了一个高性能的用户态运行库(Runtime Library)，使得开放系统上的应用程序利用该运行库可以实现对网络存储上大型机文件的高速访问。实验结果表明，与传统的客户／服务器文件共享模式相比，该系统具有更高的性能。     

工业过程中存储过程数据的文件结构设计

讨论了自动化程度较高的工业过程的信息模型以及对数据存储的要求,在此基础上提出了—个适合存储工业过程中高速采集的过程数据的文件结构,并给出了在此种结构下的文件读写过程,分析了该文件结构的优点。提出的文件结构具有读写方便、节约存储空间、处理速度和处理所需空间受数据量影响不大等特点。     

中小规模分布式文件系统集群构架的优化方案

针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网：对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据.每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接.对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著.     

Highly concurrent NVM storage system based on the asymmetric lock

In order to improve the ability of the non-volatile memory storage device system to concurrently execute access requests, aiming at the diverse nature between read and write access requests and the different properties of file data and metadata in the storage device, we have designed a file-based parallel write-based file data concurrent write strategy, RCU based file data read and write concurrency strategy and a minimum spin lock-based metadata synchronization strategy to improve the degree of concurrency of requests execution. And then we have implemented a prototype of the asymmetric lock-based high concurrent non-volatile memory storage system, which has been tested and analyzed by common test tools and methods, the result shows that compared with the PMFS, the prototype system can increase the throughput by 40%~162% and input/output operations per second by 61%~159%.     

FusionCache: 采用闪存的iSCSI存储端融合缓存机制

针对原生的iSCSI目标端控制器缺乏独立的缓存模块问题,为了进一步提高存储区域网的整体性能,在iSCSI target软件中引入了一种基于闪存的融合缓存机制FusionCache.FusionCache利用闪存和DRAM组成统一的融合缓存架构,闪存充当DRAM的扩展空间,DRAM分为缓存块元数据区和前端缓存区.元数据区基于基数树管理缓存块元数据,用于加速缓存块的查找;前端缓存区基于回归拟合统计并预测缓存块访问热度,并吸收大量写入对闪存带来的冲击,只允许热点数据进入闪存.FusionCache采用改进的LRU算法对缓存块进行替换,并且在写回过程中考虑iSCSI会话状态.实验结果表明:FusionCache能降低对后端磁盘设备的访问频率,提高I/O响应的速度和吞吐.与只采用DRAM的缓存机制以及原生iSCSI target相比,FusionCache的I/O访问延时分别降低了33%和60%,吞吐分别提高了25%和54%;相较于Facebook提出的Flashcache机制,FusionCache的吞吐性能提高了18%,延时降低了27%;FusionCache还具有良好的读缓存命中率;此外,FusionCache能够减少闪存的写入次数,提高闪存使用寿命.FusionCache提供良好的网络存储效率,并且降低了使用成本.     

ZFS在基于Hadoop的视频存储系统中的应用

随着视频点播技术的不断发展,视频数据呈现出爆炸式增长,对文件存储及其扩容性方面提出了苛刻的要求。该文首先简单地描述了数据存储服务集群及该集群主要采用分布式平台Ha-doop,使用ZFS动态文件系统作为后端存储文件系统。接着简单介绍了ZFS的特性,其次着重介绍ZFS在HDFS上的集成设计,最后通过相应的实现和ZFS性能比较测试,证明ZFS文件系统在视频文件存储中具有很好的应用价值。