基于键值存储的元数据集群副本一致性研究

设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。     

Deduplication technology for the mobile flash

The performance, capacity and reliability of the flash memory on devices such as smartphones and the Internet of Things are limited. Deduplication can resolve these restrictions by removing the duplicate I/O, but must be done under various resource constraints on the device. This paper proposes the M-Dedupe deduplication, which applies content-aware deduplication I/O requests on critical paths, and improves the performance and efficiency of mobile phones by improving the efficiency of flash garbage collection. The prototype system verification results show that the M-Dedupe reduces the write data by an average of 23.7%~42.5%, the average write response time by 21.2%~39.8%, and the average erased block by 16.8%~43.9%. Besides, it can achieve high-deciding duplication in the mobile flash system, improve the deduplication efficiency, and save the storage space.     

CSFS：云存储服务支撑的文件系统设计与实现

云存储服务性能开发是云端数据技术的重要课题。提出了一种基于云存储服务的文件系统数据存储架构,描述了一个基于该架构的云存储文件系统( CSFS)设计及实现。通过利用免费邮件服务降低了开发和部署成本,通过数据与元数据分离管理、分布式存储、云端数据预取等技术提高了系统的高效性和可扩展性。测试结果表明：相关优化技术有效提高了系统的读写性能。     

FusionCache: 采用闪存的iSCSI存储端融合缓存机制

针对原生的iSCSI目标端控制器缺乏独立的缓存模块问题,为了进一步提高存储区域网的整体性能,在iSCSI target软件中引入了一种基于闪存的融合缓存机制FusionCache.FusionCache利用闪存和DRAM组成统一的融合缓存架构,闪存充当DRAM的扩展空间,DRAM分为缓存块元数据区和前端缓存区.元数据区基于基数树管理缓存块元数据,用于加速缓存块的查找;前端缓存区基于回归拟合统计并预测缓存块访问热度,并吸收大量写入对闪存带来的冲击,只允许热点数据进入闪存.FusionCache采用改进的LRU算法对缓存块进行替换,并且在写回过程中考虑iSCSI会话状态.实验结果表明:FusionCache能降低对后端磁盘设备的访问频率,提高I/O响应的速度和吞吐.与只采用DRAM的缓存机制以及原生iSCSI target相比,FusionCache的I/O访问延时分别降低了33%和60%,吞吐分别提高了25%和54%;相较于Facebook提出的Flashcache机制,FusionCache的吞吐性能提高了18%,延时降低了27%;FusionCache还具有良好的读缓存命中率;此外,FusionCache能够减少闪存的写入次数,提高闪存使用寿命.FusionCache提供良好的网络存储效率,并且降低了使用成本.     

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统( Hadoop distributed file system,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQL-DFS在文件平均耗时( file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.     

分布式对象存储系统中元数据服务器选择策略研究

提出一种在分布式对象存储系统(简称DOSS)中读写操作的元数据服务器(简称MDS)选择方案OTM。OTM模型中与读写操作相关的MDS选择包含两个方面:1)MDS选择模型的建立;2)MDS选择拓扑的实现。OTM策略在充分考虑到请求与MDS分布的区域性特点的基础上,将DOSS中拓扑结构的建立问题视为一个类k中心问题的NPC问题,通过建立MDS节点拓扑树方式提供读写操作服务。实验表明,OTM在DOSS的读写操作服务方面提供了良好的性能。     

嵌入式文件系统及jffs2文件系统在Flash上的实现

目前嵌入式系统中大多数使用Flash作为主存,本文介绍嵌入式系统中的文件系统、存储器Flash和可读写的jffs2文件系统,通过在嵌入式操作系统uclinux上实现可读写的jffs2文件系统的实例介绍了在嵌入式系统中添加可读写文件系统的方法.     

基于网络存储的异构集群文件系统研究与实现

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径，提出了一个基于网络存储的开放系统与大型机集群文件系统，该系统采用第三方数据传送和大型机文件系统模拟的方法，解决了开放系统的字节流型文件系统与大型机的记录型文件系统的互操作问题，进而利用一些I／O性能优化策略实现了一个高性能的用户态运行库(Runtime Library)，使得开放系统上的应用程序利用该运行库可以实现对网络存储上大型机文件的高速访问。实验结果表明，与传统的客户／服务器文件共享模式相比，该系统具有更高的性能。     

基于嵌入式的文件系统研究

为解决传统FAT格式文件数据按顺序存取方式无法适应在大容量存储设备中大规模目录文件的读取查询操作等问题,在嵌入式文件系统中采用磨损平衡算法及位图存储技术对NandFlash存储介质实现Flash域磨损优化,并对嵌入式文件系统的索引存储和空闲目录进行优化管理。系统使用仿真器进行仿真程序开发,并在基于ARM9的MagicARM2410开发板进行仿真实验。实验结果表明,该文件系统能实现其基本功能,其可行性得到验证。     

四极质谱数据采集控制技术的设计及FPGA的实现

设计了一种四极质谱的数据采集与存储缓冲控制逻辑。该设计基于预读取和分时复用技术能实现同时存储读取,采用现场可编程门阵列(FPGA)控制SRAM存储器实现高速大容量的先进先出存储器(Frist in First out,FIFO),研制出结构简单的数据采集控制系统。该系统实现了1 M*16位FIFO缓冲存储和20 Mbps同时读写,并应用在四极杆质谱和四极离子阱质谱仪中,缩短了单次质谱分析的扫描时间。