敏感数据自主可控的云存储平台元数据管理

针对传统云存储平台的敏感数据的安全问题,将元数据管理分成客户端元数据管理与云端元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据,在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障元数据子服务器与云端元数据服务器之间的数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性.在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,该存储系统在自主管理敏感信息元数据的前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力.     

SQL-DFS:一种基于HDFS的海量小文件存储系统

针对Hadoop分布式文件系统( Hadoop distributed file system,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQL-DFS在文件平均耗时( file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.     

CSFS：云存储服务支撑的文件系统设计与实现

云存储服务性能开发是云端数据技术的重要课题。提出了一种基于云存储服务的文件系统数据存储架构,描述了一个基于该架构的云存储文件系统( CSFS)设计及实现。通过利用免费邮件服务降低了开发和部署成本,通过数据与元数据分离管理、分布式存储、云端数据预取等技术提高了系统的高效性和可扩展性。测试结果表明：相关优化技术有效提高了系统的读写性能。     

CSFS:云存储服务支撑的文件系统设计与实现

云存储服务性能开发是云端数据技术的重要课题.提出了一种基于云存储服务的文件系统数据存储架构,描述了一个基于该架构的云存储文件系统(CSFS)设计及实现.通过利用免费邮件服务降低了开发和部署成本,通过数据与元数据分离管理、分布式存储、云端数据预取等技术提高了系统的高效性和可扩展性.测试结果表明:相关优化技术有效提高了系统的读写性能.     

基于Freenet系统副本管理的研究

为了提高Freenet系统的搜索效率,以Freenet系统为基础,提出了选择最优节点下载文件,其余节点存储文件位置信息的方法减少副本的创建以便减轻系统负担。在维护一致性方面提出了以中心节点的方法维护系统副本的一致性,旨在减少更新文件时消息的传递,避免了盲目的洪泛广播算法。通过模拟实验,从文件请求成功率和平均更新消息数两方面,证明了算法的有效性。     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验．为减少读写速率的损失,系统通过调用HDFS（Hadoop distributed file system）的API接口方式实现数据存储及对集群的状态监控和管理．实验表明：传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低．     

空间元数据与地理实体之间的同步机制

研究了地理数据库中元数据的存储方法,提出了一种基于模式的空间元数据存储模型,并设计一种基于"元关系"的元数据与地理实体之间的同步更新机制,较好地解决了元数据与空间数据的集成管理、同步更新的问题.     

基于网络存储的异构集群文件系统研究与实现

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径，提出了一个基于网络存储的开放系统与大型机集群文件系统，该系统采用第三方数据传送和大型机文件系统模拟的方法，解决了开放系统的字节流型文件系统与大型机的记录型文件系统的互操作问题，进而利用一些I／O性能优化策略实现了一个高性能的用户态运行库(Runtime Library)，使得开放系统上的应用程序利用该运行库可以实现对网络存储上大型机文件的高速访问。实验结果表明，与传统的客户／服务器文件共享模式相比，该系统具有更高的性能。     

一种基于阀值的服务器主动复制策略的实现

采用阀值来控制复制副本数量的设想,对基于阀值的服务器主动复制策略进行了分析,并用Java语言设计实现了一种动态复制方法,其中考虑了网络和节点的负载动态变化对复制产生的影响.该方法可以较好地控制复制副本数量,降低副本一致性维护的代价.     

MUSE:一种面向云存储系统的高性能元数据存储引擎

该文设计了一种高性能的面向云存储系统的元数据存储引擎(MUSE)。首先,其底层物理存储模块采用LSM-tree模型的高速key-value存储引擎LevelDB方案,通过设计多缓存表和多线程紧凑机制对该方案进行优化,使其可以充分利用内存和多核CPU并行能力;其次,提出了基于多I/O通道的元数据存取调度机制。通道之间读写操作隔离,聚合多个通道为上层提供高并发随机I/O读写能力;此外,针对上层目录命名空间管理,提出路径分割映射和全路径映射策略两种策略,可基于不同的应用场景在性能与可用性间进行折中选择。系统测试结果表明,MUSE能够很好地适应海量小文件存储场景,相对于其他元数据存储系统在性能上有显著的提升。     

基于数据网格的元数据一致性管理研究

元数据复制文件的一致性管理是数据网格中所要解决的一个关键问题。结合元数据自身的特点,对传统的元数据复制文件管理系统进行了分析,设计提出了一种新型元数据复制文件一致性管理系统,并保证了元数据访问的可靠性,使系统效率大大提高。     

基于大规模分布式副本定位的分级索引压缩机制

针对超级节点索引方式下的大规模分布式系统,提出一种用于副本定位的资源索引分级压缩机制。该机制把超级节点所辖分级网络中上层节点的有序子节点集映射到一个位串向量,进而通过自下而上的索引发布和索引在上级节点的汇聚实现冗余副本记录数的压缩,副本定位则通过逆向的位串查询实现。实验表明,该机制可达到较高的记录压缩比,并在一定程度上提高副本定位效率。     

一种基于副本机制的智能存储系统I/O优化方法

针对智能存储系统（IND）I/O部件级性能难以得到提升的问题,在分析I/O请求过程基础上设计了一种新的副本机制.使用可编程NIC把只读高频访问热点数据的副本存储在NIC的副本空间,在IND单元内存中建立一个副本元数据表以指引IND单元对副本空间进行管理,设计了在线副本候选算法（DCA）,以确保NIC空间副本数据的时效性.读请求时副本数据不再通过总线传送,数据包到达NIC缓冲区时把副本数据填充在相应的位置再发送出去,可以减少总线的流量,进而提高系统的吞吐率和现有设备的性能.试验结果表明,该方法降低IND总线流量30%以上,提高系统吞吐率40%以上,显著提高了系统性能,具有较好的理论与应用价值.     

网格副本选择策略算法的研究

副本管理是数据网格中一个重要的组成部分,良好的数据副本管理策略是提高数据网格服务质量(Qos)的一个重要方面,本文主要对副本管理策略中的副本选择策略进行了研究。数据副本的选择策略讨论的是在己知的多个数据副本中如何根据当时的网络状态选择一个最佳的数据副本。本文提出了基于遗传算法的副本选择策略,这种选择策略考虑了多个副本请求对应多个副本资源的最佳分配方案,利用遗传算法得到最佳的数据副本分配方案,使副本的选择策略更高效。     

基于免疫优化策略的副本放置算法

副本放置问题在云计算环境分布式存储系统中是一个关键问题。针对现有副本放置算法存在的数据副本访问开销较大，节点负载不均衡的问题，提出了一种基于免疫优化策略的副本放置算法。通过计算节点的亲和度，并借助免疫优化系统特有的克隆选择和免疫记忆机制，对副本节点的评价和选择更加合理。基于Matlab的仿真实验证实该算法能够降低分布式存储系统的副本访问开销，均衡节点负载。     

一种可扩展的分布式副本定位方法

提出了一种在数据网格环境下的可扩展的分布式副本定位方法. 该方法利用索引结点和本地副本定位结点实现对同一个数据文件的多个副本的快速定位;将副本定位索引信息平均分布在多个索引结点上,并且能够自适应索引结点的动态加入或退出;同时利用本地副本定位节点完成本地副本的查询定位. 理论分析和实验表明,SDRL能够快速由逻辑文件名定位其索引结点,具有负载均衡、可扩展和高效的特点.     

非服从性分布式系统中博弈分析法下的副本放置问题

为解决非服从性分布式系统中多数据、多节点、有容量限制的副本放置问题,建立了副本放置模型以及向博弈模型的映射,分析了在无容量限制及有容量限制下纳什均衡的存在性问题以及纳什均衡的优化程度。考虑到纳什均衡获取的时间不可行,提出了无删除副本放置局面的定义,设计了该局面的获取算法并分析算法的相关性质。模拟实验显示了无删除副本放置局面获取算法下系统平均副本数和总代价随节点的容量及放置代价变化的过程,同时在小节点规模下与最优副本放置结果进行比较,结果显示纳什均衡带来的系统总代价不会与最优系统总代价有大的差别,说明在保证个体利益最大化时,全局的效益并不会有大的损害。     

基于价值模型的数据副本替换算法

针对网格环境下数据的高度动态性特点，提出了一种基于价值模型的数据副本替换算法，给出了副本价值计算方法，并把它应用到数据副本替换中，即在进行数据复制过程中存储空间不够用时，删除掉价值最低的副本。该数据副本替换算法实现了数据分布和复制的优化，有效提高了数据网格环境下网格任务访问数据的最大吞吐量。实验表明，采用基于价值模型的副本替换算法，有效的提高了网格任务访问数据副本的效率。