云存储日志文件系统中垃圾数据回收的设计与实现

互联网大数据蓬勃发展,各个行业都围绕着大数据展开研究。与此同时,由于数据量的异常膨胀,随之而来的问题就是如何回收垃圾数据。基于云存储日志文件系统HLFS(Hadoop distributed file system based Log-structured File System),设计与实现了垃圾数据回收子系统。通过在HLFS中添加垃圾回收子系统,不但可以提高数据空间的利用率,还可以有效地避免数据空间不够用。为了分析HLFS中垃圾回收子系统的性能,最后对比了HLFS垃圾回收子系统和其他系统中垃圾数据回收机制的优缺点,从而帮助用户选择合适的垃圾回收机制提高磁盘利用率和系统性能。     

云存储日志结构文件系统中段回收机制的研究

针对云存储文件系统中,复杂的检索和回收过程导致系统处理用户数据的能力下降问题,基于日志结构分布式文件系统（HDFS-based Log-structured File System ,HLFS）,提出一种针对系统资源进行有效回收管理来提高云存储空间有效利用率的方法,通过位图标记的方式找到HLFS中段资源的使用情况,实现对HLFS中段资源的管理回收。实验结果表明,位图标记应用于云存储系统中资源管理之后,能够改善垃圾回收的效率。     

ZFS文件系统Snapshot技术的分析

快照是一种重要的存储数据的技术,可以在不停止应用程序的情况下对数据进行备份。本文对Solaris平台下的ZFS文件系统中的快照技术进行了分析,介绍了快照的工作原理、实现技术及数据结构,并在ZFS中进行快照创建、数据恢复的实例分析,结果表明ZFS文件系统中的快照技术能避免数据的丢失,可以有效地保护该系统下的数据,并且在操作系统的实验教学中对文件系统的分析具有较大的实践意义。     

附网存储中快照技术的设计

快照是文件系统的静态只读副本,附网存储中的快照技术可以用于实现文件系统的活备份以及用于恢复被误删除的文件。笔者在设计附网存储的过程中,针对常用的快照技术进行了研究,提出了一种新的设计实现方案,并根据有关的实验数据进行了分析。     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

基于云计算的r氐冗余远程智能恢复系统的实现

随计算机使用者的范围日益广泛,诸多原因导致的数据受篡改,使得计算机软件或操作系统的完整性和可用性遭到破坏。然而计算机使用者在选择数据恢复方式时,却遇到数据恢复性能偏低、数据流量冗余量大等困境。文章以Windows操作系统为基础,对当前计算机的数据安全问题和数据备份机制进行了分析和论述,设计了共享数据的低冗余安全存储与分发机制和基于注册表关联的动态软件快照生成算法。并在此基础上,设计并实现了基于云计算的低冗余远程智能恢复系统,包括软件快照、系统快照、快照检测、快照恢复、软件启动保护、低冗余云存储等系统功能。     

一种基于LSM树的键值存储系统性能优化方法

目前,键值(key-value, KV)存储系统在众多数据密集型的应用系统中发挥着关键作用,例如页面索引、电子商务以及云存储系统等.在各种键值存储系统中,基于日志结构合并(log-structured merge, LSM)树的KV存储系统获得了广泛的应用.主要原因是基于LSM树的KV存储系统能够将随机写操作转化为顺序写操作,从而提升数据写性能.然而,这些存储系统也存在一些严重的性能问题.一方面,KV存储系统利用预写日志机制来保证写入数据的原子性和安全性,以便在系统发生故障时进行恢复,造成了数据的写放大.同时,日志的频繁更新也引入了严重的元数据负载,导致了额外的性能开销.另一方面,KV存储系统通常利用通用文件系统存储数据,而通用文件系统中许多KV存储系统不需要的功能和属性也会造成一定的性能开销.为了减小这些开销、提升KV存储系统写入性能,提出了RocksFS,一个针对基于LSM树的KV存储系统优化的文件系统.针对KV存储系统的负载模式简化文件系统结构,去除通用文件系统引入的负载,同时优化预写日志的存储结构和更新流程以减小其更新负载,提升写入性能.最后在普通硬盘和固态硬盘上,基于流行的KV存储系统RocksDB验证了该方法的有效性,结果显示相对于通用文件系统,RocksFS能够将小块KV数据写入和更新性能提高约8倍.     

基于区块链的可信日志存储与验证系统

为满足计算机操作系统中日志数据的完整性保护需求,基于区块链技术,设计并实现可信日志存储与验证系统。存储阶段将本地日志的数据指纹上传至区块链,并保存区块链返回的存储凭证。验证阶段将本地日志的数据指纹与从区块链中获取的数据指纹进行比对,实现日志的完整性验证。分析结果表明,该系统具有去中心化、不可篡改、公开透明等特点,可有效检测日志数据的篡改行为。     

一种高效的虚拟机快照管理系统

链式虚拟磁盘快照技术是广泛实现的一种支持虚拟机失效恢复的技术手段,针对链式结构磁盘快照技术引入多余I／O请求导致虚拟机性能低效问题,分析和研究了支持高效虚拟机快照实现的无链式关联磁盘快照技术,通过集成ZFS及OCFS2文件系统给出了无链式关联磁盘快照技术实现,并设计和实现了虚拟机快照存储组织模型和快速检索算法,提高了虚拟机快照检索效率．设计试验验证了系统的有效性．     

设备复制系统的日志机制研究

设备复制系统采用数据复制技术实现数据容灾,而日志机制是整个系统的核心和基础。本文在分析借鉴文件系统和数据库系统日志的基础上,提出了一个满足设备复制系统特点和设计要求的日志机制,并重点围绕日志的组织结构、生成方式、访问方式以及溢出、修正等特殊情况的处理方法进行了论述。原型实验表明,该日志机制在设备复制系统得到了较好实现,为数据复制提供了保障。