一种归档存储系统结构

针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。     

一种云存储系统中重复数据删除机制

基于现有重复数据删除策略,提出了一种基于负载均衡的C/S双端延迟重复数据删除方法.利用基于类型的数据分块方法将数据块分成若干块;利用MD5提取指纹值,与客户端本地的索引表对比指纹,若相同则用指针取代该数据块,具有数据块指纹和数据类型的索引表一同发送至控制器;控制器在收到客户端的请求后,首先根据自己实时监控得到的各服务器的当前状态来选择最佳目标存储节点;服务器端根据数据类型查询不同的索引表以缩小查找范围.对提出的方法的重复数据删除率进行了实验验证,结果表明该机制具有较好的性能表现.     

基于文件相似性分簇的重复数据消除模型

为解决现有提高重复数据消除系统吞吐量方法的局部性依赖和多节点依赖问题,提出了一种基于文件相似性分簇的重复数据消除模型。该模型将传统平面型索引结构拓展为空间结构,并依据Broder定理仅选择少量最具代表性的索引驻留在内存中;同时对索引进行横向分片并分布到完全自治的多个节点。实验结果表明,该方法能有效提高大规模云存储环境下重复数据消除性能和平均吞吐量,且各节点数据负载量均衡,故该模型可扩展性强。     

删除网络文件的新方法

无论网络服务器的硬盘多大,其空间都是有限的,为了能最大限度地高效地利用空间,必须及时清除网络上的无用文件.笔者在作网络维护时发现,网络所提供的命令并不足以彻底清除无用文件.NOVELL网上的无用文件一般是指用户已用DEL命令或ERASE命令删除过,一段时间以后用户认为这些文件没有恢复的必要,则网络管理员可定期地用PURGE命令永久地清除它们.但是事实上网络上的无用文件并不止这些,某些软件运行过程中因死机或断电残留下来的中间文件,同样是无用文件.例如WPS产生的后缀为.%A%或.%B%的文件,FDXPRO产生的后缀为.TMP的文件,以及英文WS5产生的后缀为.＄?＄文件.这些文件一般没有保留的必要,徒占服务器空间,有时甚至会影响再编辑.但     

文件的删除与反删除

在大多数情况下,你都能够把误扔到废纸篓中的重要文件重新拣回(虽然你可能需要抹平上面的褶皱,擦去粘上的污渍)。即便你把文档扔进了碎纸机,只要付出相当的努力,利用残留的纸条,仍然可能达到恢复的目的。从另一方面来讲,如果为了让竞争对手绝无漏洞可钻而必须彻底毁掉一份文档,你恐怕必须采取某些极端措施了——比如烧毁底稿,然后散尽灰烬。对于磁盘上的文档,你也面临类似的选择。当你理解了文件存储和删除的原理后,就能够恢复意外删除的文件,或者让自己的最高机密永远从世上消失。     

对《删除网络文件的新方法》的一点补充

阅读《电脑》94年11期《删除网络文件的新方法》一文后,很受启发和帮助.本人在从事网络维护工作中也遇到过此类问题,执行了文中给出的程序后,确实使原来的删除工作变得简单可靠了.但在使用过程中发现了这样一个问题,此程序只能进入当前目录以下的二层子目录操作,而当目录的子目录层次较多时,就必须增加选择菜单或者多次调用程序,而且不能删除空白的子区.针对这种情况,本人对源程序(主要在第二部分PROCI.PRG)稍做修改,即可自动完成上述操作.我们知道5.0以上的DOS版本为DIR语句增加了许多功能,其中有一项就是增加了“/S”参数,其作用是显示该目录下所有文件,其中包括该目录下所有子区的文件,利用这个参数,我们就很容易能得到该工作区的TREE,以这个结构为依据就可以逐个进行清理,当发现该目录为空时则删除它,同时返回到上一层目录也进行删除工作,如果为空就删除了,反之则没有变化,这样也就起到了连续删除空白目录的作用.     

一种基于重复数据删除的网络文件备份系统设计与实现

针对广域网中网络备份系统存在备份速度低、网络带宽需求高和数据冗余等问题,提出并实现一种具有重复数据删除功能的网络文件备份系统。通过在客户端实现重复数据删除技术,对文件进行分块和在备份过程中去除重复数据块,减少客户端与服务期间需要传输的数据量,使得文件备份的速度获得较大提高,也较大地降低网络带宽要求,显著提高了网络备份系统的性能。此外,备份过程中客户端去除了重复的数据块使得服务器中存储的数据块都是唯一的,极大地降低了系统所需要的存储空间,同时,服务器端的数据块引用管理的设计很好地解决了空闲数据块耗费存储空间的问题。     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

网络存储系统的设计与实现

文章介绍了当前网络存储系统的几种流行模式，并着重描述了具有发展前景的SAN存储系统的管理、控制及实现的原理。结合实际应用阐述了设计构造SAN存储系统的有效方法及采用该技术的优越性。     

用电子邮箱构造网络存储空间

目前,网上的免费邮箱很多,而且有些空间很大,除了收发信件外,是不是还可以用作其他用途？如果你掌握了网络邮盘的使用方法。你就可以用电子邮箱构造出个人的网络存储空间,在那些免费邮箱上存储自己的文件了,且使用起来就如同在本机的磁盘上存取文件一样方便。     

适用于网络流量延时重放的线性文件系统

在分析了传统的网络流量重放和文件系统技术的基础上,提出了一种可应用于入侵检测系统的网络流量延时重放模型,设计并实现了基于Linux的高速线性文件系统.实验结果表明,该线性文件系统磁盘顺序读写性能优于其它主流文件系统,在网络流量延时重放的应用下,系统吞吐量较采用ext2文件系统提高3%,在高速大容量的IP分组存取条件下可有效地减少系统开销,具有一定的实用价值.     

作应用于远程文件备份系统的关键技术*

介绍了可应用于远程文件备份系统的关键技术,包括对于传统RSYNC算法的改进、采用快照技术、设计有效的文件同步策略和在服务器端进行加密存储。实验表明,采用这些技术可以使系统有效降低网络流量,从而实现高效、快速和安全的远程文件同步。     

基于OpenStack的云存储系统的大文件存储方案

为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略,设计关键数据结构和上传下载的核心流程,使用Java多线程实现该方案。部署云存储实验环境,通过实验验证了该方案的可行性,该方案突破了Swift对文件大小的限制,提高了文件的上传和下载速度。     

基于安全局域网分级文件分发系统设计与实现

通过分析安全局域网系统文件动态分级管理技术机制以及系统基于动态监控交换机的终端行为监控结构,提出了一种基于安全局域网分级文件分发系统的设计与实现方案。该系统解决了原有安全局域网系统监控结构的网络化扩展问题,实现了网络文件的分级可控管理,除了能够防范来自系统外部的普通网络攻击行为外,确保了对系统合法用户操作行为的控制,有效阻止了内部人员信息泄露的基本途径,能够提高各类共享数据的安全性。     

面向NVM存储系统的快速文件访问系统

NVM存储设备系统具备提供高吞吐的潜质,包括接近内存的读写速度、字节寻址特性和支持多路转发等优势。但现有的系统软件栈并没有针对NVM去设计,使得系统软件栈存在许多影响系统访问性能的因素。通过分析发现文件系统的锁机制具有较大的开销,这使得数据的并发访问在多核心环境下成为一个难题。为了缓解这些问题,设计了无锁的文件读写机制以及基于字节的读写接口。通过取消基于文件的锁机制改变了粗粒度的访问控制,利用自主管理请求提高了进程的并发度;在设计能够利用字节寻址的新的文件访问接口时,不仅考虑了NVM存储设备的读写非对称,还考虑了其读写操作的不同特性。这些设计减少了软件栈的开销,有利于发挥NVM特性来提供一个高并发、高吞吐和耐久的存储系统。最后利用开源NVM模拟器PMEM实现了FPMRW原型系统,使用Filebench通用测试工具对FPMRW进行测试与分析,结果显示,FPMRW相对EXT+PMEM和XFS+PMEM能提高3%~40%的系统吞吐率。     

基于内存映射文件的进化算法数据存储引擎

为了观察和分析进化算法的执行情况,往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB（Evolutionary Algorithm Database）提供了简便灵活的数据存储接口,通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎,EADB大大加快了存储速度。     

动态自适应网络存储系统的设计与实现*

为了达到网络的稳定高效运行及数据存取服务的持续可用性的目的,基于线性预测模型,建立了一种动态网络存储系统模型,引入网络监控与调整机制,采用由观测样本建立预测模型,根据预定义的约束条件和策略对存储系统自身作出自适应性调整,使存储节点负载平衡,并提高网络稳定性。通过测试其网络自动调节能力及与当前流行的网络存储系统作对比,可得出该网络存储系统模型的服务稳定性与自适应性有较大提高。     

基于数据流的启发式文件传输识别系统设计

为了防止文件通过网络泄露,研究了网络传输文件的格式、传送形式以及通信行为特征,提出一种基于网络数据流的文件传输识别方法。通过引入文件数据流的概念,构建了具有特异性的文件特征指纹库,采用自适应深度协议分析技术,对文件传输在通信协议中表现出的内容和行为特征信息进行多层次启发式的检测。测试结果表明,该系统运行高效,检测结果准确。     

基于策略的对象存储文件系统管理模型研究

基于对象存储文件系统结构特点和策略管理思想,提出了对象存储文件系统管理的一般模型.定义了两种策略结构,并通过分析对象存储文件系统节点状态转换逻辑关系,给出了管理策略订制的理论依据.模型及其管理策略订制方法在Lustre对象存储文件系统中得到应用,效果良好.     

基于PHP技术的网络文件管理系统设计

针对当前网络文件管理系统发展的需要,V2PHP和MySQL技术为重点,设计了一种基于PHP才支术的网络文件管理系统,以提供文件上传、下载等存储服务和文件浏览、更新、分类、分享等管理服务。该系统操作界面友好,处理效率高,并具有良好的安全性设计,可为用户进行文件在线存储、管理以及用户之间的文件共享等提供方便可靠的途径。