弱连接网络环境中的多主机文件同步

移动网络,广域网环境下,因终端频繁的加入与离开,以及网络的不稳定,造成节点的任意分隔.为避免网络分隔对可用性的影响,支持用户对任意副本的更新,文中实现了文件自动同步服务,Robin.通过设置在线服务器作为中转节点,可支持任意数目节点的扩展,在节点维护数据的弱一致性.Robin结合了状态比对和变化监控两种更新发现机制,增强同步的实时性.为解决并发更新对文件系统完整性的破坏,以及同步文件被占用造成合并更新失败等问题,Robin采用基于操作的冲突检测与处理.为不同的更新操作设置合并依赖条件,失败处理策略.为减少更新操作,Robin将文件系统日志中的多个变化事件合并为更新操作,保存在操作队列中,并进一步消除冗余操作.     

双机热备系统中的数据同步技术研究

双机热备系统中数据的及时同步在很大程度上影响系统的性能。针对传统双机热备系统中数据复制的连续性以及检索更新文件时间长的不足,提出了基于链路延迟的文件复制和基于单向哈希函数的更新文件检索。通过对这两种方法的分析,说明该改善在很大程度上提高了双机对等节点间数据同步的效率。     

基于同态哈希的目录服务数据变化捕获方法

在研究常用的数据变化捕获策略和技术的基础上, 结合树型结构目录服务的特性, 提出一种基于同态哈希的目录服务数据变化捕获方法, 并对其总体构架与实现方案进行了描述。该方法综合运用了同态哈希函数与内存数据库技术的特殊影子表法, 依据同态哈希算法的同态性, 可以实现在数据变化率较小的情况下快速获取目录服务的变更数据。性能分析表明, 该方法具有可行性和高效性。     

基于有序哈希树的RPKI资料库数据同步方法

RPKI(Resource Public Key Infrastructure,互联网码号资源公钥证书体系)中的签名对象由RP(Relying Party,依赖方)端同步下载后处理成IP地址块与AS(Autonomous System,自治域)号的真实授权关系,用于指导BGP路由.当前的RP使用软件rsync(Remote Sync)来同步,而rsync的同步算法并未考虑RPKI中文件(目录)的特点,导致同步效率并不理想.通过分析并结合RPKI中文件(目录)的特点,设计并实现了一种基于有序哈希树的RPKI资料库同步工具htsync.实验结果表明,与rsync相比较,htsync在同步时的数据传输量较少,同步时间较短.在设计的3种实验场景下,同步时间平均加速比分别为38.70%、30.13%和3.63%,有效地减少了同步时的时间和资源的消耗.     

基于分层哈希编号的智能制造产线数据同步方法

海量数据存储和同步是智能制造产线中的重要问题。当前数据同步的主流方法是远程同步（Remote synchronization, RSYNC）算法,采用同步增量数据的方法减少数据传输量。智能制造产线产生的数据层次结构深、目录结构复杂,导致同步时评估时间长。为此提出分层哈希编号算法进行同步,基于数据分层对数据文件编号,使用散列表记录层次信息,快速比对差异数据,并对不同类型的差异数据采用不同备份策略。实验结果表明,与标准RSYNC相比,该方法有效减少了RSYNC评估的数据量,有效降低了同步时间,提高了同步备份效率。     

基于双层协同的联盟区块链隐私数据保护方法

为了解决联盟区块链平台中的隐私保护问题,提出了一种基于双层协同的隐私数据保护方法,包括：（1）链间隐私保护：通过将不同业务的数据进行分流处理、分区存储,实现了不同业务之间的隐私机密性保护;（2）链内隐私保护：通过在交易体中嵌入字段来指定链内隐私数据的参与方,并由接收交易的区块链节点作为中转节点进行链内隐私数据的同步,中转节点同时负责将隐私数据替换成其哈希值后,构造公开交易进行正常公开交易的上链,待公开交易上链成功后,由隐私参与方节点各自进行隐私账本的更新.为了验证该方法的有效性,分别对链间隐私方法吞吐量以及链内隐私保护方法的延迟性进行了测试与对比,结果表明,通过结合粗粒度的链间隐私保护与细粒度的链内隐私保护,在满足了隐私需求的同时,也保证了可观的性能,为区块链平台的隐私性与安全性做出了贡献.     

基于分层哈希编号的智能制造产线数据同步方法研究

海量数据存储和同步是智能制造产线中的重要问题。当前数据同步的主流方法是RSYNC（Remote Synchronize）算法,采用同步增量数据的方法减少数据传输量。智能制造产线产生的数据层次结构深、目录结构复杂,导致同步时评估时间长。为此本文提出分层哈希编号算法进行同步,基于数据分层对数据文件编号,使用散列表记录层次信息,快速的比对差异数据,并对不同类型的差异数据采用不同的备份策略。实验结果表明,与标准RSYNC相比,该方法有效地减少了RSYNC评估的数据量,有效降低同步时间,提高了同步备份效率。     

构造特殊链表实现DBF数据表的多种操作

从DBF文件结构及实际需要出发，设计了一特殊形状的链表结构和相应的操作算法。该链表由一条主链和多条支链组成，支链的条数等于记录数，支链的节点数等于字段数，支链节点保存各字段原始二进制数据，主链节点保存各支链的首地址，这样就构成了一个二维表结构，巧妙地解决了DBF文件字段数、记录数和字段类型不确定的问题，从而很方便快捷地实现了对DBF文件的各种操作。     

利用符号链接完成数据同步操作

网上有很多云存储软件,可以让用户方便的进行文件存储操作。但是这些云存储软件只能对一个特定的文件夹中的文件进行同步,如果想对其他的文件夹文件进行同步就不行了。如何实现多目录文件的同步操作？不用工具直接操作 使用系统的“符号连接”功能可以实现,它可以把多个不同的目录“链接”起来。点击系统的“开始”按钮,点击菜单中的“命令提示符”命令。     

文件夹同步利器可双向FTP同步

为了数据的安全，重要文件通常用户都会选择进行备份。然而随着数据的不断变动。每次手动备份，操作起来非常繁琐。FullSync则为用户带来了非常便利的同步工具，可迅速实现文件央的数据同步、程序提供有复制、精确复制、双向同步方式。方便实现各种情况的文件同步。     

基于微软SS双向同步技术的研究及其实现

本文着重介绍了微软synchronization system(SS)设计方案及其实现原理。该框架是一个非常复杂的同步平台,对任何的数据类型、任何存储设备、任何的传输模式、任何的网络拓扑结构都给予支持。提供的应用服务面非常之广。为了满足对文件同步的实时性要求,本文又对文件监听进行深入的研究。把文件监听和文件同步两者结合就实现了文件实时同步,只要源目录中的文件进行更改,目标目录中的文件就随之更改,很好的满足了系统要求。     

支持动态授权和文件评价的访问控制机制

针对传统的访问控制方法不支持动态授权和文件评价、且存在恶意再分享隐患,设计了一种支持动态授权和文件评价的访问控制机制(DAFE-AC)。DAFE-AC采用的动态授权机制能够对已授权用户进行实时监控,保证了用户之间的相互监督;采用的文件评价机制可以支持文件解锁阈值的动态更新。基于Hash/索引数据库,DAFE-AC确保了文件在系统中的唯一性。在DAFE-AC中,用户授权值会随着其他用户行为动态变化,且用户可以通过对文件进行评价以消除恶意再分享。     

高效的两轮远程文件快速同步算法

远程文件快速同步在文件备份与恢复、Web与ftp网站镜像、内容分发网络、Web访问中具有广泛的应用.提出了一种高效的基于内容变长分块和定长滑动块相结合的两轮快速文件同步算法--tpsync.同步算法分两轮进行,第一轮利用基于内容可变分块技术在粗粒度上定位待同步文件的局部变化数据段,第二轮对局部变化数据段采用定长滑动切块...     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

基于Android手机远程文件备份系统设计与实现

设计并实现一种基于Android操作系统的手机文件备份系统。利用Android手机客户端应用程序将需备份的文件进行差异计算,根据差异计算的结果将差异文件发送到备份服务器,实现远程文件同步。测试结果表明,该系统能够实现Android手机文件备份到远程服务器,并对网络带宽的消耗较小。     

基于重复数据消除的差异备份方法

为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实现局部匹配,并利用校验和文件实现文件不同版本的差异传输。实验结果表明,与Rsync算法相比,该方法能有效减少传输的数据量,降低备份中心的存储量,提高块查找的效率。     

一种P2P环境下分布式文件存储系统的缓存策略

在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。     

虚拟地震数据文件并行访问策略

针对石油勘探行业海量数据过大以及非结构化的特点导致地震数据合并处理时的效率低、消耗磁盘等问题, 提出对地震数据文件建立元数据, 将多个独立地震数据文件通过文件元数据合并方式生成一个逻辑上完整的地震数据文件即虚拟地震数据文件, 提高地震数据合并效率, 并根据地震数据并行访问模型实现对虚拟地震数据文件的IO访问.     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。