高顽存性存储网格模型

结合网格技术和存储技术,提出了基于域的存储网格模型。在域模型架构下,深入分析了域划分原则、元数据目录服务和数据容错等问题,重点探讨了数据高顽存性存储策略的设计。在比较复制、分片冗余等不同数据冗余策略特点的基础上,提出了一种混合式的数据冗余策略。模拟实验表明它兼具复制策略和分片冗余策略的优点,既保持了存储数据的整体可靠性水平,又弥补了低冗余度下编码复制可靠性偏低的不足,使冗余存储数据具有更好的可靠性效果。     

树状结构数据管理

根据C＋＋树状数据存储特点,提出了平面数据与树状数据两种存储方法,讨论了平面数据存在的问题,重点实现了树状数据的可视化、复制、剪切、粘贴、序列化等各种复杂操作。     

数据网格中基于MAS的复制管理研究

数据网格是网格环境下的一种数据管理和存储架构,通常使用数据复制技术来获得更好的数据访问效率和容错性能,提出了一种基于MAS的复制管理模型,解决数据网格中数据高度自治和动态带来的管理难题,探讨了基于MAS的实现架构,给出了Agent的结构和协作过程,将复制管理和复制优化策略封装于Agent智能模块中,结合实际应用使用Optorsim仿真器对模型和复制优化策略进行分析,并对经济模型的基于二项分布的估价函数进行了改进,仿真结果表明模型能够提供高效的复制管理服务.     

一种基于重复数据删除技术的云中云存储系统

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.     

P2P数据缓存机制研究

基于对等计算的数据管理系统中,数据资源的复制是需要重点考虑的一个问题.按共享的数据量大小将数据源节点分为独立数据源和缓存数据源.对独立数据源节点使用基于表名的整体复制策略,将所有的数据复制到一个节点.对缓存数据源节点根据其中数据表的不同,有针对性的设计了不同的方法进行复制.该机制实现了对等计算环境下结构化数据的有效管理...     

大中型数据库管理系统性能差异比较分析

文章主要介绍了SQL Server 2000的体系结构、安全模式、管理数据库文件的方法、数据的转换、备份、还原和复制以及Transact-SQL语言设计技术。叙述了应用系统存储过程和触发器来保证数据间的完整性和一致性的实现过程。重点对SQL Server数据库底层的配置、管理数据、性能优化和安全性管理进行详细阐述。最后,通过以上学习,将SQL Server 2000和oracle数据库的性能进行了比较,总结出它们各自的特点。目前,在数据库的实际应用领域中,很多数据库管理都还存在一定的问题,导致数据库性能较差。研究此课题对于数据库系统选择和应用有一定意义。     

一种基于目录数据分离存储的文件存储方法的研究与实现简

针对现有文件系统安全存储的问题设计了一种目录数据分离存储的文件存储方法。打破以往文件存储的固有模式,将文件存储拆分为目录数据存储与文件数据存储两部分,将两部分数据采取单独存储分别管理的方法,提高了文件存储的安全性,并且节省了文件存储的空间。通过编程将这种文件的存储方法进行了设计实现     

基于协调器与遗传算法的云存储数据复制策略

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略。在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数。仿真结果表明,与目前典型的数据中心选择和动态数据复制策略以及逐步删除和添加数据副本策略相比,该数据复制策略不仅优化了系统的负荷分配,而且具有更高的可用性和更小的延迟。     

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

一种基于Kerberos和HDFS的数据存储平台访问控制策略

重点关注云存储在访问安全性和隐私安全性上的两个问题,设计面向多租户的安全数据存储机制和用户访问控制机制,并结合企业实际需求,向租户提供安全、按需、实时和可扩展的存储服务。基于Kerberos的多租户访问控制策略将提升云存储平台的安全性,简化HDFS权限管理的复杂度,提高云存储平台权限管理的交互性能。     

面向数据去重的基于二次哈希的收敛加密策略

在云存储和备份系统等领域,数据去重被广泛地用来消除冗余数据及节约传输带宽,数据去重的安全问题受到越来越多的关注。现有收敛加密(CE)存在两大挑战:(1)由于密钥确定化导致的线下暴力破解问题;(2)对重复数据的无用加密操作使得计算开销随着数据负载去重率的提高而增加。针对上述两个问题,提出了基于二次哈希的收敛加密策略(TCE)。具体而言,TCE首先计算数据块的哈希生成密钥,密钥经过可信第三方添加秘密信息后增加随机化程度;然后针对该哈希值再次哈希得到数据块指纹。TCE增加了线下暴力破解的难度,消除了对重复数据的加密操作。实验测试结果表明,TCE比CE的备份窗口减少了30%~50%。     

分布式数据库的数据复制技术研究

该文对当前流行的分布式数据库的数据复制技术进行了详细的研究,并对数据复制的应用场合和过程做了系统的研究。分布式数据库具有比较成熟的技术和应用环境,其中数据复制技术在分布式数据库中应用越来越广泛。基于数据复制技术,将使得分布式数据库的开发和应用变得非常简单。     

基于存储环境感知的重复数据删除算法优化

在备份和归档等存储应用中产生的重复数据在存储空间和能耗上造成的浪费问题日益突出,如何删除重复数据已成为当前存储领域中的研究热点。CDC(Content Defined Chunking)是一种适用于多种应用环境的重复数据删除算法,但缺乏针对具体应用环境的优化。通过对存储环境进行感知和分析,为CIX;算法提出了两个参数选择约束条件:(1)根据存储设备中的数据块存储方式来选择平均分块大小等参数;(2)根据数据的分块边界分布特性来选择分块边界特征值参数。实验表明,与无约束条件的CDC算法相比,这两个约束条件在4个实验数据集上平均可提高16. 3%的数据缩减比。     

数据复制技术的研究

如何解决分布式数据库由于地理位置的分布而引发的数据不一致性问题,数据复制技术以其突出的优点得到了广泛的应用,现已成为数据库技术研究领域的热点。介绍了数据复制的基本概念,并对当前主流数据库管理系统的数据工具和数据复制方法进行了深入的研究和对比。     

基于Oracle9 i分布式数据库系统复制机制的研究

在大规模的分布式数据库系统中,数据库复制对于系统的可靠性及效率起着非常关键的作用。论文首先讨论了分布式数据库的数据库复制技术,然后介绍了Oracle9i数据复制机制原理,并对Oracle9i数据复制机制在实践工程中的应用给出了具体的实例。     

压缩存储的研究与应用

本文综合了线性表、循环表、矩阵等数据结构的基本概念以及压缩存储、索引存储等存储方式的基本概念，通过矿山计划计算机交互辅助编制系统中遇到的极大量数据的处理问题，导出了压缩循环阵存储的概念及定义。这种存储结构既保持了线性表、循环表的灵活性，又能有效压缩存储空间，而且能象索引存储那样对数据结点快速定位，是对大量分段重复数据地行处理的有效存储结构之一。     

实时计费重单剔除技术研究

本文通过分析现有电信计费业务的重单剔除方法，研究他们的不足。结合B 树索引技术和键树(Trie Tree)索引技术，提出电信业务中实时高效的剔除重单方法，有效解决了重单删除的准确性和性能之间的矛盾，适应未来电信业务发展的需求。     

数据网格中高效的分布式存储策略

在当前数据网格软件中间件系统的基础上,提出一种基于信息散列算法的分布式存储策略。采用信息散列算法对数据文件进行散列处理,将其分布存储于数据网格系统的多个存储服务器。理论分析和实验模拟结果证明,与传统的数据复制技术相比,该策略具有较高的可靠性和并行访问性能。     

基于HBase的交通流数据实时存储系统

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.     

面向复杂网络存储系统的元胞自动机动力学分析方法

大规模网络存储系统中复杂的数据传输行为隐藏着一定的动力学规律性.针对基于对象的大规模网络存储系统,结合存储对象的智能性和主动性特征,分别在宏观与微观两个层次上提出了用于复杂网络存储动态行为规律分析的存储元胞自动机模型SNCA和OSDCA.在SNCA模型中,对网格拓扑结构的存储网络,结合存储对象的生命周期属性,可在宏观上分析网络存储系统的数据流动规律,确定存储网络拥塞程度,仿真结果揭示数据对象流动和存储网络中的相变具有全局相关性;在OSDCA模型中,综合热点数据的迁移和复制机制,在微观上分析I/O负载动态分布特性和存储热点迁移规律,仿真结果表明对象存储系统中的数据分布具有一定的自组织特性.