基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

桥梁协同设计系统的数据预定义存储

桥梁协同设计过程是一个数据不断生成和处理的过程,如何提高资料存储和管理的效率是影响设计质量和设计周期的重要内容。通过对现有桥梁设计系统在数据存储方面的不足进行分析,提出协同设计环境下桥梁设计系统的数据表达模型,以此为基础研究桥梁协同设计系统的交互式预定义和基于知识的预定义两种数据预定义存储方式,通过实例对数据预定义模型的可行性进行了验证。     

一种面向高性能计算的分布式对象存储系统

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。     

基于遗传算法的电力输变电工程数据存储框架与数据迁移仿真

由于电力输变电工程数据多源、异构、迭代更新,需巨大存储空间,且数据挖掘分析难度大,据此本文基于遗传算法设计了分布式数据存储框架与数据迁移.此框架以源数据模型为载体,详细划分电力输变电工程地理信息、三维设计模型、文档资料数据,基于不同数据存储模型,构建了分布式存储框架以进行不同类型数据处理.通过遗传算法可实现海量数据迁移,以不同配置的数据存储中心进行了仿真测试.结果表明,分布式数据存储框架不仅可保障存储效率,还可确保数据完整性与安全性;基于遗传算法的数据迁移可切实解决大量数据存储问题,优化工程数据存储框架综合性能.     

基于平面文件的Native-XML数据库存储策略研究

Native-XML数据库是一种专门设计用于存储和管理XML数据的新型数据库技术。首先简要介绍了Native-XML数据库的定义和特点,然后着重讨论了采用平面文件作为基本存储结构的Native-XML数据库在存储模型、存储粒度等方面的策略选择,最后结合实际项目分析了基于平面文件的Native-XML数据库在Web开发方面的可行性及其应用前景。     

海量遥感数据分布式集群化存储技术研究

针对当前高分辨率遥感数据的高效存储与高速访问迫切需求,采用分布式架构、对象存储和集群技术,结合遥感数据的空间特性,构建了基于数据对象的存储组织模型,设计了全分布式的存储管理架构;形成了逻辑上全球覆盖,物理上分散存储,全球遥感数据存储视图一体化,数据高效共享的分布式集群化遥感大数据存储体系。通过使用此架构,可实现遥感数据资源配置的灵活化,业务区域化特征的定制化与个性化,以及管理系统的智能化。     

基于平面文件的Native XML数据库存储策略研究*

NativeXML数据库是一种专门设计用于存储和管理XML数据的新型数据库技术。首先简要介绍了NativeXML数据库的定义和特点,然后着重讨论了采用平面文件作为基本存储结构的NativeXML数据库在存储模型、存储粒度等方面的策略选择,最后结合实际项目分析了基于平面文件的NativeXML数据库在Web开发方面的可行性及其应用前景。     

基于门限属性加密的安全分布式云存储模型

针对云存储存在越来越多的安全问题,设计了一种新的基于门限属性加密的安全分布式云存储模型。该模型由加密、存储、解密三个阶段组成且均具有分布式特点。利用基于属性加密体制不仅提高数据存储的安全性,而且多属性服务器的模式也使得该模型能支持门限解密功能及任意个属性服务器的加入与撤出问题;在存储阶段使用的分布式删除码可充分保障模型的健壮性,且该模型能抵抗共谋攻击。在一些特有云环境中,该模型可向用户提供较好的安全云存储服务。     

协同设计中版本存储控制策略的研究

协同设计的版本管理应支持设计全过程,对设计过程中的整个历史过程的版本都应予以保留。如果所有版本采用完整存储,版本存取速度快,但需要大量的存储空间,而且存储的冗余信息量大;若采用差值存储虽然可以节省大量的存储空间,版本的存取速度要受影响。因此本文从数据存储的角度讨论了版本管理的内容,提出两种差值存储模型,构造了版本存储阈值来将差值存储与完整存储相结合,从而有效地在空间效率和时间效率上进行平衡,不仅提高了版本存取的响应时间又减少存储空间。     

浅析基于Web的云存储技术

云存储是一种新兴的网络存储服务,云存储是在云计算概念上延伸和发展出来的一个新的概念.介绍云存储的定义,分析云存储的种类、结构模型、相关技术支持,总结云存储的优势.随着云计算的发展和全球数据量的增长,云存储技术将会受到更多的关注和更好的发展.     

一种面向下一代互联网的广域网智能存储系统

广域网智能存储系统针对下一代互联网数据急剧增长、网络资源难以管理和使用的问题,采用多层次、可扩展的分布式存储模式,从改进体系结构着手来提高网络存储系统的性能。其存储管理遵循存储管理计划规范(SMIS),并针对复杂网络环境下的元数据管理和数据传输问题,提出了有效的负载均衡策略和高速安全的存储中间件解决方案,不仅降低了存储管理开销,加快了数据传输速度,同时也实现了命令与数据分流、扩容与增速同步的目标,从而大大提高了整个存储系统的性能。     

一种基于DHT的P2P数据存储模型的设计

P2P（peer-to-peer）组织模式已经成为新一代互联网应用的重要形式,它为应用带来了更好的扩展性、容错性和高性能。P2P数据存储模式一直是业界所关注的热点,被认为是P2P最具前途的应用之一。设计了一种基于DHT（DistributedHashTable）路由的结构化P2P网络为架构的分布式数据存储模型,通过应用测试证明该模型能稳定运行。     

存储资源的整合与虚拟化

面对数据爆炸性的膨胀,科学计算和数据处理领域正面临着前所未有的数据存储挑战,需要前瞻性的存储体系构架来解决当前的难题。由于传统存储技术DAS的广泛采用,形成了所谓的“信息孤岛”;网络存储NAS和SAN的出现,解决了部分问题,但与DAS之间的数据访问和管理相互独立,给用户的使用和数据管理带来了不便。为此,建立了一个存储资源的整合与虚拟化系统,把所有的存储资源映射成一个统一的虚拟存储空间,用户通过应用程序接口API、命令行、GUI以及基于web的用户界面来对它进行透明访问和管理,实现了资源的集中式管理和分布式访问。     

基于多属性度量的数据分级访问模型研究

随着云计算的迅速发展,云存储已成为企业关键信息服务的重要途径。但是,受限于存储资源性能以及大数据等影响,用户往往需要忍受较长的访问延时。为了缓解这种情况,人们提出了智能数据管理技术,用于有效管理大量数据以及降低用户的访问延迟,提高云计算的服务质量。提出一种基于多属性分析的存储端数据分级访问模型。模型通过对被管理数据对象的动态、静态属性进行统计分析来提取属性中的关键信息,并依此进行数据管理决策,将冷/热数据迁移至对应层级,以便能够在合理规划存储资源的同时提高存储系统的访问性能。性能测试实验的结果表明,该模型具有较好的整体性能。     

面向高性能应用的MPI大数据处理

针对消息传递接口（MPI）在高性能计算领域的应用场景,为了优化MPI现有数据集中管理模式,增强其对大数据的处理能力,借鉴并行与分布式系统思想,开发设计一套适用于大数据处理的基于MPI的数据存储组件（MPI-DSP）。首先,创建接口函数,以对MPI系统影响最小的方式实现"计算向存储迁移"的设计目标,将文件分配与计算进行分离,使MPI突破大数据文件读取时的网络传输瓶颈。然后,分析阐述设计目标、运行机制、实现策略,通过描述接口函数MPI_Open在MPI环境下的应用,验证设计理念。通过Wordcount实验对比使用MPI-DSP组件与原MPI在数据文件处理方面的时间性能,初步验证了MPI"计算向存储迁移"模式的可行性,使其具备在高性能应用场景下的大数据处理能力。同时分析了MPI-DSP的适用环境和局限性,界定了其应用范围。     

基于分布式存储的数字图书馆系统

本文研究分布式存储结构框架下的数字图书馆,对数字对象与数字资源集成技术进行探讨。设计实现了存储与管理模块的功能组件。     

A secure and scalable storage system for aggregate data in IoT

In recent years, with the impressive rapid development of integrated circuit and networking technologies, computers, devices and networking have become highly pervasive, incurring the introduction, development and deployment of the Internet of Things (IoT). The tiny identifying devices and wearables in IoT have transformed daily life in human society, as they generate, process and store the amount of data increasing at exponential rate all over the world. Due to high demand on data mining and analytics activities in IoT, secure and scalable mass storage systems are highly demanded for aggregate data in efficient processing. In this paper, we propose such a secure and scalable IoT storage system based on revised secret sharing scheme with support of scalability, flexibility and reliability at both data and system levels. Shamir’s secret sharing scheme is applied to achieve data security without complex key management associated with traditional cryptographic algorithms. The original secret sharing scheme is revised to utilize all coefficients in polynomials for larger data capacity at data level. Flexible data insert and delete operations are supported. Moreover, a distributed IoT storage infrastructure is deployed to provide scalability and reliability at system level. Multiple IoT storage servers are aggregated for large storage capacity whereas individual servers can join and leave freely for flexibility at system level. Experimental results have demonstrated the feasibility and benefits of the proposed system as well as tangible performance gains.     

基于Web的协同设计环境下产品数据管理系统模型研究

首先分析了基于Ｗeb的产品数据管理系统功能需求,结合网络应用特点及面向对象技术,提出一个以模块为核心来组织、管理,发布信息的分布式产品数据管理系统模型－－ＤＰＤＭ（Ｄistributed Product Data Management）,并分析了其体系结构,其目的是为设计者提供一个支持协同设计的开放式开发环境,以提高产品质量,缩短开发时间。     

分布式存储系统性能模型的建立与应用

该文通过对分布式存储系统性能的研究,提出了服务器性能模型的数据分布模式和数据采集模式,有效地减少了客户数据请求的平均服务时间,从而改进了分布式存储系统的性能。