基于共享存储的工作池并行编程研究

对共享存储的并行编程问题进行了研究,设计了一种基于共享存储的工作池并行编程方案,提出了一些建议。本文在并行计算机上实现了该方案,对一个具体问题进行了并行编程与求解,证明了该方案可行、高效。     

一种适应节能的云存储系统元数据动态建模与管理方法

云存储规模的不断扩大以及设计时对能耗因素的忽略使其日益暴露出高能耗低效率的问题,并且此问题已经成为制约云计算与大数据快速发展的一个主要瓶颈.从云存储系统的元数据信息的组成与组织方式考虑系统的节能改进与适应性问题,提出适应节能的元数据建模与管理方法,将存储磁盘及节点状态、数据块存储位置与状态等信息纳入到新的元数据模型中.围绕节能的元数据模型设计了适应该模型的节能模式切换算法,有效的解决了现有算法与节能算法或策略的不匹配问题.实验结果表明:适应节能的元数据模型与算法能够提高系统磁盘级的能耗利用率.     

基于存储结构重配置的分布式存储系统节能算法

作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高.     

基于大数据的安全传输及存储系统设计与实现分析

当前,人类已经步入智能化互联网时代,在网络快速普及的社会发展背景下,大数据作为一种网络资源被越来越多地应用到各行各业,成为新时期的新型资源之一。而在实际的应用中,大数据的收集、存储、利用等过程仍存在较大的安全问题,要想实现大数据在行业中更好的应用,故解决数据传输的安全问题显得尤为重要。此外,大数据本身是海量的数据资源,需要相关系统有一定的存量,所以要解决数据资源的采集和处理的问题,需要进一步完善相关的存储系统设计。本文主要研究了大数据当前的存在的安全问题,探究安全传输和存储系统的设计,为大数据时代下的安全传输和存储系统设计与实现提供一些思路。     

一种支持一般访问结构的可验证短秘密共享方案

数据分离是构建可生存存储系统的关键技术,本文在分析现有数据分离方案的特性及不足的基础上,提出一种支持一般访问结构可验证短秘密共享数据分离方案。该方案生成的数据片段由密文分量和密钥分量组成,首先对原始数据进行加密并采用纠删编码分离密文,然后采用一种改进的可验证秘密共享算法分离密钥,且密钥的分离过程须依赖于密文分量。相比现有的工作,本方案在空间开销、保密性及可验证性方面均获得了较高的性能,并支持一般访问结构。     

基于智能存储设备的共享存储集群系统研究

随着越来越多的机构采用集群计算技术来实现高性能计算(HPC)--地球、海洋和大气科学、地震数据分析等科学研究和药物研究、汽车设计模型、商业业务冒险分析等商业应用,集群计算技术已经进化为开发高性能计算系统的主要的方法.所有的这些应用的计算都是公认的复杂.能够有效地管理与这些应用密切相关的数据集驱动了现在的集群计算技术的发展.采用智能存储设备(OSD)大大简化了元数据服务器的工作量,并且使得系统的管理和效率都得到了很大的提高.集中描述一个新的存储体系结构--基于智能OSD的共享存储集群计算系统.     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

一种基于多层块区的数据存储架构

借鉴了云存储的的基本思想与技术平台,针对大容量数据的海量和访问频度不同的特点,提出多层块区概念,并研究基于此的数据存储方法。对数据访问性能的定量分析表明,合理划分块区能够得到比传统存储方法更好的访问效率。最后阐述了块区设置的思路和方法。研究结果可为存储系统的设计提供参考。     

一种高性能多媒体对象存储系统的研究

通过对多媒体应用中多用户并发访问的特点和性能进行分析,提出一种高性能多媒体对象存储系统MOSS(Multime-dia Object Storage System)的对象数据组织结构.MOSS结构采用两层结构,下层采用RAID5的方式组织数据,这样可以利用RAID5磁盘利用率高的优势.上层放常用的热点数据,通过将不同对象存放在不同磁盘,从而将不同用户的请求尽量分散到不同的磁盘上,可以提高多用户的并发访问性能.通过仿真测试,在4用户情况下,MOSS的性能平均比RAID高90%,随着用户数的增加,传统RAID方式的性能下降明显,而MOSS的性能下降很少,在16用户情况下,MOSS的性能平均比RAID高550%.     

一种基于DNA计算机的堆栈存储结构

DNA计算机要走向实际应用,需要合理的数据结构来有效组织信息。堆栈是典型的数据结构,因此,研究它在DNA计算机中的存储结构具有重要价值。在参考已有研究成果的基础上,结合生物操作和生物酶的特性,提出堆栈在DNA计算机中存储结构的设计方法,并阐述堆栈DNA编码的约束规则。通过实例分析,验证该种堆栈存储结构设计具有可行性。     

阴影之后的存储新生——3种存储新应用

2003年转瞬即逝,回眼一望,曾平淡无澜的存储业还真冒出几个应用亮点。虽然运用的核心技术还是老技术,但因穿了作亮丽的外衣而分外光彩照人。这件外衣,不是什么新奇的玩意儿,是今天新兴的应用——远程会议、数字化图书馆和医疗影像。这些应用之所以盛行,非典“功不可没”。     

一种基于RDBMS的XML数据的存储方法

XML作为一种数据交换的标准在互联网上推出,使得XML数据和数据库的相互交换成为必要:一是因为WEB中大量的多样化数据需要进行有效的存储和管理;二是因为在现有的数据库中存储有大量的数据并且需要将这些数据转换为XML发布到WEB中。论文提出了一个基于关系数据库的数据转换框架,基于数据的完整性讨论XML数据存储策略。建立一个XML通用数据模型,把文档树分解成多个节点,根据一定的映射规则存储到关系表中,从而不用考虑文档的模式信息(DTD、XMLSchema)。最后通过一个具体的文档实例来说明这种策略的有效性。     

DSCF:一种面向共享存储多核DSP的数据流分簇前向技术

多核数字信号处理器(DSP)的性能常常受限于共享存储的长延迟Cache一致性访问.数据前向(forwarding)技术是隐藏长延迟访问的一种有效手段.根据多核DSP应用的两类重要特征,提出了一种面向共享存储多核DSP结构的数据流分簇前向技术DSCF(data stream clustered forwarding).DSCF方法的主要特点是:兼容基本的共享存储Cache一致性协议;不污染目标Cache;数据的传输速度能够与消费速度相匹配;系统结构的可扩展性好.典型测试程序的模拟评测表明,采用DSCF方法能够将Cache一致性失效率平均降低44%,将系统总体性能提升30%～70%.     

基于FPGA与FFD的RAID结构存储设计

在工业以及军用大容量抗恶劣环境数据采集系统中，作为固态盘(solid—state disk)中容量较大的一种，FFD(Fast F1ash Disk)的使用十分普遍。但FFD存在着吞吐率小的缺点，不利于高速场合的应用。针对此情况，本文提出了由FPGA控制多块FFD构成RAID(Redundant Array of Inexpensive Disks)结构存储阵列的方案，以提高存储系统的数据吞吐能力并进一步提高可靠性。方案以RAID 0为例，应用以Xilinx Vertex E系列FPGA和M—SYSTEM FFD基础，设计采用硬件描述语言VHDL描述。     

一种基于XML的树型结构存储方法研究

树型结构是数据结构学科中一种非常重要的非线性结构,针对树型数据的存储有许多传统的方法,但随着互联网的发展基于XML的数据形式正成为互联网数据表示和交换的标准。本文主要介绍了一种将传统的树型结构存储为基于XML的数据文件的方法,以方便树型结构数据在互联网上的流通。     

一种基于MongoDB的大数据管理架构

随着计算技术和互联网技术的不断发展,大数据处理技术也逐渐兴起,传统的关系数据库已经不能满足大数据管理的需求。结合增长速度越来越快的遥感影像数据,对"NoSQL数据库"进行了介绍,对大数据的概念和特点进行深入分析,提出了通过MongoDB数据库实现对海量遥感影像数据进行管理的存储模型。     

一种新的用于分布共享存储系统的存储器一致性算法

ＳＶＭ系统或称ＤＳＭ系统是在基于分布存储器的多处理机上，实现物理上分布但逻辑上共享的存储系统．它集共享存储器易于编程和分布存储器可扩充性好于一体，为ＭＰＰ计算机的使用带来了方便．本文首先介绍了ＳＶＭ系统的数据一致性问题及其解决办法，然后提出了一种新的固定分布管理算法ＮＦＤＭＡ，并对此算法作了分析，最后与李凯的固定分布管理算法作了比较．     

一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计

为了满足指数级增长的大数据存储需求,现代的分布式存储系统需要提供大容量的存储空间以及快速的存储服务.因此在主流的分布式存储系统中,均应用了纠删码技术以节约数据中心的磁盘成本,保证数据的可靠性,并且满足应用程序和客户端的快速存储需求.在实际应用中数据往往重要程度并不相同,对数据可用性要求不一,且不同磁盘的故障率和可靠性动...     

基于秘密共享协议的移动数据存储研究

针对移动数据库各方面的资源和能力均受到限制的问题,提出了基于秘密共享协议的移动数据存储方案。在移动客户端的应用程序上采用轻量级内存数据库仅存储少量数据,将大部分移动客户端所需数据存储在数据库服务器上。对存储在数据加密服务器上的敏感数据利用AES加密,对密钥利用秘密共享技术进行拆分后存储在不同的数据存储服务器上,使除了移动客户端的任何一方都不能同时拥有密钥和密文,减轻了移动客户端的存储压力,实现了数据控制权限的分离,保证了移动客户端对数据的访问具有最高权限,提高了数据的安全性。测试实验结果表明,该方案是可行的,具有较好的性能和应用前景。