多维数据立方体的存储设计

多维数组进行存储通常是将其线性化为一维数组的方式进行存放,这种方法不利于数据的多维分析。首先,采用分块存储方法,将数据立方体划分为小的立方体为基本单位进行存储,然后,为每一个多维数据立方体创建一个数据文件,将划分后得到的有效数据块依次存放在数据文件的数据域中,在文件结束部分创建数据块的索引,即数据块在文件中的起始位置。     

医学影像云存储模型的研究与设计

为解决早期云计算模型对医学小文件存储出现的单节点问题,数据高冗余造成数据的不一致性以及检索效率低等方面的问题,提出一种新型云存储模式。模型中,引入BWFS算法实现优化海量医学小文件序列化合并,优化纠删码算法实现数据块编码,减少数据块的冗余存储,而且引入位图索引技术与HBase索引结合形成新型并行索引策略,优化HBase主索引的缺点。实验表明,新型存储模型通过使用BWFS算法和纠删码技术减少了集群主控节点的内存消耗,在保证数据快速恢复的情况下,减少了集群数据的冗余存储,并行索引技术提高了医学数据影像的检索效率。     

ATC系统中高速内存缓存的设计与实现

由于空中交通管制系统在航空领域里的特殊应用,系统中部分数据实时性强,并且不需要长期存储,针对这一存储需求设计并实现了基于高速内存缓存的数据存储模型.模型基于key-value的内存池的内存管理方法,采用预申请和分组方式管理内存.通过实验分析比较了T数索引和哈希表索引的优点和适用范围,最终选择T树索引作为模型的索引数据结构.实验结果表明,该模型极大的提高了系统对该类数据的存取能力和系统性能.     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

基于分级缓存加速的高可靠高速星载固存设计

星上模块在模式切换过程会因为星载固态存储器启动过程缓慢而导致无法快速访问固存。分级缓存系统设计采用片内缓存结合小容量非易失存储器(MRAM)的硬件架构,通过在MRAM中存储文件对象头索引以及Nand Flash块元数据区索引等流程优化来加速文件系统启动操作。本设计通过数据建模和仿真实验来分析性能,并在硬件板卡上进行算法实现和测试验证,以对象为索引的启动方式耗时3.12 ms,以块元数据区为依据的启动方式耗时143.47 ms。对比传统设计架构下的耗时170.35s的启动操作,基于分级缓存加速的系统具有高可靠性同时大大缩短了固存启动时间。其系统性能提升为卫星在轨管控优化提供技术基础。     

一种基于HDFS小文件存储优化方案

Hadoop分布式文件系统( HDFS) 在大数据存储中具有优良的性能,适用于处理和存储大文件,但在海量小文件处理时性能显著下降,过多的小文件使得整个系统内存消耗过大。为了提高HDFS处理小文件的效率,改进了HDFS的存储方案,提出了海量小文件的存储优化方案。根据小文件之间的相关性进行分类,然后将同一类小文件合并上传,并生成索引文件,读取时采用客户端缓存机制以提高访问效率。实验结果表明,该方案在数据迅速增长的情况下能有效提高小文件访问效率,降低系统内存开销,提高HDFS处理海量小文件的性能。     

面向海量点云快速显示的叠加型金字塔索引结构研究

针对激光雷达三维点云数据量大,当计算机内存有限时进行点云读取与处理存在严重滞后的问题,提出了一种叠加型金字塔索引结构。首先,采用一种基于点云最小外包络的不均匀分块策略,将点云数据划分成若干独立的数据块;待分块完成后,利用提出的叠加型索引结构对每个分块构建金字塔;最后,将生成的金字塔按照指定的文件结构存储,生成索引文件。利用机载实测点云数据开展了验证实验,结果表明:该算法有效地降低了索引文件占据的计算机空间资源,实现了海量三维点云数据在有限内存空间的快速显示。     

云存储中高效密文检索的中文数据加密方案

数据加密是确保云存储数据安全的主要技术,高效的密文检索技术对于提高密文检索效率和减小存储开销起到了决定性作用。大多数已有的基于密文检索的中文数据加密方案需要上传密钥,增加了密钥泄漏的风险。在密文检索过程中,对于关键字的匹配,一些方案需要多次对密文解密,严重降低了密文检索的效率;另一些方案构建了大量的索引文件,浪费了云存储空间。文中提出了一种能兼顾检索效率和存储开销的中文数据加密方案,其在数据加密阶段利用了数据分块随机排序和标号向量加密技术,在密文检索阶段配合构建的索引向量文件对密文进行类明文检索。在整个过程中不需要将密钥上传至云服务器,建立索引向量文件所消耗的存储空间也小于其他基于索引的方案。实验表明,本方案在检索效率和存储开销上优于其他两种方案,并且能在耗费较少时间和存储空间的情况下准确地找到用户存储的数据。     

一种Hadoop小文件存储和读取的方法

HDFS(HadoopDistributedFileSystem)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用.然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想.提出一种基于小文件合并的方法HIFM(HierarchyIndexFileMerging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引.采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载.此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率.实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合.     

支持分布式存储删冗的相似文件元数据集合索引

分布式存储技术因其良好的可扩展性、高性价比在当前云存储系统和企业存储中心得到广泛应用.在分布式存储系统中进行内嵌删冗可以有效降低系统存储开销,提高数据存取效率,实现内嵌删冗的关键在于高性能和可扩展的元数据索引方法.该方法应确保删冗操作不影响存储性能.通过分析影响索引性能的关键因素,提出一种分布式相似文件元数据集合索引的构建方法.该方法使用位置敏感Hash函数,将具有相同数据片的相似文件元数据组成集合并建立索引,使一个文件所有数据片元数据检索只需要访问一次外存,有效提高元数据检索效率.并且所生成的索引具有良好可扩展性和很小的内存开销,适合在采用分布式存储结构的云存储系统或者企业存储系统中进行应用.     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

ZX: A network file system for high‐latency networks

Using a central file server is good for interactive access to files, because of the coherency implied by a centralized design. In fact, within local area networks, this is a common case. However, distributed environments in use today may exhibit round‐trip times on the order of 50 or 100 ms. This is a problem for interactive file access to a central file server because of the resulting access times. Although aggressive caching and loosely synchronized replicas may be used for distributed file access, there are cases where the better coherency provided by a central server is still desirable. In this paper, we present ZX, a distributed file system and protocol designed with latency in mind. It can use caching, but it does not require caching or batching to address latency issues. ZX relies on a novel channel‐based file system interface. It includes find requests and leverages streaming requests to work well under high‐latency conditions. Unlike other protocols designed for distributed access to a central server, ZX tolerates round‐trip times on the order of 50 or 100 ms to access a central file server for interactive usage such as compiling shared sources, running binaries, editing documents, and other similar workloads. It can be used on UNIX using a FUSE adaptor while permitting native ZX speakers to run faster.     

固态存储器短周期存取速度动态控制

由于传统控制方法出现数据误码、存储内存不足问题,导致控制性能变差,为了解决该问题,需对固态存储器短周期存取速度进行动态控制。根据短周期存取速度控制原理,采用均衡加重技术,设计具有针对性的数据传输介质来解决数据误码问题。利用NANDFLASH双平面交替编程的分时加载操作方式,扩大存储内存。使用二级缓存方式对扩大后的内存数据进行缓存读取,根据多线组合指令动态控制缓存读取结果。通过实验结果得出,该方法最低误码率可达到5%,控制性能较好。     

倒排文件索引缓存机制的优化

为了有效提高搜索引擎检索服务系统的整体性能,提出了一种基于倒排文件索引的缓存机制优化方法。具体研究过程是：首先分析倒排文件缓存的体系结构和数据加载,接着讨论负载数据对倒排文件缓存和缓存替换算法的影响,最后通过设计仿真实验研究倒排文件的缓存优化。研究结果表明,采用倒排文件索引的缓存机制优化方法可以明显减少磁盘系统I/O访问次数,提高磁盘系统带宽的利用率。     

Grid VFS中代理管理客户端磁盘缓存的设计与实现

设计并实现了在网格虚拟文件系统Grid VFS客户端采用代理管理磁盘缓存来隐藏网络延迟，提高网格数据利用率。此方法扩展了虚拟化分布式文件系统，提高了对网格资源有效完整的数据访问。在Grid VFS中，客户端代理动态地产生和管理磁盘缓存，每一个未修改的应用程序和OS都能应用，支持write-back策略、文件系统之间缓存的共享以及磁盘缓存的多级化，通过用户级VFS可以完整的集成到网格应用程序和资源中，从而提高了网格数据的访问性能。     

软件定义网络中协同存储数据面快速转发

针对利用具备存储能力的网内节点进行协同存储需依据周边缓存状态快速转发数据包的问题,提出了一种数据面快速转发方法。该方法采用在交换机内对每一端口维护两个布隆过滤器（BF）的方式,实现在数据面对于周边缓存状态的维护;同时扩展了协议无感知转发指令,该指令直接查询BF,依据所查询结果,采用优化的转发流程转发数据包,实现依据周边缓存状态的快速转发。实验结果表明:依据控制器所维护状态进行转发在输入速率为80 Kb/s即达到性能瓶颈,而所提方法可在111 Mb/s时线速转发数据包,且转发效率略优于协议无感知转发原本的直接转发指令;所采用的BF维护的方式内存开销最多仅为流表项维护周边缓存状态方式内存开销的20%。在具备存储能力的软件定义网络（SDN）中,采用所提方法可在数据面维护周边缓存状态,提升协同存储依据周边缓存状态转发数据包的效率。     

分布式合作缓存中的全局向量时钟模型

在分布式合作缓存技术对中文件块的查找与替换是一个全局性的管理问题。针对在中系统中由于局部时钟不一致而造成的块查找与块替换决策失误的问题。本文提出了全局向量时钟模型ＧＶＴ的概念,并通过维护基于全局向量的最老时戳表来完成块查找与块替换操作。全局向量时钟对传统的向量时钟进行了改进,提供了多种方式用于时序关系的判断。     

异构分布式数据资源中的网格文件访问

为对网格文件进行数据访问,提出一个带有标准服务器和协议的高性能存储系统——联众系统。采用集群环境中的数据管理方法,通过使用多个标准数据服务器访问多个站点,采用的技术包括Grid FTP以及OGSA Byte I/O界面等。实验结果证明,联众系统能够被用作真实网格环境中的并行文件系统,并获得较好的数据访问结果。     

RFID与MongoDB融合的分布式云仓储管理系统

利用非关系型数据库具有数据存储不需要固定表结构、不存在连接操作的特性,建立起来的非关系型分布式云存储数据管理,具有比关系型数据库存储管理更好的性能优势。通过基于MongoDB建立的分布式云存储架构,结合底层的Angular和RFID技术,设计实现一种分布式云存储智能仓储管理系统,以解决现代商品仓储管理存在的数据规模大、异地数据不同步、数据共享度低、管理成本高等问题。针对MongoDB为了加速对查询或修改过的数据访问速度而采取记忆并缓存至本地的策略,以及对某节点数据的高密度访问可能造成数据拥堵的问题,设计了基于数据操作频率统计技术的节点均衡访问算法,并对算法的均衡关系参数进行优化验证。系统包括商品的进出库管理、查询统计等基本功能,可应用于数量、地域不断扩大的分散型仓储智能管理。