基于云技术的分布式实时数据库高性能数据存储检索机制探讨

随着科技的不断改革与发展,云计算技术在各个领域得到了广泛的扩展和应用,为适应时代的各种需求,高职院校也应将云计算技术渗透于计算机教学中。本文结合云技术的基本定义,提出建立分布式实时数据库的框架、分布式实时数据库高性能数据存储机制以及分布式实时数据库高性能数据检索机制的具体内容,重点探讨了基于云技术的分布式实时数据库高性能数据存储检索机制,以为高职计算机教学提供参考。     

一种基于LT码的数据云存储方案

拜占庭失效或恶意攻击会降低云服务供应商的云存储服务可靠性,为此,提出一种基于云计算的安全可靠数据存储方案。通过LT编码增加分布式云服务器的数据冗余度,在保证性能全局准最优的同时,提升数据用户在数据检索阶段的解码效率。利用支持公共数据完整性检查和准确数据修复,避免数据拥有者长期保持在线状态,并设计数据修复解决方案,使服务运行期间无需产生元数据也能进行数据修复。实验结果表明,与基于网络编码和基于RS码的云存储方案相比,该方案的通信成本只增加了15%,但数据检索效率却提高了约1倍。     

分片位图索引:一种适用于云数据管理的辅助索引机制

云计算技术的快速发展为海量数据的存储和管理提供了可能.然而,由于存储模型的根本改变,传统关系数据库管理系统中成熟的索引技术既不能直接应用于海量数据的处理,也无法被简单地迁移到云计算环境中.通过分析对比辅助索引在云环境中的两种截然不同的基本逻辑结构,即集中式方案与分布式方案,在吸收两者的优势并规避其弱点的基础上,提出了具有良好可扩展性的分片位图索引机制,从而对云环境中海量数据的检索任务提供高效的支持.通过充分利用云环境中的并行计算资源,使单条查询的响应速度得到提升;与此同时,局部节点根据其所掌握的全局信息规避了不必要的检索开销从而使大量请求并发到达时的查询吞吐量得以保证.在真实数据上进行实验的结果表明,分片位图索引的查询性能大大优于其它方法.     

分布式云存储高可用框架研究

近年来,分布式云存储为非结构化数据的存储、处理提供了高效、廉价的解决方案,但随着业务系统对系统可用性要求的不断提高,对分布式云存储高可用框架的研究具有重要的理论价值和广阔的应用前景.论文综合分析了分布式云存储的基本理论,提出了针对智能电网设计的分布式云存储高可用框架,该框架采用双活主节点以及多服务心跳监测算法,保障在高并发读写文件操作下分布式云存储的高可用性.实验结果表明,该框架能够有效应对任意节点失效产生的系统故障.     

分布式下MongoDB对激光点云的存储和处理研究

近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。Sharding技术是数据库水平扩展的一种解决方案,在分布式环境下搭建MongoDB的Sharding集群,通过范围分片和哈希分片对大量激光点云数据进行分布式存储、空间查询和MapReduce运算测试,充分体现了分布式下MongoDB在空间数据的存储和处理方面的巨大优势。     

物联网海量数据的分布式存储算法

随着物联网技术的进一步发展以及应用规模的扩大,网络中的数据量呈几何级的疯狂增长,众多传感器终端的大量信源势必呈海量趋势.面对不断增长的数据,海量数据的存储不均匀的问题将成为限制物联网充分发展的＂瓶颈＂.本文结合分布式云存储系统的架构性优势,在其基础上针对物联网异类数据实时存取特点,在多个数据中心对海量数据进行边缘化存储处理.为此本文提出了一种点对点的分布式存储方案,在方案中物联网各数据中心间采用云架构分级式存储,通过存储信息的交互推动,使各数据中心协同工作,达到对物联网中原始数据流有序分散负载均衡.实验证明,本文提出的方案能够实现物联网中海量数据的边缘化存储和负载均衡.     

一种面向连续数据保护的分布式存储模型研究

一个典型的连续数据保护(CDP,Continuous Data Protection)系统必须具有一个高效的存储系统来支撑.本文提出了一种分布式的存储模型,在此基础之上设计了一个面向CDP应用的分布式存储系统.同传统CDP系统相比,本文提出了分布式存储应用于CDP应用,将文件级和块级的数据存储都归纳到一个存储系统中;通过引入了元数据和数据分离的思想,并且把数据分级存储.根据原型系统的理论论证以及测试,结果表明,论文所提存储模型很好的解决了CDP服务器低效率,高负荷的问题,并且具有低成本的优势.     

集群环境下分布式索引分析

近年来,随着数据规模的增长,分布式存储已广泛应用。对于分布式存储系统中,应用非主键访问数据存在的性能问题,分析了存储系统中可以实现索引的关键技术。在以分布式索引为基础,探究索引组织形式,提出关于索引的设计,分析分布式索引维护与数据相一致的问题。基于此,利用分布式数据库系统,设计分布式索引组织形式,从而完成索引的性能测试。     

面向海量水利数据的索引方法研究

水利数据的存储形式多样、数据量庞大以及水利实体种类丰富,针对每一类水利实体对象,不仅存在基础描述信息,也存在一系列测量业务信息,这2类数据存储和更新频率不相同。水利业务检索不仅要求能实现对象基础信息的快速检索,还要求根据基础描述信息和业务信息之间的依赖进行组合查询,而目前云环境中,尚缺能满足此类兼顾多类型数据之间依赖关系的高效索引方法。此外,水利数据量的急剧增长,给系统检索性能带来了巨大的挑战。为此,本文提出基于Hadoop的分布式双层索引结构HRB,针对不同的数据类型建立不同的索引。经实验验证,HRB索引与常规分布式索引相比,索引创建效率更优,且在数据量达到千万级别时,HRB检索速度更快,表明HRB具有一定的使用价值。     

基于Hadoop分布式架构的云存储系统、文件存储实现研究

随着局域网内数据信息量的日益增多,如何对不断增加的海量数据作出筛选分类、分析与存储,成为企业数据管理、业务开展关注的重要问题,而依托于Hadoop分布式架构的云存储技术,构建起分布式文件管理的云服务系统,可保证数据存储与管理的合理数据块分布、功能可拓展性。基于此,通过围绕MapReduce集群、HDFS文件存储、HBase数据库,以及PC主机、VMWare虚拟机等软硬件,建立起云存储服务管理系统,可针对大文件、小文件存储的问题,设置文件索引、读写、合并、缓存等的功能服务模块,提供一种按需服务的应用方式,实现对特定数据的预读取、检索、合并与存储,提高Hadoop分布式集群系统的数据读取、索引与存储效率。     

Achieving convergent causal consistency and high availability for cloud storage

The tradeoff between consistency and availability is inevitable when designing distributed data stores, and today’s cloud services often choose high availability instead of strong consistency, leading to visible inconsistencies for clients. Convergent causal consistency is one of the strongest consistency model that still remains available during system partitions, and it can also satisfy human perception of causality between events. In this paper, we present CoCaCo, a distributed key-value store that provides convergent causal consistency with asynchronous replication, since it is able to provide cloud services’ desired properties including high performance and availability. Moreover, CoCaCo can efficiently guarantee causal consistency by performing dependency checking only during handling read operations. We implement CoCaCo based on Cassandra and our experimental results indicate that CoCaCo provides performance comparable to eventually consistent Cassandra.     

A partitioning framework for Cassandra NoSQL database using Rendezvous hashing

Due to the gradual expansion in data volume used in social networks and cloud computing, the term “Big data” has appeared with its challenges to store the immense datasets. Many tools and algorithms appeared to handle the challenges of storing big data. NoSQL databases, such as Cassandra and MongoDB, are designed with a novel data management system that can handle and process huge volumes of data. Partitioning data in NoSQL databases is considered one of the critical challenges in database design. In this paper, a MapReduce Rendezvous Hashing-Based Virtual Hierarchies (MR-RHVH) framework is proposed for scalable partitioning of Cassandra NoSQL database. The MapReduce framework is used to implement MR-RHVH on Cassandra to enhance its performance in highly distributed environments. MR-RHVH distributes the nodes to rendezvous regions based on a proposed Adopted Virtual Hierarchies strategy. Each region is responsible for a set of nodes. In addition, a proposed bloom filter evaluator is used to ensure the accurate allocation of keys to nodes in each region. Moreover, a number of experiments were performed to evaluate the performance of MR-RHVH framework, using YCSB for database benchmarking. The results show high scalability rate and less time consuming for MR-RHVH framework over different recent systems.     

一种基于Hadoop的BIM云服务框架和空间位置检索算法

云平台存储和管理应用复杂的海量数据已成为必然。建筑信息模型(Building Information Modeling,BIM)是从全工程建设生命周期的视角组织相关数据并协同工作,所以BIM迫切需要云计算的支持。但是面对复杂的BIM应用,如何构建云平台的超级计算模式将是一个巨大的挑战。提出一个面向BIM应用的云服务框架,在Hadoop分布式软件框架上设计了云存储、云平台服务、应用服务和客户端应用四层结构。提出了该框架下的城市空间位置检索算法,该算法采用改进的KD树作为索引表。针对大用户群的并发访问,提出了面向空间位置检索的负载均衡算法,通过统计节点访问频度设计了数据块均衡分布策略。实验表明,该框架组织的建筑信息具有并发处理能力强、响应速度快等特点。     

基于服务器集群的云检索系统的研究与示范

在研究云计算及移动搜索引擎的基础上,依据当前技术发展,提出了基于服务器集群的云检索系统模型,该模型由云信息层、云检索集群系统和用户查询框组成.对云检索集群系统中数据存储技术进行了深入研究,提出了分布式云检索数据存储方案.为了提高云检索执行效率,提出了以程序流为核心的云检索软件执行模式.该模型的测试结果表明,系统功能能正确实现,性能表现较好且稳定.通过该模型的示范,给海量信息检索技术提供了拓展思维的方案.     

一种云环境中密文数据的模糊多关键词检索方案

越来越多的企业和个人用户将大量的数据存储在云服务器。为了保障数据隐私,重要数据以密文形式存储在云端,但却给数据检索操作带来严峻挑战。传统的基于明文的检索方案不再适用,已有的基于密文的检索方案存在不支持模糊检索或多关键词检索、效率较低、空间开销较大、不支持检索结果排序等问题。因此,研究安全高效的密文检索方法具有重要意义。提出了一种新的云环境中密文数据的模糊多关键词检索方案,该方案能够从云服务器上检索出包含有指定多个关键词的密文,支持模糊关键词检索,并且不会向云服务器和其他攻击者泄露与数据和检索相关的任何明文信息;使用计数型布隆过滤器和MinHash算法构建索引向量和查询向量,使得索引构建和查询过程更加高效,且排序结果更加准确。安全性分析和性能评估表明该方案具有高安全性、可靠性、检索效率和准确率。     

Elsa:一种面向跨区域架构的无协调分布式键值存储系统

作为具备高性能和高可伸缩性的分布式存储解决方案,键值存储系统近年来被广泛采用,例如Redis、MongoDB、Cassandra等.分布式存储系统中广泛使用的多副本机制一方面提高了系统吞吐量和可靠性,但同时也增加了系统协调和副本一致性的额外开销.对于跨域分布式系统来说,远距离的副本协调开销甚至可能成为系统的性能瓶颈,降低系统的可用性和吞吐量.提出分布式键值存储系统Elsa,这是一种面向跨区域架构的无协调键值存储系统. Elsa在保证高性能和高可拓展性的基础上,采用无冲突备份数据结构(CRDT)技术来无协调的保证副本间的强最终一致性,降低了系统节点间的协调开销.在阿里云上构建了跨4数据中心8节点的跨区域分布式环境,进行了大规模分布式性能对比实验,实验结果表明:在跨域的分布式环境下,对于高并发争用的负载, Elsa系统的性能具备明显的优势,最高达到MongoDB集群的7.37倍, Cassandra集群的1.62倍.     

基于云计算的WebGIS分析构架研究

云计算作为以互联网为中心的一种新兴商业计算模式,也是当前重要的技术热点。 WebGIS是一种利用Internet/Intranet技术,采用HTTP,在Internet/Intranet环境下实现对分布式地理信息的分布式获取、分布式存储、分布式处理、分布式分析、分布式查询、显示和输出的地理信息系统。通过分析云计算、WebGIS的特点,云计算的模型框架以及WebGIS 系统的层次结构,提出将云计算和WebGIS相结合,建立基于云计算的WebGIS构架。对实现海量空间数据存储、空间分析和空间信息检索提供实时地理信息服务,提高了系统的稳定性和效率。     

基于可搜索加密的密态知识图谱存储和检索方案

随着云计算的快速发展,知识图谱数据外包成为一种流行的趋势。医疗、金融等诸多领域中的知识图谱有着隐私敏感特性,然而云服务器并不是完全可信的,为了保护数据在云服务器上的机密性和完整性,需要使用加密等方式来保护知识图谱数据的安全。提出了一种基于可搜索加密的密态知识图谱存储方案,可以有效保护数据的机密性和完整性,并且支持在密态数据上的检索。该方案充分考虑了知识图谱实体及其关系顺序读取的必要性,从而对密态索引设计进行优化,加快检索效率。实验结果显示,密态知识图谱的一跳子图查询平均时间为非密态知识图谱的2.09倍,表明该方案在安全性和查询效率上取得了良好的平衡。     

基于ElGamal的同态云端密文存储检索方案

云端数据存储的安全性和检索效率是网络空间安全亟待解决的问题之一.本文提出了一个新的密文检索模型,并在此基础上利用ElGamal同态密码算法和SM4分组密码算法,设计了一种基于混合同态加密的云端密文存储检索方案.首先,该检索方案能够在数据上传、检索和下载的过程中,保证数据的安全,可用于个人云端U盘等应用场景.其次,对该方案的正确性和安全性进行分析.最后,通过实验的方式对方案的正确性进行了证明.实验结果表明该方案在保证数据安全的情况下,检索结果正确,效率高.