分布式存储在数字集群移动通信系统中的应用

当传统数字集群移动通信系统中加入大数据量的新业务时,原有的数据存储查询方案将严重影响系统的可靠性,该文提出了一种使用分布式存储系统进行数据存储查询的方案。方案中的分布式存储系统采用结构化P2P网络结构,使用了一种基于分布式哈希表的chord算法来实现资源的分布与定位。     

基于Hive的空气质量大数据查询优化方法

为了提高对环境空气质量监测系统中省级环境监测中心站里已汇集的海量监测数据的统计和分析效率,提出了一种基于Spark 集群在Hive上进行多维数据分区的查询优化方法。以湖北省环境监测中心站中的空气质量监测数据为研究对象,将数据转移到Spark集群利用Spark SQL连接Hive并进行分区存储。设计了12种查询,查询4个数据集,通过与采用传统查询方法的实验对比得出结论。实验结果表明:基于Hive的分区优化方法对空气质量大数据的查询时间有47%到96%的优化,而随着查询的复杂程度和数据量的增加,该方法的优化效果越明显。     

一种面向分布式读写分离系统的数据同步策略

读写分离是NewSQL数据库兼容传统关系型数据库以及NoSQL数据库各自优势的一种常用策略。这种架构下,基线数据被分割为多个分区分布存储于不同存储节点,更改数据存储于单个事务节点,为减轻事务节点压力以及提升查询效率,需要将更改数据定期同步到存储节点。当前策略以分区粒度进行数据同步,导致无更改数据的分区同样参与同步操作,消耗额外网络代价、本地IO代价、内存空间以及磁盘空间。为提升同步效率,降低空间消耗,提出一种细粒度数据同步策略,在原始分区之上建立细粒度逻辑分区,提供更精确的同步单位;引入更改感知策略,记录被更改的分区以及对应的更改数据;利用更改发布机制驱动同步的进行,限制参与同步的分区为发生改变的分区。在分布式读写分离系统Oceanbase上验证细粒度数据同步策略,结果表明其同步效率和空间占用量均优于其他策略。     

LabWindows/CVI平台下数据共享技术研究

针对LabWindows/CVI在实时数据的存储和管理方面的不足,提出了一种在LabWindows/CVI平台与Visual FoxPro数据库之间实现数据共享的解决方案,该方案应用开放式数据库互连(ODBC)做数据接口、使用标准化查询语言(SQL)来进行数据库访问.应用表明该方案对于解决数据管理切实可行.     

基于MongoDB的物联网开放平台数据存储设计

针对物联网开放平台,设计一个基于MongoDB的实时数据存储方案。选用Node.js作为运行平台,在MongoDB中采用分页存储的形式对设备采集的最新数据实现实时存储;建立设备数据在数据库中的文档存储模型,利用单点写入的方式把数据文档存放到环形先入先出队列中;分别采用单点和多点两种模式进行数据读取。将分页与不分页两种存储方案进行查询效率对比测试,结果显示,所设计的方案可提高查询速度,其查询时间明显低于不分页的存储方案。     

基于MongoDB的海量电能质量数据存储方案设计与实现

在研究非关系型数据库Mongo DB的基础上,设计实现了基于Mongo DB的海量电能质量数据存储方案,并与基于关系型数据库的存储方案进行了性能比较测试。测试结果表明:该存储方案具有更好的数据存储和查询性能,可为海量电能质量数据的存储与处理提供借鉴。     

利用表分区的大数据库优化方法

大数据库VLDB(Very Large Database)不仅仅是数据存储的总量大,而且表现在单个表结构记录条数过大。这些都给系统的性能、管理和扩展性带来了挑战。为解决大数据表所带来查询延迟及数据管理的问题,介绍了一种处理大型数据库中大数据表的表分区方法。具体介绍了表分区基本原理和实现方法,同时用具体的实例进行了测试,验证了表分区对数据管理和查询带来的效率提升。     

基于NoSQL的PDM零件非几何信息存储策略

MBD技术在制造业上的应用,使现有PDM系统中存在着大量RDB难以处理的非结构化数据。提出了一种PDM混合数据存储策略,用RDB存储零件的描述信息,而其实际内容则用NoSQL数据库存储。该方案不仅可以利用RDB的结构化特点来方便查询与统计,还能充分利用No SQL灵活的存储结构较快处理非结构化数据。实验结果表明,该策略可以有效的提升查询速度,降低数据的存储空间。     

分布数据库高效复制的实施方案

为了解决分布数据库复制过程中信息传输量大、复制效率低、数据完备性难以保障等问题,提出一种“拉推式”分布数据库复制方案,即由信息控制中心采集各个分区的日志,合并后再逐个分发至各个分区．该方案基于日志,数据传输量最小,因而即使在窄带宽网络(如拨号连接)环境下仍然适用;通过模拟事务处理的方法,大大增强了复制过程容错性;动态远程存储过程的使用,增强了复制过程的效率和可靠性．经过哈尔滨市劳动局就业信息网工程7区12县数据库复制的应用,证明该方案简捷、高效,有很高的实用价值．     

可保护隐私的外包数据库查询验证技术

为了提高查询验证技术的安全性和计算速度,分析了数字签名链查询验证技术的结构特征,指出其具有数据库构建成本高、验证速度慢和安全性低等不足.将指定验证人签名的思想引入到外包数据库查询验证技术中,并根据外包数据库的安全需求设计了1个指定验证人签名方案,然后结合该签名方案提出一种安全、高效的可保护隐私数据的查询验证技术.该技术在查询验证过程中隐藏了数据拥有者的签名,能防止合谋攻击和伪冒攻击,可实施复杂的内容访问控制策略、保护隐私数据.理论分析和实验数据表明,该查询验证技术的数据库创建成本低、存储开销小、验证速度快、安全性高.     

SQL Server 2000分布式数据库系统的构建

通过对SQL Server 2000分布式功能和机制的分析研究,给出实现SQL Server 2000分布式数据库系统的逻辑架构.介绍了SQL Server 2000服务器注册和构建链接服务器的步骤,讨论了SQL Server 2000数据库分布存储的数据分区概念、分区设计和实现,以及分布式分区视图的创建及其在分布式查询中的应用.     

面向CryptDB的用户身份验证方案

CryptDB是一种典型的云密文数据库,由中间代理充当媒介,允许用户在前端发出明文语义查询请求,后端直接在加密数据上执行数据库操作。针对CryptDB系统代理服务器明文存储密钥未验证用户身份的问题,提出了使用用户口令加密密钥信息的方案,实现了增强密钥管理安全及代理间接验证用户身份的目的。实验结果证明了该方案的安全性和有效性。     

基于集合划分的分布式数据库查询分解算法

分布式数据库把数据分散存储在不同的站点上 ,使得数据库中最常用的查询操作 ,必须同时操作多个站点的数据 ,对查询处理提出了较高的要求。通过以关系模型数据库为例 ,详细地研究了分布式查询处理的一个分支——查询分解 ,从而提出了一种行之有效的查询分解算法——基于集合划分的查询分解 ,以使全局查询能完整地在各局部数据库上完成     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型（NoSQL：NotonlySQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQLServer在地学大数据的存储、查询等方面进行了性能对比。结果表明,与传统关系型数据库相比,NoSQL数据库的增、删和查询耗时明显降低,尤其是针对海量的非结构化、半结构化数据,其性能优势更加明显。     

基于集合划分的分布式数据库查询分解算法

分布式数据库把数据分散存储在不同的站点上，使得数据库中最常用的查询操作,必须同时操作多个站点的数据，对查询处理提出了较高的要求，通过以关系模型数据库为例，详细地研究了分布式查询处理的一个分支－－查询分解，从而提出了一种行之有效的查询分解算法－－基于集合划分的查询分解，以使全局查询能完整地在各局部数据库上完成。     

两层无线传感器网络中隐私保护的范围查询

两层无线传感器网络中存储节点负责存储传感节点的数据和处理Sink节点的查询请求.然而,由于存储节点的重要性,使得存储节点成为攻击者攻击的目标,特别是存储节点被攻击者捕获后,攻击者能够获取隐秘的传感数据、伪造传感数据和丢弃部分查询结果等.因此,提出了一种安全的范围查询方案,保证了数据的机密性和真实性,并利用签名融合技术,极大地降低了通信量,且具有较高的完整性检测概率.在此基础上,提出了一种检测率更高的范围查询方案.理论分析和实验结果显示,所提出的方案具有较高的检测率和较低的通信量.     

两步解码式空间矢量数据并行转换算法

传统单机转换工具与基于范围分区方案的并行转换算法存在扩展性差、数据倾斜的问题,为此提出两步解码式空间矢量数据（SVD）并行转换算法. 通过归纳地理空间数据库（GDB）中空间矢量数据的存储编码模式,构建优化后的几何解码函数作为基础工具. 初次解码：仅解析空间元数据,根据几何复杂度平衡解析任务,提高解析与数据量的均衡度;二次解码：借助几何并行解析机制提取、解析压缩几何字节,提高转换效率. 该算法基于Spark实现,将其与ArcGIS单机转换工具、基于范围分区方案的并行查询转换算法进行对比可知,所提算法具有显著的效率、性能扩展优势,转换效率提升了2.5~117倍,大幅降低了几何复杂度不均导致的数据倾斜情况.     

基于云计算的数据库查询调度算法

提出了一种相对比较适合云计算数据库的查询调度算法——CCRP算法;该算法基于云计算数据库中数据存储的特点,在查询调度时先对数据应用连续读取特性,解决了其它算法在云计算中有部分系统资源闲置的问题,提高了查询效率.仿真实验证实CCRP算法在系统利用率和系统性能的表现均优于其他算法.     

老年智能社区多源异构数据云存储与查询

老年智能社区复杂,管理涉及多源异构数据,针对传统数据存储方法在数据存储量、存储类型、扩展能力上的不足,将云计算技术应用到老年智能社区管理中,提出利用HBase与Hadoop云平台进行老年智能社区多源异构数据的存储与查询。首先分析老年智能社区的数据多源性,根据数据的特点将其分为医学影像、空间数据和属性数据3类,分别设计医学影像存储方法、空间数据存储模型、空间索引与属性数据倒排索引。在集群环境下分别对3种数据进行写入与查询实验。实验结果表明:该方法能够解决老年智能社区多源异构数据的存储与查询问题。     

大数据技术在医疗健康管理的应用与设计

面对传统医疗健康管理系统在存储和管理海量数据方面表现欠佳的问题，提出基于Hadoop对医疗健康数据进行高效管理和快速处理的方法。根据医疗健康数据特点，将HBase与Solr相结合实现多条件查询从而提高查询效率。设计医疗健康数据HBase数据库、医疗健康数据写入HBase过程和医疗健康数据MapReduce查询分析三个组成部分，搭建Hadoop集群环境，对HBase和MapReduce的性能进行测试对比。经测试，当数据量逐渐增大到一定规模时，该模型表现出明显的优势，可满足海量的医疗健康数据管理要求，缩短了计算时间，提高了处理效率。