一种关系型数据库自动划分方法的设计

随着互联网、物联网的发展,软件系统收集和产生了海量的数据,单个数据库由于各种限制已经无法满足海量数据存储和访问的要求,必须将数据分散在多个数据库中,以达到存储海量数据、平衡负载、提高系统可用性的目的。如何将单个数据库中的数据划分到不同的数据库中成为数据库管理员面临的首要问题。本文提出一种综合考虑SQL语句、SQL语句执行频率,服务器性能,数据量等多因素的数据库划分方法,满足数据存储和访问要求,从而为数据库设计人员划分数据库提供帮助。     

GIS在智能交通系统交叉口监控中的应用研究

研究了智能交通系统中城市道路交叉口监控问题.着重针对交叉口监控中数据量大,且无法及时进行分析,动态调度和实时控制的问题进行了调查.通过对交叉口监控中大量数据的分析和整合,提出了利用地理信息系统和数据库有效解决海量数据存储和分析的方法.首先讨论了基于海量数据库的地理信息系统的技术框架,提出了一种基于Intergraph Geo-Media的交叉口交通监测模型以及系统实现方法,提高交通管理效率和城市道路利用率,接着探讨了基于GIS的智能交通交叉口监控系统亟需解决的问题.     

基于SQLite的LOD模式海量影像数据管理系统的设计与实现

如何实现海量影像数据的合理化存储、高效的访问是视景仿真领域的一个瓶颈问题。本文提出了一种运用SQLite数据库实现基于嵌入式数据库的集中式数据管理方法,将海量影像数据以数据库的形式进行管理,同时又以类似文件操作的方式实现快速访问,为解决基于LOD模式海量影像数据难以管理维护的问题提供了一种可行方案。本文方法有效而稳定地实现了海量影像数据的管理和调度,具有良好的实际应用价值。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

时序数据库在风电监控系统中的应用

分析了风电监控系统对海量数据的存储和访问需求,提出了引入时序数据库技术来解决传统数据库在处理海量数据时碰到的存储容量和访问效率方面的问题.所采用的时序数据库和关系数据库相结合的解决方案,在满足海量数据存储和访问需求的同时,很好地解决了数据模型的描述和存储问题.介绍了基于时序数据库开发的一些风电高级应用.     

共享集群基于HDFS的数据块密度调度策略

随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离。海量数据处理应用的数据本地性是影响其性能的关键因素之一。目前,共享集群管理框架调度器的研究主要集中在通过提升调度的并行度来提高系统的吞吐量和资源利用率,而其在调度的质量方面还存在一些缺陷,如应用的数据本地性问题。提出基于数据块密度的调度策略,来提高应用的数据本地性, 根据数据块的密度为应用等比例分配计算资源,减少应用运行过程中的跨主机I/O,从而提升应用的性能。实验表明,基于数据块密度的调度策略能够有效减少数据密集型作业的运行时间,该策略能够使应用达到90%的数据本地性。在测试应用WordCount和TeraSort中,该策略使应用缩短了20%左右的运行时间。     

海量网络监测数据存储优化研究

目前,大型网络监测系统多采用数据库管理系统(DBMS)作为数据存储的方式.虽然DBMS较好的解决了海量数据难以管理的问题,但DBMS技术本身比较复杂,若应用不当将导致系统整体运行性能低下.本文针对大型网络监测系统的特点,从表结构设计和提高I/O效率两方面着手,提出一系列监测数据存储的优化措施,实效显著.     

一种支持多任务高效处理的遥感产品生产线架构研究

为了满足海量遥感数据产品的快速生产需求,尤其需要解决海量遥感影像数据的高效处理问题,即改变效率低、生产耗时长、计算资源利用率低等现状.通过分析遥感影像数据特点和遥感产品生产处理过程,采用集群并行计算技术,结合分布式数据存储和高效的任务调度策略,设计和实现一种支持多任务的遥感产品生产线架构.实验结果表明,该架构能够缩短生产时间,提高计算资源利用率,在性能上能够满足业务化生产的要求.     

面向海量数字资源管理的FC-SAN性能研究综述

信息爆炸为海量数字资源管理带来的挑战之一就是海量信息的存储问题.以FC-SAN为代表的网络化存储为该挑战提供了新的解决途径.FC-SAN系统作为存储基础设施其性能在很大程度上影响着整个海量数字资源管理系统在访问性能和服务质量上的表现.然而由于组成结构复杂等诸多因素,致使FC-SAN系统性能的有关研究仍处于初级阶段,从理论到工具都十分欠缺.分析了目前FC-SAN性能研究中存在的问题和难点,比较全面地介绍了此方面的研究方法,对现有研究工作进行了归纳总结,并对下一步研究提出了一些设想.     

嵌入式数据库的海量存储技术研究

本文分析了典型的嵌入式数据库Berkeley DB.与常见的数据库相比,它具有体积小、功能齐备、可移植性、健壮性等特点.文章将嵌入式数据库Berkeley DB应用到网络性能管理系统(NPMS)当中,详细介绍了多进程、多数据库加锁机制、多个附加数据库查询机制的实现.较好地解决了网络性能管理系统当中海量数据的存储问题.大大提高了系统的数据存取速度,改善了系统的整体性能.     

数据层可配置任务生成方法及其应用研究

为提高数据层的任务处理性能,提出一种可配置任务生成方法.通过分析数据库运行日志和跟踪信息,按照负载时空特性生成数据层任务处理脚本,并获取对应的资源消耗模式和关键任务处理性能.测试结果表明,该方法可以模拟实际应用系统的执行情况,由此获得服务器资源占用率,该资源占用率与实际资源占用率之间的误差可线性消除,为数据库服务器容量规划、存储结构设计、关键功能设计、性能优化,以及云计算平台资源实现和计算能力按需优化配置提供依据.     

基于NoSQL的海量航空物流小文件分布式多级存储方法

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于Nosql的海量小文件分布式多级存储方法,充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。     

关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

基于Hadoop的服饰图像存储与检索关键技术研究

针对服饰图像都是小文件的特性,提出了一种HDFS和传统关系型数据库相结合的服饰图像及其特征数据的存储结构设计方法,实现了海量图像信息的快速存储和读取;改进了多特征点图像特征提取和匹配算法,并基于Map/Reduce框架实现了基于多特征的服饰图像数据分布式检索。实验结果表明,该方法能够均衡系统负载,提高资源利用率,扩展性强,有效地降低了海量服饰图像检索时间,是一种高效的服饰图像存储和检索的方法。     

基于Hadoop云计算的MQT在烟草营销决策分析中的应用

文章简要介绍了MQT技术的概念、主要功能和实现方法,并结合国内某中烟公司营销决策分析系统建设项目的具体需求,提出了一种适合该项目的基于Hadoop云计算的MQT实现方法,该方法利用MQT技术以及云计算技术,对营销决策分析所依赖的海量基础数据进行灵活地多维度多度量分析计算,并实现原始基础数据和计算结果的云存储,极大提高营销决策分析系统的运行速度、数据吞吐量以及数据库服务器磁盘的利用率,为营销决策分析提供强有力的运算、存储支持,也为其他行业处理分析海量数据提供相关经验。     

数据库集群在社会信用平台设计与实现

信息化技术发展日新月异,传统数据库管理系统对于海量数据存储与访问已无法满足业务需要,数据库集群技术应运而生.该技术可以提高数据吞吐量,同时可大大缩小数据库请求响应时间,并可解决数据访问单点瓶颈的问题.集群模型设计的重难点在于系统的负载均衡、数据一致性和高可用性.新疆社会信用信息共享交换平台建设项目根据实际需求及数据量测算采用了一种高可用的数据库集群模型.     

面向工业4.0的多表架构与NoSQL大数据集成的数据存储策略研究

工业4.0环境下,生产现场的监测数据除了需要实时显示与分析外,还需要作为历史记录进行保存。面对海量的生产数据,现有的数据库技术已经很难满足该要求。提出了一种基于传统数据库多表架构与NoSQL大数据库相结合的新型数据存储方案。该方案基于传统数据库的多表架构实现实时数据的分布式存储,同时将历史数据迁移至NoSQL大数据库,解决了工业4.0下的海量数据存储问题。最后给出了某企业基于SQLServer和MongoDB的实际应用,验证了本文方法的正确性和有效性。     

云数据库和云计算在BSS系统中的应用

鉴于目前通信运营商的业务支撑系统数据多采用省集中、数据库表结构存储模式,这种存储方式和目前海量数据查询、更新产生冲突;通过把云数据库和云计算技术引入到通信业务支撑系统,运用云计算和云存储技术,解决目前通信运营商面临海量数据难以管理、集中的问题,为通信运营商构筑全国业务支撑系统统一模型提供发展.     

基于谓词索引的海量数据压缩存储及数据操作算法

压缩数据库技术是海量数据管理的重要技术之一.利用海量数据自身及其数据操作的特点,提出了一种海量数据压缩存储结构.该存储结构将第二级和第三级存储器结合起来,以数据操作条件中的谓词为索引,在减少存储空间的同时有效地支持查询、删除和更新等数据操作.理论分析和实验结果表明,这种存储结构可以提高海量数据的存储效率和数据操作的性能.     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。