共查询到20条相似文献,搜索用时 44 毫秒
1.
基于HBase的气象地面分钟数据分布式存储系统 总被引:1,自引:0,他引:1
针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。 相似文献
2.
3.
4.
气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。 相似文献
5.
由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。 相似文献
6.
随着气象观测、预报和服务业务的快速发展,气象资料的种类和数据量日益增多,数据写入频率越来越高,对气象数据存储处理系统提出极大挑战,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储处理系统动态扩展能力不足、吞吐与并行计算效率低下的问题,采用一系列Share Nothing分布式集群设计,包括Share Nothing分布式架构、分布式数据库、NAS存储技术等搭建可动态扩展的Share Nothing分布式气象数据存储处理系统。实践证明,该方案设计能够满足当今气象结构化数据和非结构化数据对存储能力、并发响应能力的需求,通过动态扩展可便捷适应未来气象业务发展对数据存储和应用等服务能力不断增加的需求,具备气象现代发展进程中气象数据存储处理系统高吞吐量、可动态横向扩展、高稳定性、高可靠性的特性。 相似文献
7.
为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值. 相似文献
8.
存储容量可扩展区块链系统的高效查询模型 总被引:1,自引:0,他引:1
区块链技术是目前计算机领域的研究热点,其实现了去中心化,并且能够安全地存储数字信息,有效降低现实经济的信任成本.提出一种区块链存储容量可扩展模型的高效查询方法——ElasticQM.此查询模型由用户层、查询层、存储层和数据层这4个模块组成.在用户层,模型将查询结果缓存,加快再次查询相同数据时的查询速度;在查询层,模型采用容量可扩展区块链模型的全局查询优化算法,增加了查询超级节点、查询验证节点和查询叶子节点这3种节点角色,提高了查询效率;在存储层,模型改进了区块链的容量可扩展模型ElasticChain的数据存储过程,实现了存储的可扩展性,并减少了占用的存储空间;在数据层,提出一种基于B-M树的区块链存储结构,并给出了B-M树的建立算法和基于B-M树的查找算法,基于B-M树的存储结构,区块链会在进行块内局部查找时提高区块链的查询速度.最后,通过在多节点不同数据量的区块链中查询的实验结果表明,ElasticQM查询方法具有高效的查询效率. 相似文献
9.
雷鸣 《计算机应用与软件》2023,(2):12-16+25
随着气象数据不断迈向海量的大数据范畴,原有省级CIMISS已不能满足实际需求。为了解决系统实时查询性能低下、动态扩展能力不足等问题,基于GBase、MySQL、MongoDB、HBase等不同的数据库,针对不同的气象数据特征进行分库存储,构建大数据分布式存储数据中心,并利用并行计算技术针对数据服务显示功能进行增速。实践证明,该方案不但能与CIMISS无缝衔接,而且还极大提升数据的查询显示速度,且并发响应能力强,时间跨度越大查询优势则越明显。与CIMISS相比,整体系统查询速度平均提升了860%,能够有效地满足气象业务和科研的服务需求。 相似文献
10.
本文通过分析超市环境RFID数据管理的特点,提出了在线数据处理与离线数据存储相结合的数据仓库模型,实现智能超市中的RFID数据管理。使用内存数据库管理物品的最新信息,使频繁的状态更新在内存中完成,提高了实时查询的速度。利用磁盘数据库的大容量存储历史数据,支持对离线数据的查询。 相似文献
11.
该文管理类专业数据库课程现状进行讨论,分析了管理类专业数据库课程现状和存在的问题,从更新实验教学观念——让学生更了解数据库、改进实验教学方法——让学生有更高层次地领悟数据库原理、数据库设计、数据库应用。 相似文献
12.
本文首先探讨了实时 DB、主动 DB的基本概念 ,然后提出了实时 DB和主动DB的结合机制 ,最后介绍了我们自行研制的一个主动实时 DBMS原型系统 ARTS- 1的体系结构与执行模型。 相似文献
13.
黄明辉 《数字社区&智能家居》2007,(3):1199-1200
在实践中常常会遇到这样的情况:SQL Server数据库运行一段时间后,可能由于存放SQL Server数据库的硬盘空间不足或性能、质量不佳,使数据库运行效率大大下降,甚至不能正常工作。对此,最好的解决办法莫过于给数据库找个更加宽敞、安全的新硬盘空间。本文就是争对SQL Server中不同类型数据库的迁移方法进行深入探讨,使大家能更方便、高效使用SQL Server数据库。 相似文献
14.
The globally integrated contemporary business environment has prompted new challenges to database architectures in order to enable organizations to improve database applications performance, scalability, reliability and data privacy in adapting to the evolving nature of business. Although a number of distributed database architectures are available for choice, there is a lack of an in‐depth understanding of the performance characteristics of these database architectures in a comparison way. In this paper, we report a performance study of three typical (centralized, partitioned and replicated) database architectures. We used the TPC‐C as the evaluation benchmark to simulate a contemporary business environment, and a commercially available database management system that supports the three architectures. We compared the performance of the partitioned and replicated architectures against the centralized database, which results in some interesting observations and practical experience. The findings and the practice presented in this paper provide useful information and experience for the enterprise architects and database administrators in determining the appropriate database architecture in moving from centralized to distributed environments. Copyright © 2012 John Wiley & Sons, Ltd. 相似文献
15.
黄明辉 《数字社区&智能家居》2007,1(5):1199-1200
在实践中常常会遇到这样的情况:SQL Server数据库运行一段时间后,可能由于存放SQL Server数据库的硬盘空间不足或性能、质量不佳,使数据库运行效率大大下降,甚至不能正常工作。对此,最好的解决办法莫过于给数据库找个更加宽敞、安全的新硬盘空间。本文就是争对SQL Server中不同类型数据库的迁移方法进行深入探讨,使大家能更方便、高效使用SQL Server数据库。 相似文献
16.
17.
18.
数据库技术是应用最广泛的一门计算机技术,其安全性越来越重要。本文主要从数据库的特征出发,分析了当前数据库系统面临的安全问题,最后给出了解决此类问题的具体措施,并指明了数据安全未来研究的方向。 相似文献
19.
分布式多媒体DBMS的研究与开发 总被引:3,自引:0,他引:3
本文介绍分布式多式 媒体数据库管理系统-DM2。它基于作者提出的层次-关系数据模型,采用客户-服务器体系结构、多线索调度等一系列当代先进的软件技术,从而为用户建立多媒体MIS提供了一个良好的开发环境。 相似文献
20.
N. Revell 《Information & Management》1981,4(4):197-205
The technical problems of database systems, if not solved, are at least now understood, whereas the problems of implementation, evaluation and operation of these systems are less well appreciated even though they are being experienced by many organizations. A survey of some 200 organizations in the UK who are (or claim to be) database users highlights some of these problems and paves the way to more successful implementation strategies. The project and some of its findings are presented here. 相似文献