海量数据存储管理方法的研究

随着现代技术的发展,对数据资源的需求逐渐增多,对数据库规模、容量、性能等方面的要求也不断提高,如何提高数据库性能和效率,优化海量数据的存储,已成为一个研究课题。以优化海量数据存储为出发点,对海量数据存储原则、存储设计和实现进行了探索,提出海量数据查询的具体优化方法,对海量数据库的管理方法进行了研究。     

基于异构数据库的海量数据查询系统设计

多种快速发展的应用产生了海量的数据,使得数据结构多样化,导致在异构数据库系统中数据的存储和查询方式不统一。文章设计了基于分层思想的异构数据库的海量数据查询系统,提出查询分发策略并通过Map Reduce并行计算实现了海量查询子结果的汇聚,最后对该系统的有效性进行测试,结果表明:系统实现了统一数据格式的联机查询目标,性能表现良好,提升了查询的精度和效率。     

基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

基于HBase的交通数据时空分块索引

智能交通领域快速发展带来的海量交通数据已难以通过传统关系型数据库及时处理。针对交通数据的分布特点与查询需求,提出了一种基于分布式数据库HBase的时空分块索引框架(STB-HBase),利用HBase行键设计结合二级索引的方式,解决数据在时空维度分布不均引起的热点问题,并设计出STB-HBase下的移动对象轨迹查询和时空范围查询算法。实验结果表明,STB-HBase对交通数据有良好的存储性能和查询效率。     

海量图书检索信息的快速查询系统优化设计研究

以往依据关键词的检索方法,在对海量图书检索信息进行查询过程中,无法满足海量信息的大批量检索需求,存在查询效率低和误差高的缺陷。因此,设计基于分布式架构的海量图书检索信息的快速查询系统,系统中的各组件通过并行数据库和分布式存储实现交互。该系统的功能模块包括用户管理模块、数据抽取模块、索引创建模块、文本查询模块及索引检索模块。分析了系统各功能模块的设计和实现过程,这些功能模块共同对外提供图书信息的快速查询服务。实验结果表明,所设计系统可实现海量图书检索信息的快速、精确查询,并且具有较高的索引创建和索引检索性能。     

海量数据分布式存储技术研究

随着计算机技术的不断发展,互联网业务也在逐渐地扩大,海量用户纷纷涌入到网络中,使得网络系统数据存储空间日益增大。然而海量数据的存储容量往往同存储性能是相反的,传统的数据库在面对海量数据时早已不堪重负,渐渐地就出现了扩展性能差、网络延迟、效率低下等问题。基于此,就车联网海量数据的分布式存储处理技术为研究方向,通过详细分析,构建出一种基于传统数据库存储模式的分布式存储技术,通过仿真实验测试后表明,该技术能够有效解决现有问题,具有一定的参考意义及推广价值。     

列式数据库的数据压缩技术研究

随着大数据产业的兴起,列式数据库的应用价值得以体现。凭借其灵活高效的查询性能以及对复杂异构数据的兼容支持,列式数据库在海量数据的分布式存储和数据查询分析领域具有广阔的应用前景。首先从实际应用的角度阐述列式数据库的基本特性和存储架构;其次分析列式数据库中所应用的数据压缩技术并通过实验验证数据压缩对列式数据库存取性能的影响程度。     

面向海量数据的并行UNION查询技术研究与实现

分析了目前海量并行数据库中的UNION查询时所面临的问题．设计并实现了一种面向海量数据的并行UNION查询系统UQS（Union Query System）。从UQS的体系结构出发，提出了一组新的并行UNION查询算法。新的算法采用增量多路连接、双缓冲并行处理和多路并行归并的策略和算法．在中间件层上支持并行海量数据库UNION查询，并在Oracle10g集群上基于CORBA技术实现新的算法。理论分析和实验结果表明．基于新算法的UQS的性能显著优于传统查询方法。     

一种基于Redis数据库的海量动目标存储方法

传统动目标数据存储方法是直接在物理内存区开辟空间,但是在遇到十万、百万批级别的海量目标时往往出现内存不够、查询和修改效率低的问题。针对传统处理方法面临的性能瓶颈,该文基于Redis内存数据库高性能数据管理和共享技术,实现目标数据的快速存储、查询和修改,使得目标数据能够在程序间高速交互,提升系统实时性和一致性。     

SQLite数据库在数据分发服务中的应用

结合数据分发服务中对海量数据查询匹配的应用需求,基于Windows系统平台,阐述了SQLite数据库的架构和特点.给出了基于SQLite的查询匹配实例的设计,成功地实现了海量数据中的动态匹配,并通过实验验证了采用SQLite数据库后的时效性.     

基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。     

一种高效的海量遥感栅格数据库的空间可视化检索算法

该文针对利用GIS现有空间查询接口进行海量遥感栅格数据库空间可视化检索效率低下的问题。在深入研究海量遥感栅格数据库的空间可视化检索特点的基础上,提出了一种直接针对关系数据库(RDBMS)存储过程的高效的海量遥感栅格数据库复杂空间可视化检索算法,并对算法进行了多个级别的性能优化。该算法可直接应用于海量遥感栅格数据库基于多边形、椭圆和线穿越等复杂空间可视化查询的应用环境。实验结果说明该算法具有稳定性和普适性。     

计费数据云存储:实践“数据集中化”的核心关键

运营商如果想实现计费的全国集中,首先需要解决的问题是实现计费数据的云存储和云计算。目前,计费数据大多采用省集中存储、数据库表结构的存储模式,这种简单的表数据存储和存放方式给大用户量和大话单量数据的插入、查询和更新操作带来了巨大的系统开销,应用系统的性能瓶颈往往表现在数据库操作的性能瓶颈上。     

面向海量数据处理的网管改造方案

随着业务系统云化改造的实施,监控节点会成倍的增长,网管系统必须满足海量资源与信息的监控与处理要求。早期的架构存在单点隐患、资源管理效率低、数据处理速度慢等问题,原来集中处理与存储架构的方式,不能满足海量数据采集与处理的需要。单纯增加高性能服务器来实现系统性能的提升越来越困难,且成本昂贵。基于以上需求,参考互联网系统架构的建设,提出一种面向海量数据处理的网管改造方案,有效解决现有平台的问题。     

基于网络共享的材料性能数据库系统

针对材料性能数据管理的需求，文中提出一种材料性能数据网络共享方案，该设计包括材料性能数据采集、数据查询、数据分析、数据可视化以及数据安全管控模块的材料性能数据库系统，能解决现有材料性能数据库网络化共享不足、数据融合及多学科支持不足、智能化服务不足、标准化不足和数据安全管控不足等问题。采用分级访问控制策略，用户登录系统后对材料性能数据进行标准化处理并存储，形成共享材料性能数据库；再对存储的标准化处理后的材料性能数据按照权限进行受控查询共享，对受控查询共享得到的材料性能数据进行对比分析；最后，对得到的受控查询共享结果和得到的对比分析结果进行可视化展示。数据库系统采用基于B/S跨平台J2EE的MVC架构集成第三方计算平台，用户通过浏览器及网络可方便使用材料性能数据及相关服务；数据库采用MongoDB，支持分布式存储及高效查询。     

基于磁光电混合存储技术的新型数据中心建设探讨

磁光电混合存储技术实现了光存储、磁存储和电存储三种技术优势互补,成为目前综合性能最好的存储技术.结合新基建政策对数据中心建设迫切需求,构建基于磁光电全介质混合存储的"海量、绿色、安全、生态"数据湖,为政府、企业及个人在大数据时代实现海量数据存储和计算提供了可能,有效解决数据中心面临能耗太高、数据安全风险、数据共享及开发...     

基于TA系统采样点智能筛选被干扰小区的算法研究

TA(爱立信自动路测)系统存储海量路测数据,能够全面真实地反映网络质量,对网络进行持续监控与评估,但是多种统计结果需要手动查询,为了减少优化人员的查询统计的工作量,智能筛选海量数据,自动出统计结果势在必行.下面对通过TA系统采样点智能筛选被干扰小区的算法进行分析与总结.     

军械装备保障模拟训练系统数据集成研究

现行的军械装备保障模拟训练系统的后台数据库多种多样,数据存储的格式和为前台提供的服务方式不尽相同,致使信息在不同部门和系统之间流通困难,分散的系统很难促进军械装备保障能力快速提高。介绍了一种数据集成模式——基于数据仓库的数据集成。采用该数据集成模式,可以屏蔽各种数据库中数据存储的差异,解决模拟训练分系统数据共享和交换的问题,实现分系统数据的互联互通,为实现军械装备保障模拟训练系统集成提供数据保障。     

OLAP性能分析及优化

数据仓库存储大量历史数据,OLAP应用涉及到对大面积历史数据的复杂查询,查询优化是提高OLAP响应速度的关键。目前最有效的方法是增加综合数据存储及查询方式的优化,但存储空间的有限限制了综合数据的存储量。常规优化数据库的方法不能满足OLAP的要求,针对以上出现的问题分别从数据仓库存储优化、OLAP实现方式的选择等工作出发,基于OLAP性能优化的查询优化策略等多角度实现对OLAP响应速度及提高查询优化。对这个问题进行了深入的研究。     

无人机航行数据库中经纬度数据查询模型研究

无人机航行数据库中经纬度数据的高效查询,对无人机的飞行性能至关重要.提出基于人工免疫算法优化的无人机航行数据库经纬度数据优化查询模型.模型设置飞行数据的初始簇中心,对海量经纬度数据属性特征进行选取,计算不同的经纬度数据属性特征的相似性,并对上述特征进行实时聚类分析,每查询一次,完成数据属性特征的筛选,使得经纬度数据的特征永远是最新的,实现经纬度数据的高效查询.实验结果表明,利用该方法进行无人机航行数据库的经纬度数据查询,能够降低查询误差,对无人机性能的进一步提高有着重要的指导意义.