面向数据库查询的非结构化数据融合存储系统

为提升非结构化数据处理过程中数据库主机的存储能力,设计了面向数据库查询制度的非结构化数据融合存储系统。根据非结构化存储框架连接形式,确定融合控制电路对于数据存储载体的约束作用能力,完成数据融合存储系统的关联硬件执行环境搭建。定义查询指令所属类型,通过优化非结构化数据目标的方式,得到最终的数据融合代价估算结果,完善面向数据库查询的信息参量存储策略。联合相关硬件执行设备,实现非结构化数据融合存储系统设计。实验结果表明,与传统I/O模拟器存储网络相比,在处理非结构化数据时,融合存储系统的数据库主机明显具备更强的信息存储能力,与之相关的数据信息连接并发个数值也相对更大。     

中国分布式存储市场发展趋势

<正>在新一代信息技术不断迭代升级的背景下,全球数据量呈现爆发式增长。作为全球数据生产大国,中国数据量也面临急剧增长的态势。数据量的急剧扩展,愈发凸显了数据存储及管理的重要性。传统存储面临拓展性有限、结构化/非结构化数据兼容性不佳、数据读写任务(I/O)性能与成本不经济、可靠性不高和面向新应用（如容器）支持能力有待提升等问题。在此背景下,分布式存储近年来迅速发展。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

Hive大数据仓库构建与应用——以大陆在美上市股票数据为例

随着大数据技术的飞速发展,大数据技术为各行各业的数据存储和分析提供了有力的技术支撑,在Hadoop大数据集群平台构建Hive数据仓库,使用Hive SQL语句对数据进行查询、汇总和数据分析;Hive本身的数据存储依赖于HDFS分布式集群环境,Hive通过将Hive SQL转换成MapReduce程序,通过大数据集群完成并行计算。文章通过构建Hive数据仓库,通过爬虫获取到腾讯证券中大陆在美上市股票数据,数据处理后,存储到Hive数据仓库。并使用Hive SQL完成基本的数据分析、查询和数据汇总,完成DDL、DML、DQL的基本应用,并在Hive数据仓库完成表的简单查询、复杂查询、表的连接等应用。     

一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

适用于实时查询的电信行业海量数据仓库构建方法

传统的数据仓库不能提供实时查询。本文结合电信行业海量数据的特点,提出一种适用于实时查询的数据仓库构建方法,不仅实现了多维分析功能,还提供了基于ODS的实时查询能力,支撑网络监控、投诉处理等应用需求。     

大数据处理流程及存储模式的改进

结合大数据的特点,提出以标签云改进方案来快速识别网络热搜词,同时考虑到传统的数据仓库在查询、存储结构化数据方面的优势,在目前学者提出的数据仓库与Hadoop平台结合的基础上,提出了协作模式中与以往不同的数据迁移方式,即使用数据中间件,并通过相同数量记录导入Hadoop的时间比较,得出文中所提的数据迁移方法较Sqoop方法更具优势的结论。     

Isilon的集群存储之道

很多企业试图通过扩展现有的传统存储系统,来满足非结构数据在制作、管理和归档方面的需求,但是往往却大失所望。因为这些传统系统只是为结构化处理数据或基于文本格式的数据存储而设计的,根本就不适用非结构化数据。即使运用最新的NAS（网络附加存储）和SAN（存储区域网络）系统架构,也存在一定的内在缺陷——“存储孤岛”、受限的延展性、性能的瓶颈、缺乏可用性以及高昂的成本,将极大的增加管理复杂性。     

数据仓库在图书馆信息资源中的关键技术研究

在信息资源整合模式下运用数据仓库技术可以从大量繁杂的数据记录中快速的寻找到真正有价值的信息，随着计算机的广泛应用以及网络技术的不断发展，图书馆的信息资源不断增多，信息资源的增多不仅给信息的查询带来了便利条件同时海量的信息库也给查找信息带来了一定的困难。随着数据仓库技术在图书馆中的应用图书馆的决策支持能力以及信息服务能力、图书情报信息整体应用能力必将获得很大的提升，图书馆数据仓库技术的应用必将进一步促进图书馆的建设和发展。     

面向大数据的数据服务中心设计与应用研究

大数据管理对传统的基于关系数据库管理系统为核心的数据管理服务平台提出了挑战,研究开发支持结构化和非结构化数据统一管理的数据管理与服务中心成为一项非常迫切并且重要的任务,汇总分析出大数据服务中心四项关键技术,采用可配置泛化表模型等技术,设计了基于Hadoop平台的数据服务中心系统原型BIG-DMS和基于BIG-DMS的数据综合服务平台应用方案,支持结构化和非结构化数据的统一存储、管理和访问服务。     

基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。     

业务驱动型信息分析平台研究

为了适应业务变更、汇总数据分析与实时业务结合的纵深数据分析、实时业务处理,快速定义并部署用户的多维查询,实现对基于数据仓库的联机分析处理。文中针对数据仓库系统实施过程中的特点,结合用户对产品功能的需求,提出＂业务驱动的＂实时数据处理和构建数据仓库的解决方案。平台利用数据抽取技术,对数据进行集成和加工整理,产生综合的、面向分析的数据存储,提供在分析数据基础的数据展现、分析和挖掘;实现分析型应用功能和业务处理系统查询功能的直接关联,满足管理人员和业务操作人员的数据查询和统计需求。     

面向Web服务的非结构化数据组织方法应用

传统的数据模型只能通过文本的形式来对非结构化数据进行存储和组织,同时该形式不仅不能在不同平台之间对数据进行利用,还难以实现更高层次的语义信息表达。因此,文章结合传统数据模型中存在的不足,从Web服务的非机构化数据组织方法与应用方面为切入点,对Web服务以及非结构化数据进行了简单阐述,并提出了面向Web服务的非结构化数据组织与存储的方法,利用数据库属性文件以及数据服务分发结构,AJAX方式完成Web服务中的非结构化数据的应用。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

数据仓库的查询优化研究

数据仓库中存贮着大量的历史数据,主要供企业决策分析之用,所涉及的数据操作主要是数据查询。因此,提升数据仓库的查询效率,优化查询方法是提升数据仓库应用的关键问题之一。本文主要介绍了数据仓库的查询性能问题,介绍目前主流的查询优化方法,并重点介绍了索引技术和分区优化方法。     

构建基于数据仓库的医院辅助决策支持系统

目前,多数医院对于医院信息系统数据的后期处理基本处在基于数据库技术的查询、统计的事务性操作上,这些统计查询分析并不能对医院的业务流程优化、成本控制乃至医院的长期发展提供数据支持,更不能为医院决策者提供数据支持。兰州大学第二医院构建了基于医院信息系统数据仓库为基础的辅助决策支持系统,为医院管理决策者提供了数据支持。     

OLAP性能分析及优化

数据仓库存储大量历史数据,OLAP应用涉及到对大面积历史数据的复杂查询,查询优化是提高OLAP响应速度的关键。目前最有效的方法是增加综合数据存储及查询方式的优化,但存储空间的有限限制了综合数据的存储量。常规优化数据库的方法不能满足OLAP的要求,针对以上出现的问题分别从数据仓库存储优化、OLAP实现方式的选择等工作出发,基于OLAP性能优化的查询优化策略等多角度实现对OLAP响应速度及提高查询优化。对这个问题进行了深入的研究。     

支持事务的非结构化数据聚合存储系统GSL

文章提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL。GSL的数据存储接口与文件系统的接口风格一致,同时支持事务处理。文章将GSL与文件系统和Oracle数据库的BLOB存储效率进行了测试和比较,结果表明GSL的存储效率与文件系统相当,并优于BLOB。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。