共查询到20条相似文献,搜索用时 343 毫秒
1.
医院数据中心涉及的系统较多,逐渐形成了经典的分层整合信息架构。文章基于医院数据中心建设需求展开,指出传统数据中心存在的缺点,建议将结构化数据和非结构化数据分别单独构建双活数据中心。通过分布式存储双活副本,结合目前成熟的服务器虚拟化技术,双活数据中心解决方案能轻松打破数据中心不同位置存储设备和服务器业务应用壁垒。 相似文献
2.
云计算下非结构化大数据存储系统设计 总被引:1,自引:0,他引:1
《现代电子技术》2018,(1):173-177
当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。 相似文献
3.
4.
李世川 《电子产品维修与制作》2014,(3):31-45
如今的数据,除了具有一定模式的规范数据外,还大量存在着非规范数据,这些数据都是非结构化的数据。另外还有一种介于结构化数据和非结构化数据之间的,即半结构化数据。那么,这些不同结构的数据如何高效存储、友好查询,满足用户的多方面需求呢? 相似文献
5.
6.
7.
《信息技术》2017,(6)
针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。 相似文献
8.
9.
为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。 相似文献
10.
11.
分析产生数据质量问题的原因,并对数据质量问题进行了分类,建立数据质量评价的量化标准。提出通过模式集成解决模式层次上的数据质量问题,通过数据清洗解决实例层次上的数据质量问题,并概述了数据清洗算法,提出分四步进行数据ETL数据清洗。 相似文献
12.
13.
14.
15.
分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值. 相似文献
16.
数据抽取、转换和装载(Extract,Transform and loading,简称ETL)是数据仓库、数据挖掘以及商业智能等技术的基石.文中首先简单介绍了ETL概念及其意义,然后设计和开发了应用于超市行业商业智能的ETL程序,已在超市行业管理信息与决策支持系统中得到应用. 相似文献
17.
针对现有信令数据存储与分析应用模块的独立式架构不利于信令数据的保存与分析的问题,文中设计了一种基于数据挖掘的集成信令存储和应用平台架构。通过设计并行数据挖掘信令分析模块架构,面向数据挖掘的信令存储技术和信令数据集成应用平台,重新定义了基于数据挖掘的信令监测平台架构。利用信令数据仓库中的ETL工具,实现信令数据存储以及应用的一体化设计。所设计的集成信令存储和应用平台通过数据挖掘可以有效分析信令数据特性,提高信令数据存储和应用的效率,对于大规模信令监测具有一定的意义。 相似文献
18.
19.
银行数据仓库系统中ETL的总体设计与实现 总被引:2,自引:0,他引:2
毛彧 《太赫兹科学与电子信息学报》2007,5(4):292-295
从银行数据仓库系统中数据的抽取、转换和上载(Extraction Transformation and Loading,ETL)的总体设计出发,分别阐述了EDW-ETL和OLAP-ETL的设计策略及实现方法,给出了实现完整的银行数据仓库系统的ETL方案。该方案对企业实现数据集中、规划和建设数据仓库系统,具有一定的借鉴意义。 相似文献
20.
针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。 相似文献