基于移动行业的ETL方法及策略探讨

基于移动行业的数据仓库，对数据抽取、数据转换、数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

基于移动行业的ETI方法及策略探讨

基于移动行业的数据仓库，对数据抽取，数据转换，数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

Oracle中数据装载与数据重组的研究

数据装载和数据重组是在管理和维护Oracle数据库中经常遇到的问题。文中介绍了目前向Omcle数据库中装载数据的几种常用方法，并简要介绍了数据重组的问题。文中随后给出了这几种方法的使用原则以及性能分析，最后讨论了这几种方法的应用场合。     

分布式环境下大规模资源描述框架数据划分方法综述

随着知识图谱的日益发展和在各个垂直领域的广泛应用，对于资源描述框架（RDF）数据的高效处理需求日益成为现代大数据管理领域中的新课题。RDF是W3C提出的用于描述知识图谱实体以及实体间关系的数据模型。为了有效地应对大规模RDF数据的存储和查询，很多学者考虑在分布式环境中管理RDF数据。RDF数据的分布式存储所面临的关键问题是数据的划分，而划分的结果很大程度上决定了SPARQL的查询性能。从数据划分的角度，主要围绕两类：基于图结构的RDF数据划分方法和基于语义的RDF数据划分方法展开深入阐述。前者包括多粒度层次划分、模板划分和聚类划分，适用于通用领域查询的语义范畴较为宽泛的场景；后者包括哈希划分、垂直划分和模式划分，更加适用于垂直领域查询的语义范畴相对固定的环境。此外，针对几种典型的划分方法进行对比与分析，为未来RDF数据划分方法的研究提供参考。最后，对未来RDF数据划分方法的发展方向进行了归纳总结。     

一种多媒体数据快速装载方法设计与实现

为了提高多媒体数据的装载速度,达梦数据库提供了一种将海量的多媒体数据快速装载进数据库的方法.从文件准备、功能模块调用和数据装载3个方面,详细阐述了该方法的设计与实现,并通过一个实例来说明该方法的使用.     

编译指导的构件并行技术

提出了一种新的面向科学计算的构件技术——编译指导的构件并行技术，旨在提高构件间的并行度和数据的局部性，避免通信瓶颈。该技术分为两个阶段：域划分和子构件组合。其中域划分利用了编译时的数据依赖分析技术，子构件纪合利用了所设计的基于区间数据的模糊聚类算法。     

基于电信行业的ETL系统的设计与实现

基于电信行业的数据仓库,对其数据抽取、数据转换和数据装载的实现方法进行了探讨,这些方法对其他行业数据仓库的构建具有 借鉴作用。     

格式化，不会影响硬盘寿命

硬盘的格式化分为高级格式化和低级格式化两类。高级格式化仅仅是清除硬盘上的数据，生成引导信息，初始化FAT表，标注逻辑坏道等。而低级格式化是将硬盘划分出柱面和磁道，再将磁道划分为若干个扇区，每个扇区又划分出标识部分ID、间隔区、GAP和数据区DATA等。低级格式化是高级格式化之前的一件工作，每块硬盘在出厂前都进行了低级格式化。     

浅谈ASP页面间数据的传送

介绍了三种ＡＳＰ页面间数据传送的方法，与通常的静态网页相比最大的两个优势就是从数据库中取数据动态生成网页面间数据的传送。     

适应地形实时生成的地形数据简化

出于对大范围地形场景实时生成的需要，提出了一种地形数据简化的方法。首先基于“分而治之”思想给出规则数据分割的概念，并给出数据分割算法，然后通过将地形数据的高度值解释为二维图像元素的灰度值，把地形数据变成平面图像，再利用数字图像处理的方法获得地形特征，提出了两种地形分类简化模型，即基于熵的地形类型划分模型和基于DEM数据统计特性的地形类型划分模型，最后比较了不同地形特征的数据简化结果。     

增量ETL过程中对删除数据实现装载的设计

使用ETL过程将数据源数据装载到数据仓库,大多数时候是向数据仓库中追加数据,但有时也需要删除一些数据,以维持数据仓库中数据的正确性.文章结合Oracle ETL工具的装载特点提出了一种对增量数据进行预处理的方法,以实现有删除数据的ETL装载,并给出了具体的设计.     

容许两个盘故障的磁盘阵列数据布局与图分解的条件和存在性研究

从一个新的途径讨论容许两个盘故障的磁盘阵列数据布局：把由数据单元和通过“异或”运算得到的校验单元组成的校验组用一个图表示，把校验组容许两个盘故障的阵列布局归结为校验组的单元集合的划分，进而转化为校验组的图的顶点和边组成集合的满足一定条件的分解．证明了校验组容许两个盘故障的单元集合划分的充分必要条件及存在性；讨论了优化阵列布局方案性能的条件；给出了阵列布局的步骤．从而为设计具有最优性能的容许两个盘故障的磁盘阵列数据布局方案提供了有效的途径．     

在流水线结构上的基于Shear-Wrap的并行体数据绘制算法

在以前的基于目标空间划分的并行体数据绘制算法中，局部绘制和图象融合是两个串行的过程，在节点机的局部绘制阶段几乎没有数据通讯，但在数据融合阶段数据通讯量非常大，出现总线争用甚至通讯阻塞，而且在这个阶段有非常大的同步开销。本文利用流水线结构，让局部体数据绘制和图象融合并行执行，很好地解决了上述缺点。并在一个基于微机的流水线结构上实现了一个新的基于目标空间划分的并行体数据绘制算法。     

一种轻量级架构的ETL系统设计与实现

ETL系统是构建数据仓库的关键组件。通过数据抽取、转换和装载工作,完成处理海量数据和构建数据仓库的任务。如何提高数据处理效率和增强系统稳定性是值得研究的问题。根据电信资源数据省级集中分析系统下的实际应用背景,提出了一种轻量级架构的ETL系统,该架构采取的是“化整为零”的思想,把原先核心的抽取和转换的任务部分划分到各个相应的子系统中做初步的处理,这样处理的优点在于应用中减轻了核心ETL引擎的承载负担,各个抽取任务单独进行互不依赖,提高了抽取效率。通过在具体应用环境下系统运行表明采用该架构ETL系统具良好的使用效果。     

ETL架构研究

ETL(Extract、Transform、Loading)是企业数据中心(EDC)建设过程中必不可少的、最重要的环节。传统的采集模式中,整个ETL过程在一起被顺序的执行,这样对于有许多采集点(数据源)来说降低了工作效率,同时也增加了ETL的编写难度。本文提出一种新的ETL方式,通过增加中间层——临时数据存储区,把ETL的三个过程拆开,形成三个独立的服务进程,采集服务进程、装载服务进程和转换服务进程,达到提升数据抽取、转换和装载的效率,同时降低ETL代码编写的复杂度。     

使用SQL*Loader将dBASE数据转储到ORACLE数据库

本文介绍如何使用SQL*Loadcr将dBASE数据库的数据转储到OR-ACLE数据库。首先简单介绍SQL*Loader的功能,然后介绍怎样用DB3PREP做好准备工作,怎样用SQLLOAD装载数据。最后以多个例子指导用户根据具体要求装载不同的dBASE记录。     

多源数据转换与装载向导开发技术

对研制的一个多源数据转换与装载向导DEPWizard的开发技术做了介绍。该向导作为网站开发通用平台的一部分,可以支持网站管理或维护人员自动转换和装载多源异构数据、快速构建数据中心和灵活组织数据发布页面。     

网络测量中的性能数据空间分析

如何从巨量性能数据提取出特征数据是网络测量中的一项非常困难的工作。首先定义了性能数据的特征，按指标类型、获取方式或流动特性将其划分成不同的数据集，并建立了性能数据空间。通过对数据的深入分析，将复杂的性能数据分析过程分为完备化和抽象化两个阶段，提高了数据分析的效率。最后根据性能数据空间和数据集的分析，设计和实施了一个分布式数据分析体系结构。     

多源数据库数据复制模型

针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。