ETL执行的流水线优化

ETL工具是构建和维护数据仓库的基本构件，由于它处理的是海量数据．如何有效地加快响应时间成为值得研究的问题．本文提出了ETL过程的“主表衍生”模式．并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间，理论分析和实验表明具有好的效果．     

多道程序计算机中的运算和控制方法

在設計商用数据处理机时,計算机設計师经常在增加小量費用或不增加费用的前提下努力爭取得到更好的机器性能。在設計Honey-well 800型晶体管化数据处理系统时,曾經采用了好几种設計思想来达到这个目的。其中之一是应用小型輔助存貯器来协助控制高速的中心处理机。另一个設計思想是采用新的字体结构来得到快速而价廉的运算裝置。     

ETL执行过程的优化研究

提出了一个ETL（Extraction-Transformation-Loading）优化框架并对ETL过程的逻辑优化进行了研究,把优化问题建模成状态空间搜索问题。每个ETL工作流看作一种状态,通过一系列正确的状态变换来构造状态空间,并且提出算法来获得最小执行时间的ETL工作流。理论分析和实践表明其具有良好效果。     

基于状态空间搜索的ETL执行优化

数据抽取-转换-重载(ETL)是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何加快响应时间成为值得研究的问题.对ETL过程的逻辑优化进行了研究,把优化问题建模成状态空间搜索问题.把每个ETL工作流看作一种状态,通过一系列正确的状态变换来构造状态空间,并且提出算法来获得最小执行时间的ETL工作流.     

ETL MK-6计算机的输入输出控制

在 ETL MK-6电子计算机中广泛采用了实现高速化的各种措施。因为通常计算机的输入输出装置速度远远落后于计算机的内部工作速度,所以 MK-6计算机中全面地使用了分时操作技术。这个系统大体分为运算控制装置、优先控制装置、输入输出控制装置、存贮器四个部分。对于输入输出控制来说,着重考虑了在连接输入输出置蓬时,尽可能不使用计算机的主体。     

MK—6计算机的先行控制

1.前言为了提高计算机的速度,一般采用下列几种方法:(i)加快基本线路的速度;(ii)缩短存贮器的工作周期;(iii)提高输入输出设备的速度;(iv)改进计算机的体系结构以适应高速计算机的要求。可是,如果是孤立地采用这些方法,所得到的效果是不很显著的。因此必须从计算机的整体结构来考虑,以使各部件的速度相互匹配。在设计 MK-6计算机时,为了得到高速度,全面地考虑了上述几种方法。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石.如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题.从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤.     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

面向多线程多道程序的加权共享Cache划分

并行应用在共享Cache结构的多核处理器执行时,会因为对共享Cache的冲突访问而产生性能下降和执行时间不确定的现象.共享Cache划分技术可以把共享Cache互斥地分配给多个进程使用,是解决该问题的有效方法.由于线程间的数据共享,线程数目不同的应用对共享Cache的利用率不同,但传统的以失效率最低为目标的共享Cache划分算法(例如UCP)没有区分应用线程数目的不同.文中设计了一种面向多线程多道程序的加权共享Cache划分框架(Weighted Cache Partitioning,WCP),包括面向应用的失效率监控器和加权Cache划分算法.失效率监控器以进程为单位动态监控在不同的Cache容量下应用的失效率;而加权Cache划分算法扩展了传统的失效率最优的Cache划分算法,根据应用线程数目的不同在进行Cache划分时给应用赋予不同的权值,以使具有更多线程的应用获得更多的共享Cache,从而提高系统的整体性能.实验结果表明:加权Cache划分算法虽然失效率有所增高,但却改进了IPC吞吐率、加权加速比和公平性.在由科学和工程计算应用组成的多道程序测试用例中,WCP-1的IPC吞吐率比以失效率最低为目标函数的共享Cache划分算法最高高出10.8%,平均高出5.5%.     

银行业务数据ETL的需求分析

本文探讨了银行业务数据ETL的需求,对源数据、处理步骤、来用工具等进行了分析.     

元数据驱动ETL的研究

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。     

AopenAX4B

在Intel的处理器产品系列中,低端 处理器市场是Celeron处理器占据市场,而高端和主流产品则同为Pentium4处理器。频率的逐步提高使得Pentium4处理器不断创造着速度的纪录,而通过不断的大幅度降低以往产品的售价,低频率的Pentium 4处理器则越来越多的成为一般用户的选择。如果您决定组装一套基于     

ETL的符号化模型检验

为使符号化模型检验技术适用于全部ω-正规性质,研究了ETL(extended temporal logic)的符号化模型检验方法.首先,扩展了LTL(linear temporal logic)的Tableau方法,给出了ETL的Tableau构造方法,进而给出了该方法基于BDD(binary decision diagram)的符号化实现.同时,在NuSMV的基础上实现了支持ETL符号化验证的模型检验工具ENuSMV.该工具允许用户自定义时序连接子,从而可以检验全部ω-正规性质.实验结果表明,ETL性质能够被高效地采用符号化技术加以检验.     

直接执行高级语言计算机介绍

本文介绍高级语言计算机体系中的一种新型结构——直接执行结构的基本原理和组成,并以一个简单的程序为例来阐明这种结构执行高级机器语言各基本语句的过程。     

直接执行高级向量语言计算机

本文探讨直接执行高级向量语言计算机的现实性,并讨论一类有利于这种现实性的计算机——向量机对高级语言的直接执行。 随着器件的飞速发展,不久将来,从计算器开始,部分的微处理机、小型机、中型机、甚至将来的部分大型机,会逐渐出现“剩余速度”和“剩余器材”。而这些速度和器材的“剩余”,对某些计算机来说,会逐渐被转移到用来提高系统软件的生产能力。本文认为这里讨论的直接执行高级向量语言的向量机可能最有希望被提前实现。     

布劳斯B8500计算机

布劳斯公司研制的电子数据处理机B5500和它军方研制的D825的特点是功能和结构的模块化。最近研制的B8500电子数据处理机也采用了这种模块结构的设计概念。在B8500计算机中,多达16个计算机和输入输出组件及16个存贮器模件〔每一个容量为存贮在磁薄膜     

Modula:一种用于模块多道程序设计的语言

本文定义了一种称作Modula的语言,这种语言主要是打算用来编写计算机系统(包括小机器上的过程控制系统)程序的。语言大部分是以Pascal为基础的,但是除了通常的分程序结构以外,还引进了一种所谓模块结构。模块是一组过程、数据类型和变量,在其中程序员可以对由环境移入的或移出到环境的各个名进行准确的控制。Modul(?)包含一些一般性的多进程设施;亦即,进程,界面模块以及信号。本语言还允许指明出一些表示计算机特定外围设备的设施。本文中所给出的这些设施都是适用于PDP——11的。     

结构图ETL概念模型的设计方法

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。     

直接执行高级语言FORTRAN计算机的概念设计

本文提出了一种直接执行FORTRAN计算机的概念设计,介绍了对标准FORTRAN语言所作的一些限制和补充,目的在于保证直接执行的简便和效率,简单地叙述该计算机的体系结构,比较详细地列举了几个典型的FORTRAN语句的直接执行的过程,由此,不难看出本计算机工作的概貌,最后,对今后高级语言计算机的发展,提出了我们的一点粗浅看法。     

基于元数据驱动的ETL架构设计

ETL(Extract-Transform-Load)是数据仓库获得高质量数据的重要环节,一个设计良好、功能强大的ETL工具对于构建一个数据质量、结构良好的数据仓库有着重要意义。首先分析了传统ETL架构的局限性以及元数据管理对ETL过程的重要性,然后对传统的ETL架构进行改进,结合元数据管理思想,提出并设计了一种新的基于元数据驱动的ETL架构。结果表明,该ETL架构通过增加数据中转区并使整个ETL过程在元数据的指导下进行,有效保证了数据仓库的数据质量,提高了数据装载的效率,减轻了数据源和目标数据库的压力,增加了数据转换的灵活性和可靠性。