基于电信数据仓库系统的ETL研究与设计

电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading).通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统.采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率.     

面向数据仓库的ETL工具的研究与实现

阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位,提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心,利用元数据保存记录ETL流程的信息,创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射,并初步实现了对大数据环境数据抽取的支持,从而构建了一个具有良好可扩展性和开放性的ETL系统。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

基于ETL技术的企业信息集成研究

本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。     

增量ETL过程中对删除数据实现装载的设计

使用ETL过程将数据源数据装载到数据仓库,大多数时候是向数据仓库中追加数据,但有时也需要删除一些数据,以维持数据仓库中数据的正确性.文章结合Oracle ETL工具的装载特点提出了一种对增量数据进行预处理的方法,以实现有删除数据的ETL装载,并给出了具体的设计.     

基于结构图的ETL过程建模方法*

ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。     

结构图ETL概念模型的设计方法

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。     

基于ETL的政务云气象数据仓库构建

针对气象网站等应用系统向地方政务云迁移过程中缺乏基础数据的现状,从功能性,开发成本,灵活性方面考虑选用ETL工具,基于Kettle软件对气象数据ETL流程进行建模,使用Quartz开发作业调度系统实现ETL流程的自动化运行,在政务云搭建SQL Server数据库集群,构建了政务云气象数据仓库.该数据仓库实现了异构环境气象数据在政务云的实时同步和存储,为气象应用系统在政务云的全面部署提供了数据支持,也为气象部门参与电子政务数据交换和共享打下基础.     

社保数据集成系统ETL研究与开发

该文主要通过研究社保系统数据集成中使用的ETL方法,并结合崂山区社会保险管理系统的现状,提出了采用数据仓库法实现崂山区社保系统的数据集成。重点介绍了社保系统数据集成中ETL的开发。经过验证能够建立统一的、完整的、高质量的社保系统数据仓库。     

一种基于RFID的文件管理系统设计方案

针对涉密文件特别是纸介质文件管理上存在的安全问题,基于RFID技术设计实现了涉密文件管理系统。该系统采用了文件监控与安全报警的方法,实现涉密文件高效安全的管理,降低了泄密事件的发生率,实现了利用自动化设备对纸介质涉密文件进行监控管理的设想。     

基于虚拟机自省的隐藏文件检测方法

通过检测虚拟机内部的隐藏文件,检测工具可以及时判断虚拟机是否受到攻击.传统的文件检测工具驻留在被监视虚拟机中,容易遭到恶意软件的攻击.基于虚拟机自省原理,设计并实现一种模块化的虚拟机文件检测方法FDM. FDM借助操作系统内核知识,解析虚拟机所依存的物理硬件,构建虚拟机文件语义视图,并通过与内部文件列表比较来发现隐藏文件. FDM将硬件状态解析和操作系统语义信息获取以不同模块实现,不仅具备虚拟机自省技术的抗干扰性,还具备模块化架构的可移植性与高效性.实验结果表明, FDM能够准确快速地检测出虚拟机内部的隐藏文件.     

一个专用ETL程序的实现

设计开发了应用于粮食行业数据仓库的ETL(Extract-Transform-Load)程序,支持关系数据库数据源和文本格式数据源。在对比分析了打时间戳、扫描增量文件、扫描日志、修改应用代码、“前”“后”映像文件比较五种数据增量方法后,用基于主键的记录比较的方法实现了数据的增量更新。ETL支持表的分拆和合并,弥补了数据仓库建模工具的不足,已在粮食行业管理信息与决策支持系统中得到应用。     

基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．     

基于以太网技术的车桥追溯管理系统终端设计

基于Cortex—M3内核的ARM芯片STM32F107所构建的车桥追溯管理系统终端,采用以太网进行数据传输,嵌入μC／OS-II实时操作系统和LwIP协议栈,实现多任务的管理,优化数据的传输。实验表明,终端系统稳定,人机对话界面友好,数据能快速、大量、有效传输,具有很好的应用前景。     

基于网络的文件持续保护技术研究与实现

传统的数据容灾技术由于存在种种的缺陷,不能满足用户对数据实时性保护的需求。文章研究了新型的持续数据保护技术（CDP）,并设计和实现了文件的CDP系统。实验表明,系统能实现文件的粒度细保护,使文件能回退到文件之前的任意状态。     

基于过滤驱动的文件保护系统

数据的安全保护是当前网络安全领域研究的热点,本文提出了一种基于文件系统过滤驱动的文件保护系统。该文件保护系统在操作系统内核状态下实现了对文件的透明加/解密,并提供了访问控制、密钥管理等功能。加/解密算法可以灵活采用并且不公开,提高了加密的有效性。文件以密文的形式保存,且只能被合法用户以非常安全的方式访问。用户使用起来非常方便,只需提供自己的私钥即可。     

基于PHP技术的网络文件管理系统设计

针对当前网络文件管理系统发展的需要,V2PHP和MySQL技术为重点,设计了一种基于PHP才支术的网络文件管理系统,以提供文件上传、下载等存储服务和文件浏览、更新、分类、分享等管理服务。该系统操作界面友好,处理效率高,并具有良好的安全性设计,可为用户进行文件在线存储、管理以及用户之间的文件共享等提供方便可靠的途径。     

工业CT断层图像自动生成STL文件的方法

为了使工业CT（computed tomography）扫描获得的工件断层图像格式转换为快速原型设备所接受的数据格式，研究了工业CT断层图像数据格式自动生成STL（Stereolithography）文件格式的方法，并用VC^＋＋开发了软件，实验结果表明，效果较好。     

山西省公安系统RSA签密方案的设计与实现

基于Java安全技术,设计并实现了山西省公安系统的安全应用软件,该系统具有文件的加密、解密功能以及文件的数字签名与验证功能。系统完全遵循RSA公开密钥算法,可以自动生成用户的公钥与私钥文件,用户界面友好、使用方便。