数据仓库实现中ETL的应用研究

通过外贸业务分析决策系统的实现,探讨在数据仓库项目应用过程中,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,设计较好的ETL(Extract, Transform, Load)过程解决方案,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为决策支持系统的实现提供高质量的基础数据.     

基于SSIS平台的ETL设计与实现

通过中国人寿四川统计信息系统的设计与实现,本文探讨通过SSIS系统平台实现ETL解决方案,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为统计分析系统的实现提供高质量的基础数据.     

高校财务项目管理系统的数据仓库的设计

数据仓库系统是存储大量历史数据供分析和对决策进行支持的系统,本文详细描述了在高校财务项目管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载（ETL）以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

DTS组件在实现数据仓库中数据转换的应用

DTS是一个强大而且灵活的数据库迁移工具,它能够实现各种异构数据源的数据转换.本文通过一个数据仓库实例,说明如何利用DTS将原始的业务数据源加载到数据仓库中,重点说明运用DTS中的ActiveX脚本语言转换数据.     

构建基于数据仓库的DSS

数据仓库可用于决策分析,它有下面几个关键技术:①数据的抽取。这是数据进入仓库的入口。由于数据仓库是一个独立的数据环境,它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。②数据的存储和管理。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的     

基于大学生精准资助的多源异构数据仓库系统研究

本文针对大学生精准资助设计多源异构数据仓库系统.首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析.此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平.     

数据仓库的建立与维护的一个实例

本文描述了在学校学生管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载(ETL)以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

一个基于XML数据仓库系统的设计与实现

黄土高原数据仓库系统以分布式数据仓库为核心,包含多个异质数据源。系统采用中间件技术不仅提供多层次资源查询服务,并且还使用数据挖掘技术和信息检索技术对资源数据进行深加工,能够主动地为用户提供黄土高原生态环境咨询、评测、预测与决策支持服务。论文重点介绍了一种基于XML的统一模式查询语言———XUSQL,用以解决多数据源中多模式数据融合问题。XUSQL使得在数据仓库中的查询与数据源模式无关,把数据源和数据仓库隔离开,从而有利于构造分布式数据仓库,便于异质数据源之间数据融合以及数据源本身的结构调整。     

数据清理及其在数据仓库中的应用

数据仓库是为决策服务的，这里的数据是从各种并构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性，因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改，发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。     

政府智能系统体系结构

提出了政府智能的概念,政府智能是将政府拥有的数据转化为知识,帮助政府决策者做出明智决策的工具.从技术层面而言,是数据仓库、知识系统、OLAP和数据挖掘等技术的综合运用.政府智能系统从体系上可划分为4个层面,即数据管理、数据分析、知识发现和知识融合.从功能实现上,通过元数据的统一管理,也可分为4个层次即数据获取、数据存储、数据展现和数据源.可以运用J2EE的MVC等技术建立粗粒度的数据仓库和数据集市、知识系统库、商业智能算法集,构建出政府智能平台.     

电子政务系统数据平台架构研究

我国电子政务在快速发展的同时存在各部委、单位的系统之间缺乏统一标准,形成了一个个信息孤岛,无法进行数据共享等问题,因此构建一个统一的数据平台就成为了解决问题的关键。文章描述了数据平台的基本架构,并对其系统的实现进行了需求分析与系统设计分析,重点构建与研究了数据平台所包括数据交换服务、数据流引擎及数据中心三个子系统的系统框架。     

基于智能Agent的金融交易模拟终端设计与实现

Agent技术在仿真与虚拟现实中得到了广泛的应用,在反洗钱的研究过程中,因为诸多原因不能获取现实中的金融交易数据仓库,为了构建反洗钱研究模拟平台所需要的数据仓库并对现有的反洗钱监测理论方法进行验证,文中提供了采用智能Agent角色模拟的实现方式,设计了基于不同角色目标的个体Agent模型及决策模型,并对所得到的数据进行了分析验证,使Agent技术在金融网络研究中得到了进一步的应用。     

齿轮云测量终端系统构建方法研究

针对当前齿轮网络化测量中系统体系结构、信息和数据格式等方面的异构性对齿轮及族系协作测量、信息交流造成的障碍,以云计算技术和大数据技术为基础,结合网络化测量技术和Web云端应用服务构建技术,提出了齿轮云测量终端系统设计方法,采用微服务架构构建系统服务,使用轻量级的数据交换格式JSON(JavaScript Object Notation)灵活的定义齿轮数据结构,搭建了一个小型私有云平台,利用数据仓库中自定义函数对云平台采集到的数据进行解析、规整,实现齿轮测量数据的规范化处理,对齿轮云测量系统的数据动态集成进行了研究。最后,通过系统开发测试,验证了该方法在测量系统进行数据共享、系统服务技术架构的统一和应用敏捷开发部署的有效性与可行性。     

On-line analytical framework for the 2-DE based proteome information

The integration of proteome information is one of the key issues in proteomics research. There are currently several proteome databases which provide proteome information such as Swiss-Prot, PDB, and SRS. However, each proteome database system supports only simple inquiries on the proteome information of its database. In order to enhance the analysis support capability of proteome information, this paper proposes a data warehouse system which constructs proteome data by integrating diverse protein information along with clinical and experiment information produced in various methods in order to enhance the analysis support capability of proteome information. Based on the proteome data warehouse, OLAP and exception discovery queries are carried out. Therefore, complex multidimensional analysis is feasible for highly systematized proteome data in a proteome data warehouse. Furthermore, various analysis results which integrate experiment information, clinical information, image information, and spot information of proteins are provided.     

数据仓库在信息管理中的现实应用

在当今激烈的竞争中,信息对于医院及学校的生存与发展起着至关重要的作用。在信息分析研究中,采用数据仓库技术能大大提高方便性、准确性和及时性,可支持单位的行政管理及主管部门的决策。该文介绍了数据仓库的产生、发展,数据仓库与传统数据库相比所具有的优点以及如何建立数据仓库,在信息管理系统中,数据仓库如何应用及体现。     

基于HBase和Hive的航班延误平台的存储方法

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具LeafLet为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法（MD5）重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于SolrCloud的关联查询算法,利用SolrCloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。     

基于大数据的智慧云公交调度管理系统

公交调度管理具有专业性强、数据量大、实时性高的特点,介绍基于大数据的智慧云公交调度管理系统,将每辆车的实时定位数据、报警数据、站点数据、班次车次数据、视频数据通过建立数据仓库,实施大数据管理、快速存取;通过云技术,实现网内各调度终端高速实时同步,满足公交车辆、线路、业务不断拓展的需要,也为智慧城市建设提供了一个可借鉴的平台。     

高性能数据仓库平台构建的研究

随着数据仓库逐渐成为企业决策支持的重要技术手段,提高数据仓库的综合性能问题日益成为人们重视与关注的焦点之一。在描述形成高性能数据仓库平台及高性能数据仓库环境的基本观点和技术的基础上,给出了建立高性能数据仓库平台的几个关键要素,提出了一种基于可扩展的数据集市的数据仓库系统结构。     

校园网与教育城单点登录系统的异构对接

广州市教育部门搭建了“数字教育城”,可以将各学校的应用系统通过单点登录整合到其中,以实现较高级别 的资源共享。但由于各学校的实际情况差异较大,整合过程必然会存在一些客观问题。本文探讨了广州市中职、中小学在接 入广州市数字教育城单点登录系统中可能遇到的部分特殊问题,尤其对已经有自己的单点登录方案的学校如何进行异构对 接,提出了比较适合现阶段实际情况的良好解决方案。     

基于索引视图实现动态数据仓库的实时数据加载

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要进行战术性的分析,数据仓库中必须有动态变化的最新数据,实现数据仓库的“动态”特性的关键又在于实现“动态数据获取”,即实现实时数据捕获加载。提出了基于索引视图实现动态数据仓库的实时数据加载,并通过实验验证了其可行性。该方法对进一步深入研究实时数据捕获技术有一定的借鉴作用。