QAR数据仓库在Hive中的构建

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。     

制导仿真数据仓库研究

制导仿真试验和飞行试验都会产生许多数据,数据逐渐累积形成海量数据,针对分析需求对数据进行有效管理,制导仿真数据的管理成为当前国内仿真界面临的难题.鉴于数据仓库管理海量数据、面向分析、支持决策的特性,将数据仓库技术引人到制导仿真数据管理领域,设计出了制导仿真数据仓库的体系架构.针对制导仿真所涉及数据的特点,对制导仿真数据仓库构建过程中先对数据预处理进行研究,提出了制导仿真数据仓库的数据预处理模型,进行仿真证明,模型能有效指导制导仿真数据仓库构的数据预处理工作,可为有关人员快速有效地获取所需数据.     

高校财务项目管理系统的数据仓库的设计

数据仓库系统是存储大量历史数据供分析和对决策进行支持的系统,本文详细描述了在高校财务项目管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载（ETL）以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

数据仓库中的数据抽取分析及应用

简要介绍了数据仓库的决策支持系统,对数据仓库的数据抽取方法进行了分析,比较详细地对数据仓库的数据抽取方法──DTS设计器进行了实例探索.     

用字典法压缩数据仓库数据方案

数据仓库中的数据量是呈几何级数增长的。数据量的急剧增长严重影响数据仓库系统的性能,降低数据库系统的查询效率。文章在分析数据仓库数据特性的基础上,提出了使用字典法压缩数据仓库数据的方案。在对数据进行压缩的同时,也极大地改善了数据库系统的性能。     

构建审计分析数据仓库中的数据清理及转换技术

数据仓库是进行多角度数据分析的基础,在审计中可借助数据仓库技术分析数据,用以辅助发现问题和锁定审计重点。数据仓库中的数据结构是面向数据分析设计的,在构建数据仓库时需要对原始操作型的数据进行适当的清理和转换,使其更适合分析的需求。本文介绍了构建审计分析数据仓库中常见的数据清理和数据转换问题以及相应的解决技术。     

数据仓库技术及实施

介绍了数据仓库的基本概念,针对数据仓库建立对创建数据仓库的过程进行了分析,对实现数据抽取、数据仓库的存储和管理等进行分析和比较。     

基于数据仓库的数据转移方法

数据转移是企业实施数据仓库的关键 ,针对数据仓库的技术特点 ,结合微软公司的数据仓库解决方案和数据转移服务 DTS,对数据转移过程中的几个典型问题 ,给出了其各自的解决方案     

数据仓库的体系结构及其技术的探讨

探讨了数据仓库的体系结构及其相关技术,同时对数据仓库中的数据转换、数据仓库的决策支持、多维分析和基于数据仓库的数据挖掘技术进行了分析。     

数据仓库中的数据粒度确定原则

在设计数据仓库逻辑模型过程中,数据粒度的设计好坏对数据仓库的性能、功能有很大影响.本文结合实际的数据仓库建设,讨论数据粒度的设计原则.     

一种基于MOF技术的网络建模研究与实现

基于模型驱动架构方法极大提高了软件的开发效率,而模型之间的转换是开发基于模型驱动架构应用工具的关键技术。采用MOF技术建立不同类型模型结构,运用XMI Bus的数据交换技术将MOF和XML很好地结合在一起,极大降低了模型转换的壁垒,使得异构环境下的工具和各种模型间的交互变得简单。本文研究了MOF的相关技术,最后运用该技术实现了网络中的建模过程。     

CLIENT/SERVER VS. COOPERATIVE PROCESSING Two Downsizing Topologies Compared

Cooperative processing is a variant of the client/server architecture. In exchange for a little more work being done on the server, cooperative processing overcomes certain data security and integrity problems associated with distributed client/server tools. Readers are invited to use the self-test to choose the model that bests suits their needs.     

基于CWM的ODS元模型设计技术的研究与实践

在数据仓库系统的DB-ODS-DW三层体系结构中,ODS充当了承上启下的重要角色,但传统的ODS构建技术和元数据管理方法成本较高,而且在不同厂商的数据仓库和业务分析工具之间的互操作困难.以特种设备检验机构为背景,以特种设备事故分析需求为驱动,提出了一种基于公共仓库元模型的ODS元模型构建技术,进而使用JMI对元模型予以实现.该方法可提高模型的重用性,并对各工具间提供了公共的交换机制,降低了开发成本.     

一种基于语义的协同工作模型

针对产品制造领域,提出一种基于语义的协同工作模型。该模型分别以XML和RDF(S)作为协同信息的语法描述模式和语义描述模型,为协同信息提供机器呵处理和可理解能力;通过建立由个体Ontology和顶层Ontology构成的两层Ontology体系,以个体Ontology描述协同过程中个人或团体的领域背景知识,以顶层Ontology为概念和语义参照模型,建立协同信息之间的语义约束,为协同过程提供多领域知识共享和互操作环境。     

基于MOF的模型协同工作研究

系统的不同方面和抽象的不同层次需要不同的语言,构建系统时必然存在多种语言描述的不种模型。采用MOF统一方法描述不同类型的建模结构,运用基于XMI bus的数据交换将MOF和XML很好地结合在一起,极大降低了MOF技术壁垒,使得异构环境下的工具和各种模型间的交互变得简单高效,具有良好的协同工作能力。基于MOF的模型协同解决方案在工作流中得到了应用。     

An XML-based modeling language for the open interchange of decision models

These days, a modeling tool or environment has to know about the others on the market and build bridges to them with which their customers insist on sharing models and data. When it is based on a closed architecture, a tangle of import/export point translators is required. Using an exchange standard, we can design an open architecture for the interchange of models and data. XML (Extensible Markup Language) provides a framework for describing the syntax for creating and exchanging data structures. The explosive growth of XML-based proposals and standards reflects the urgent requirements and its strength. This paper proposes an XML-based language for sharing models within the MSOR/DSS community. The language is able to allow applications and on-line analytic processing tools to models obtained from multiple sources without having to deal with individual differences between those sources.     

基于Domino技术的企业数据交换策略研究

随着网络技术的发展 ,企业加大了在信息基础设施方面的投入。由于历史的原因 ,企业数据一般由文件、关系型数据库、文档型数据库等构成。这些数据的共享与重用性差 ,数据之间的交换困难 ,不利于员工的使用和管理层的决策。提出了一种基于Domino技术的数据交换策略的体系结构 ,用来解决这类问题。这种结构的核心是数据接口和中间件 ,即中间件技术的应用。详细地描述了中间件技术结构设计的四个主要组成部分 :请求管理模块、连接管理模块、操作管理及评价模块、结果缓冲集 ,并提出了在实际应用中系统设计的一种可行的开发工具。     

电力应用系统数据交换平台

现代企业资源具有分布式、异构性、跨领域协同工作等特点。通过分析电力行业电力应用系统的现状,针对各系统间缺乏规范化和标准化的数据共享机制,信息资源难以共享,数据交换率低效等问题,提出了基于SOA架构,以XML作为异构系统之间数据交换的标准格式,以Web Service作为各系统数据交换的标准接口的数据交换平台,解决各系统间的数据的交换和共享。经过实际应用表明,本平台极大的方便了各电力应用系统之间数据的交换与共享,大大的提高了企业的运营效率。     

Connecting architecture reconstruction frameworks

A number of standalone tools are designed to help developers understand software systems. These tools operate at different levels of abstraction, from low level source code to software architectures. Although recent proposals have suggested how code-level frameworks can share information, little attention has been given to the problem of connecting software architecture level frameworks. In this paper, we describe the TA Exchange Format (TAXForm) exchange format for frameworks at the software architecture level. By defining mappings between TAXForm and formats that are used within existing frameworks, we show how TAXForm can be used as a “binding glue” to achieve interoperability between these frameworks without having to modify their internal structure.     

An infrastructure to support interoperability in reverse engineering

The reverse engineering community has recognized the importance of interoperability, the cooperation of two or more systems to enable the exchange and utilization of data, and has noted that the current lack of interoperability is a contributing factor to the lack of adoption of available infrastructures. To address the problems of interoperability and reproducing previous results, we present an infrastructure that supports interoperability among reverse engineering tools and applications. We present the design of our infrastructure, including the hierarchy of schemas that captures the interactions among graph structures. We also develop and utilize our implementation, which is designed using a GXL-based pipe-filter architecture, to perform a case study that demonstrates the feasibility of our infrastructure.