烟草业务联机分析处理系统的实现

数据库技术的广泛应用以及数据仓库技术的出现为决策支持系统提供了新的发展方向。联机分析(onlineanalyticalprocessing,简称OLAP)正是在数据仓库的基础上发展起来的一门崭新的决策技术。文章结合某市烟草决策支持系统,介绍了基于联机分析处理技术的烟草数据分析系统的设计思路与实现方法,并对其中关键环节进行了较为详细的探讨与阐述,为联机分析处理技术的实用化提供了可借鉴的成功经验。     

多维数据实视图的动态选择

提出了多维数据中实视图的动态选择方案.其基本思想是由系统跟踪查询的分布情况,并据此动态地调整实视图集合.具体实现了该方案,并证明了在一定条件下,单次选择算法的效果与最优效果的差具有一定的上限.实验结果表明,动态方案的效果优于已有的其他选择方案.     

无须附加空间的数据立方体联机聚集

以往在数据立方体上实现的联机聚集往往需要附加空间来存储联机聚集估算所需要的信息,极大地影响了数据立方体的存储和维护性能.提出了基于QC-Tree的用于范围查询处理的联机聚集PE(progressively estimate)算法以及它与简单聚集算法相结合的混合聚集算法HPE(hybrid progressively estimate);还提出了一种能够同时处理多个范围查询的联机聚集算法MPE(multiple progressively estimate).与以往联机聚集算法不同,这些算法不需要任何附加空间,而是利用QC-Tree自身保存的聚集数据和语义关系来估算聚集结果.由于QC-Tree是一种极为高效的数据立方体存储结构,因此能够以较理想的性能实现数据立方体上的联机聚集.对算法的分析和实验结果表明,所提出的算法具有较好的性能.     

一个简易在线分析处理系统的设计

介绍了一个简易在线分析处理系统的基本原理和设计框架,并提供了关键数据结构和算法描述.     

高性能计算与天文大数据研究综述

数据是天文学发展的重要驱动。分布式存储和高性能计算(High Performance Computing,HPC)为应对海量天文数据的复杂性、不规则的存储和计算起到推动作用。天文学研究中多信息和多学科交叉融合成为必然,天文大数据已进入大规模计算时代。高性能计算为天文大数据处理和分析提供了新的手段,针对一些传统手段无法解决的问题给出了新的方案。文中根据天文数据分类和特征,以高性能计算为支撑,对天文大数据的数据融合、高效存取、分析及后续处理、可视化等问题进行了研究,总结了现阶段的技术特点,提出了处理天文大数据的研究策略和技术方法,并对天文大数据处理面对的问题和发展趋势进行了探讨。     

Semi-Closed Cube: An Effective Approach to Trading Off Data Cube Size and Query Response Time

The results of data cube will occupy huge amount of disk space when the base table is of a large number of attributes. A new type of data cube, compact data cube like condensed cube and quotient cube, was proposed to solve the problem. It compresses data cube dramatically. However, its query cost is so high that it cannot be used in most applications. This paper introduces the semi-closed cube to reduce the size of data cube and achieve almost the same query response time as the data cube does. Semi-closed cube is a generalization of condensed cube and quotient cube and is constructed from a quotient cube. When the query cost of quotient cube is higher than a given threshold, semi-closed cube selects some views and picks a fellow for each of them. All the tuples of those views are materialized except those closed by their fellows. To find a tuple of those views, users only need to scan the view and its fellow. Thus, their query performance is improved. Experiments were conducted using a real-world data set. The results show that semi-closed cube is an effective approach of data cube.     

数据仓库技术在飞参数据处理中的应用

用面向对象的方法来设计和描述飞参数据仓库的多维模式,实现了基于数据仓库技术的飞参数据处理系统。该系统能够有效地对庞大的飞参数据进行深层分析,为飞参数据的管理与处理探索了一种有效的模式。。     

数据仓库中的一种立方体数据模型

数据仓库和联机分析处理(OLAP)是商业数据处理领域中的两个最重大的新技术。OLAP应用要求对数据仓库中存储的大量数据进行分析,用标准关系数据库技术来实现非常复杂的查询是相当困难的。所以,在数据仓库中,数据被组织成立方体数据模型。该文提出了一种简单、直观的数据立方体模型以及在这个立方体上支持OLAP操作的代数。为复杂的查询提供了简要的表述方法。     

基于内存的数据立方查询处理

随着内存容量的飞速扩大,出现了一些配备以GB计的内存的工作站。但现行的OLAP系统都没有充分利用大容量RAM,鉴于此,文章提出一种基于内存的数据立方查询处理系统。该系统采用一种二级索引内存数据结构,充分利用有限的内存空间,有效组织各数据小方的元组,实现了高效数据立方查询。     

A Model to Create Organizational Value with Big Data Analytics

Value creation is a major factor not only in the sustainability of organizations but also in the maximization of profit, customer retention, business goals fulfillment, and revenue. When the value is intended to be created from Big Data scenarios, value creation entails being understood over a broader range of complexity. A question that arises here is how organizations can use this massive quantity of data and create business value? The present study seeks to provide a model for creating organizational value using Big Data Analytics (BDA). To this end, after reviewing the related literature and interviewing experts, the BDA-based organizational value creation model is developed. Accordingly, five hypotheses are formulated, and a questionnaire is prepared. Then, the respective questionnaire is given to the research statistical population (i.e., IT managers and experts, particularly those specializing in data analysis) to test the research hypotheses. In next phase, connections between model variables are scrutinized using the structural equation modeling (measurement and structural models). The results of the study indicate that investigating the infrastructures of the Big Data Analytics, as well as the capabilities of the organization and those of Big Data Analytics is the initial requirement to create organizational value using BDA. Thereby, the Big Data Analytics strategy is formulated, and ultimately, the organizational value is created as well.     

OLAP中一种多维数据模型

分析了传统OLAP(联机分析处理)模型在商业应用领域中存在的不足，在此基础上，针对某一超市的OLAP的设计过程中所碰到的问题，提出了一种多维数据模型，给出了模型定义和基于关系数据库模型实现方法。     

数据仓库查询处理中的一种多表连接算法

在进行数据仓库的OLAP(onlineanalyticalprocessing,联机分析处理)查询处理时,经常会涉及到多表连接操作,因此,提高多表连接的性能就成了数据仓库领域的关键性问题.基于数据仓库的星型模式,给出了一种新的多表连接算法(M-Join).与传统关系数据库管理系统的多表连接查询处理相比,该算法充分考虑了数据仓库中的数据本身和多表连接的特点,采用对多个表进行一次性连接的方法,使得查询的性能有明显的改善.同时,还给出了算法的实验结果和分析.     

用多用户多窗口方法处理多维视图动态选择

多维视图动态维护是数据仓库领域当前研究的一个热点．随着数据仓库的普及,将有越来越多的各种类型的用户使用OLAP工具满足各自特定的分析需求．现有的各种视图选择方法没有考虑不同类型用户的特点,从而存在一些缺陷．提出多用户多窗口方法,充分考虑用户的差异,利用单个用户在查询时的相对有规律性,为用户划分级别,并为每个用户设置相应级别的用户视图窗口,从而合理地利用了系统有限的资源,提高了查询响应速度,也保证了特殊用户对查询性能的特殊需求;给出了相关的定义和MUMW算法,并阐述了多用户多窗口方法的优点．     

数据仓库的多维数据模型的研究

多维数据模型是数据仓库和联机分析处理研究中的一个重要问题,该文根据电力负荷数据集的特点,提出了一种新模型,解决不同维公用一个底层层次属性,把系统中不完全的低粒度数据集和完全的粗粒度数据集在逻辑上无缝地结合起来支持联机分析处理的问题,这是其他多维数据模型所没有解决的。     

基于Hive的高可用双引擎数据仓库

打破信息孤岛，整合异构数据，汇聚共享交换，深度分析挖掘，提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引，设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库，支持多种方式OLAP分析，进行了可用性、负载均衡、资源管理的优化设计，为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明，系统灵活高效，高可用可扩展，资源调度科学，负载均衡效果明显.     

证券公司数据仓库解决方案

介绍了数据仓库、联机分析处理和数据挖掘技术。在对我国证券公司应用需求和信息系统现状进行了详细分析的基础上，提出了证券公司数据仓库的整体构架，并对其逻辑设计、数据抽取与转换、前端展现程序设计方案进行了探讨。     

基于分组序号的聚集算法

联机分析处理OLAP(online analytical processing)查询作为一种复杂查询,当使用SQL(structured query language)语句来表述时,通常都包含多表连接和分组聚集操作,因此提高多表连接和分组聚集计算的性能就成为ROLAP(relational OLAP)查询处理的关键问题.提出一种基于分组序号的聚集算法MuGA(group number based aggregation with multi-table join),该方法充分考虑数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin(multi-table join)相结合,使用分组序号进行分组聚集计算,代替通常的排序或者哈希计算,从而有效地减少CPU运算以及磁盘存取的开销.算法的实验数据表明,提出的MuGA算法与传统的关系数据库聚集查询处理方法以及改进后的基于排序的聚集算法相比,性能都有显著提高.     

用于数据仓储的一种改进的多维存储结构

对于数据仓库中数据的物理存储组织,目前主要有关系和多维数组两种方式.这两种方式各有自己的优缺点,从提高联机分析处理(online analytical processing,简称OLAP)查询处理性能的角度出发,多维数组方式相对较优,目的主要是解决数据仓库的多维存储结构问题.针对当前多维数组存储组织方式存在的一些问题,提出了Cube(立方体)逻辑存储和物理存储的概念,首先将原多维数据空间划分为逻辑子空间,逻辑块再划分为多个物理块.在物理存储时充分考虑了多维数组的大容量和高稀疏度的问题,并采用新的多维数组的分布和压缩方法.这些概念和方法有效地解决了维内部层次结构的聚集操作和Cube操作的效率问题,显著提高了涉及维内部层次的聚集查询的响应速度,同时还解决了增量维护的效率问题.     

实时主动数据仓库中多维数据实视图的选择

通过基于主动决策引擎日志的数据挖掘来找到分析规则的CUBE使用模式,从而为多维数据实视图选择算法提供重要依据;在此基础上设计了3A概率模型,并给出考虑CUBE受访概率分布的视图选择贪婪算法PGreedy(probability greedy),以及结合视图挽留原则的视图动态调整算法.实验结果表明,在实时主动数据仓库环境下,PGreedy算法比BPUS(benefit per unit space)算法具有更好的性能.     

基于高性能DSP的嵌入式AUV数据融合处理系统的研究

对AUV数据融合处理的特点、要求与现状进行了分析,提出了一种基于并行处理的嵌入式高性能数据融合处理器体系结构并进行实现,对AUV数据融合进行了并行化设计与实验,证明了AUV嵌入式高性能数据融合处理器的高效性和可行性。