一种OLAP应用系统的设计和实现

通过对数据仓库和OLAP概念及体系结构的分析,描述了一种OLAP应用系统的设计方案,并介绍了它的具体实现方法。基于数据仓库的查询,一般都是及时特定查询,要在严格的响应时间内执行复杂的查询,遍历百万上亿的记录,同时进行可能很复杂的搜索、连接和汇总的操作。查询的数据吞吐量和响应时间是判断数据仓库性能的重点。CUBE的计算是OLAP及时查询的基础,提高查询的速度需要对OLAP进行预先的计算。文中系统比较了一些计算立方体的算法,并运用到具体的系统当中。     

一种并行处理多维连接和聚集操作的有效方法

随着并行计算算法的完善和廉价、功能强大的多处理机系统的成熟,使得采用多处理机系统来并行处理多维数据仓库的连接和聚集操作成为当前有效提高OLAP查询处理性能的首选技术．为此,提出一种降低连接和聚集操作开销的并行算法PJAMDDC(parallel join and aggregation for multi-dimensional data cube)．算法充分考虑了多维数据立方体的存储机制和多处理机分布系统的结构特点,在原有聚集计算多维数据立方体的搜索点阵逻辑结构的基础上,采用多维数据仓库的层次联合代理(hierarchy combined surrogate)和对立方体的搜索点阵进行加权的方法,使得立方体数据在多个处理机间的分配达到最佳的状态,从而在分割多维数据的同时,提高了并行处理多维连接和聚集操作的效率．算法实验评估表明,PJAMDDC算法并行处理多维数据仓库的连接和聚集操作是有效的．     

一种基于维层次编码的OLAP聚集查询算法

联机分析处理(OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询,在其SQL语句中通常包含多表连接和分组聚集操作,因而减少多表连接和压缩关键字,以及对查询数据进行有效地分组聚集操作,成为ROLAP查询处理的关键问题。提出了一种基于维层次编码的新型预分组聚集算法DHEPGA．DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀,来快速检索出与查询关键字相匹配的维层次编码,求得维层次属性的查询范围,减少了I／O开销,提高了OLAP查询效率。理论分析和实验结果表明,DHEPGA算法性能是非常有效的。     

分布式聚集函数支持的内存OLAP并行查询处理技术

根据OLAP查询的特点和内存数据库的性能特征提出了由多个内存数据库组成的并行OLAP查询处理系统,将OLAP应用中的多维聚集查询分布到各个计算节点并行进行聚集计算,并将聚集计算的结果进行合并输出.与其他并行处理方法相比,该算法充分利用OLAP DB结构中维表远小于事实表的特性,根据数据库中事实表的数据量和节点的数据处理能力进行水平数据库分片,并根据聚集函数的可分布计算特性提高查询处理的并行度,延迟并行查询处理中的合并过程,充分利用节点的并行处理能力,减少并行查询处理过程中的数据通信量,提高系统并行查询处理性能.该算法易于实现,具有较好的可扩展性和性能,适用于企业级海量数据处理领域的需求.     

基于数据仓库技术的银行个人征信系统研究和设计

数据仓库和OLAP是决策支持系统的重要组成部分,它们能够帮助决策者有效的分析和理解问题.本文通过对数据仓库和OLAP概念及体系结构的分析,结合具体的需求,给出了银行个人征信系统的结构设计和实现过程,并对设计过程中用到的技术特点进行分析.     

基于“C藤”Pair Copula的高维OLAP查询建模方法研究

信息爆炸造成的数据仓库维度的急剧增加,大大影响了OLAP查询模型的精度和效率.首次将数理统计学中的“C藤”Pair Copula引入到OLAP查询建模的研究中,有效地解决了高维OLAP查询建模时的“维数灾难”问题,并设计了针对该模型的参数估计方法以提取数据概要知识.实验分析表明与传统方法相比,基于Pair Copula方法的模型可以在保证OLAP的查询精度的基础上减少数据立方体的存储空间,并且在高维数据环境下具有更高的查询效率.     

动态更新实物化视图以提高OLAP查询效率

在数据仓库系统中,OLAP查询一般都涉及多表连接和分组聚集两部分操作,提高这些查询的性能成为提高OLAP响应速度的关键。利用实物化视图,可以准确地计算并保存表连接或聚集等耗时较多的操作的结果。研究基于查询频率的实物化视图的更新算法,可以使实物化视图得到最大效率的使用,明显地缩短查询的响应时间,从而提高OLAP的查询效率。     

一种基于实时语义维层次链的OLAP查询算法

目前,P2P环境下的OLAP查询策略都是基于从客户端获取查询结果集,如DSCD算法和DQDC算法等主要是研究怎样快速地从客户端获取查询结果集,由于客户端的Data Cube的实时数据更新效率低,易导致查询结果失真,从而影响OLAP的查询效率。为了提高P2P网络中OLAP的实时查询效率,提出了一种RTOS（Real-time Semantic OLAP Search,实时语义的OLAP查询）算法,并结合查询速度和失真率两方面的实验证明,该算法能有效地提高P2P环境下OLAP的决策分析性能。     

基于数据仓库技术的银行个人征信系统研究和设计

数据仓库和OLAP是决策支持系统的重要组成部分,它们能够帮助决策者有效的分析和理解问题。本文通过对数据仓库和OLAP概念及体系结构的分析,结合具体的需求,给出了银行个人征信系统的结构设计和实现过程,并对设计过程中用到的技术特点进行分析。     

空间区域聚集查询方法研究

为了提高空间数据仓库中区域聚集查询的响应性能,通过使用R_tree对空间维进行分层后,采用物化视图存储空间对象及R_tree中间结点的聚集信息,能够有效地支持空间维和非空间维上的区域聚集查询。     

具有主从服务器的联机分析处理系统的研究

为了本质性地提高OLAP系统的查询性能和可靠性,提出了主从OLAP服务器并行工作的联机分析处理系统。文中详细地介绍了系统的结构原理、设计要点及测试结果。     

数据仓库技术在高校招生工作中的应用研究

以四川交通职业技术学院为例,讨论如何建立数据仓库,通过SQL Server Integration Service将招生数据经过清洗、转换加载到数据仓库,建立以招生为主题的多维数据集,使用OLAP工具对招生数据进行分析,使用Excel将分析结果展现给决策者。     

种基于OLAP的Cube存储结构

Cube计算对OLAP有着极其重要的作用。本文根据数据仓库模式的前端用户接口之一OLAP,设计了一个多维的超压缩立方体结构HierarchicalCompressCube(CHCube)HH,并详细讨论了它的创建、增量更新及快速查询算法。在创建CHCube结构时,充分利用了元数据信息,因而在OLAP查询及更新等操作上具有很好的时空有效性。在实际的OLAP应用系统中,使得对多维数据的描述更加灵活,对多维数据的操作更加高效。     

稠密向量实体检索模型的二值化提速压缩

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息：一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign),二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法.     

基于双层数据仓库的MIS设计研究

文章提出了在MIS设计中构建双层数据仓库的思想,数据仓库的第一层面向即时OLAP,数据仓库的第二层面向长期趋势的OLAP,并给出一个实例说明这种思想的有效性。     

基于双层数据仓库的MIS设计研究

文章提出了在MIS设计中构建双层数据仓库的思想,数据仓库的第一层面向即时OLAP,数据仓库的第二层面向长期趋势的OLAP,并给出一个实例说明这种思想的有效性。     

使用Delphi模拟多维数据分析的一种设计

文章提出了在关系数据表中模拟多维数据分析的一种方法，利用Delphi的决策支持组件Decision Cube来进行，并举例说明了如何使用这组控件进行多维数据分析。     

基于OLAP的网络广告投放分析系统的设计与实现*

随着Internet的普及,网络广告以其独特的优势成为企业参与市场经济竞争的重要手段。如何分析广告的市场与受众,从而有针对性地投放广告,是现代企业信息化管理的必然选择。以OLAP体系结构为基础,设计并实现了一个网络广告投放分析系统,详细介绍了其设计思想和体系结构,并对系统的各部分功能进行了分析,还就一些具体的实际问题提出了解决方案。     

一种基于概念集的信息检索模型

提出了一种面向专业领域的概念集模型,该模型相比其他语义信息检索模型,使用更为简单实用的语义构建方法,对用户提供的检索关键词在其相应的专业领域进行了更为丰富的语义描述。在此研究成果的基础上,对面向专业领域的概念集模型和信息检索模型进行了集成,提出了一种基于领域概念集的信息检索模型,通过实验验证该模型的有效性。