数据仓库中多重粒度划分的层次编码解决方案

数据仓库在决策支持系统(DSS)中起着核心作用,而要创建一个好的数据仓库,如何划分数据粒度是要解决的一个重要问题.通过数据粒度划分方法的分析,结合实例给出了一种划分多重粒度级别的层次编码解决方案,该方法具有安全高效、可基于概念层次对数据进行分析、编码易扩充、编码数据准确规范等优点.最后给出利用层次编码方案解决不同粒度级别数据查询统计的基本思路和方法,结合项目实践证明该方案确实可行,是解决多重粒度级别的好方法.     

数据仓库中多重粒度划分的层次编码解决方案

数据仓库在决策支持系统（DSS）中起着核心作用,而要创建一个好的数据仓库,如何划分数据粒度是要解决的一个重要问题。通过数据粒度划分方法的分析,结合实例给出了一种划分多重粒度级别的层次编码解决方案,该方法具有安全高效、可基于概念层次对数据进行分析、编码易扩充、编码数据准确规范等优点。最后给出利用层次编码方案解决不同粒度级别数据查询统计的基本思路和方法,结合项目实践证明该方案确实可行,是解决多重粒度级别的好方法。     

数据仓库粒度的估算

近些年由于大数据的出现,传统的数据库技术在某种程度上难以承担对大数据的查询和储存的需求,人们对数据的查询和存储技术提出了更新和更高的标准.由此在数据库技术的基础之上出现了数据仓库,当人们设计数据仓库时,粒度级别的确定是数据查询和储存的重要因素.目前对粒度级别的确定主要采用的是估算算法,对粒度的估算具有一定的模糊性,在查阅了某些粒度的估算算法和文献之后提出了一种以MMTD算法为主算法的粒度级别估算算法.提出的算法思想是:对粒度的最大行数和最小行数进行初步的估算,将实际行数与估算的最大行数与最小行数进行比较,来确定实际的粒度级别,是高粒度还是低粒度[1].     

石油钻井信息系统中多维分析的设计

近年来,石油资源开发的技术难度、投资额度和风险程度日益增高.如何正确地处理和有效使用石油钻井数据,快速生成针对不同石油钻井分析需求主题的信息,已经成为棘手的问题.结合川东钻探公司的实际情况,提出了基于关系数据库的数据仓库和多维分析模型.模型以石油钻井分析需求为导向,从数据仓库的结构、数据组织及多维分析的基本概念和分析动作等方面着手,创建了适用于川东钻探公司的石油钻井生产信息多维分析系统,实现了正确地处理和有效地使用历史数据,快速地生成了针对不同石油钻井需求主题的信息,为用户提供多角度、快速、直观的视图及预测,为企业经营者及时发现生产中的问题,调整组织新的生产措施,提供了辅助决策依据.     

基于时间维层次查询频率的数据仓库粒度模型

数据仓库中的事实数据一般以最小粒度存储。而大量的细粒度数据具有很大的随机性,很少直接进行分析和处理,往往被聚集到一定层次的粗粒度数据。另一方面若采用ROLAP存储数据,则大量的细粒度数据将会影响查询的效率。本文介绍了一种基于时间维层次查询频率的粒度调整模型,它能根据用户在时间维层次的查询频率实现对数据粒度的调整。     

数据仓库中的数据粒度确定原则

在设计数据仓库逻辑模型过程中,数据粒度的设计好坏对数据仓库的性能、功能有很大影响.本文结合实际的数据仓库建设,讨论数据粒度的设计原则.     

数据仓库的动态粒度锁管理机制

通过分析数据仓库体系结构中并发控制导致的数据的不一致性,提出了解决并发控制的动态加锁粒度的两段锁协议。     

数据仓库中数据粒度的划分

为了提高银行数据仓库的性能,合理地确定数据仓库中数据单元的详细程度和级别,给出了一种银行数据仓库中数据粒度划分的方法.分析了数据仓库中的粒度模型,介绍了数据粒度划分的策略,在此基础上提出了一种估计数据仓库大小的方法,进而在明确数据粒度划分原则的基础上,提出了一种银行环境中数据粒度的划分.该划分方法有效的解决了银行数据仓库开发者面临的一个最重要的设计问题,使其设计和实现中的其余方面得以非常顺畅地进行.     

基于多重阈值的变精度多粒度粗糙集模型

传统变精度多粒度粗糙集模型是基于单一变精度阈值的,而多粒度粗糙集模型是从多角度和多层次处理数据,数据往往是多源的或者是分布式的,其噪音数据的含量也各不相同。因此,不同知识粒度层次所应具有的变精度阈值也不相同,这使得现有的模型难以适应多粒度环境。为克服上述缺点,提出了基于多重阈值的变精度多粒度粗糙集模型,该模型使得不同知识粒度层次的变精度阈值可独立调整,更符合多粒度粗糙集模型的数据特征。该模型更好地结合了多粒度粗糙集模型和变精度粗糙集模型,可从多角度分析解决问题又兼具更灵活的容错能力。     

数据仓库设计中低粒度数据的分割策略研究

数据仓库中存在着巨大容量的低粒度数据，其存储策略的好坏直接影响到联机分析处理和数据挖掘的性能及效率。该文分析了数据仓库系统中数据分割的一般原则，详细论述了静态数据分割的各种策略，并对结构和内容两个方面的变化所引起的动态数据分割策略进行了详细研究，提出了基于属性相容和属性语义等价的动态数据分割技术。     

RFID数据仓库上的多时空粒度近似聚集查询

随着物联网的发展,以RFID为代表的物联网传感器数据的存储、查询、处理等课题正成为研究的热点。结合数据仓库时空维度和列存储的思想,建立了一种列式RFID数据仓库,并根据RFID的时空特性,设计了一种支持连续聚集查询的多时空粒度数据结构和快速更新算法。它去除了传统聚集查询的部分冗余操作,适合处理大规模RFID数据仓库上的连续实时聚集查询。通过实验证明,该模型与算法在一些典型的物联网应用中取得了较高的效率,可广泛地适用于海量RFID数据仓库上的OLAP分析。     

舰艇装备维修信息数据仓库的建立与数据挖掘

在舰船装备维修过程中积累了大量的以各种形式存放的维修信息,利用数据仓库技术和数据挖掘技术,完成了对这些维修信息的综合利用,对各维修保障部门在维修计划制定、器材采购、视情维修等方面具有重要指导意义。     

面向钻井工程的数据仓库解决方案研究

随着钻井工程信息数据的海量增加,各级部门都建立了钻井数据库。由于各个部门和系统在业务与数据关联上缺少总体规划和设计协调,这些数据库从某种程度上形成了一个个的“信息孤岛”,所以迫切需要一种集数据集成、管理、分析、辅助决策为一体的数据仓库解决方案,为数据的共享和综合性研究应用提供支持。文章通过对钻井工程数据的分析和信息技术的调研,提出了面向钻井工程的数据仓库解决方案,即一种基于本体论的钻井数据集成方法,在一定程度上解决了钻井数据多源异构的问题。钻井数据仓库的研究和开发,为不同层次和部门的工程管理及技术人员的决策分析提供了强大的数据库支撑,为实现信息化、科学化决策打下了基础。     

数据仓库中元数据管理模型的研究

元数据管理是数据仓库的关键技术之一 ,是数据仓库中实现信息共享的主要解决途径之一。论述了数据仓库中元数据的定义、重要性、内容、管理模型及其解决方案和应用等 ,为数据仓库的元数据管理提供了可行有效的示范系统     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

医院数据仓库数据模型设计

数据模型设计是数据仓库建设的核心,提出一种医院数据仓库数据模型的设计方法。以某一三甲医院的HIS数据为背景,采用数据驱动的手段,结合医院的需求,提出了医院数据仓库的三层数据模型,概念模型、逻辑模型、物理模型,并完整地给出了每个模型的具体的设计和主要内容。设计并实现了医院数据仓库的数据模型,并结合医院具体的数据给出了相应的实例。此医院数据仓库的三层数据模型易于理解和实现,为医院数据仓库设计最终完成提供了基础。     

基于数据仓库模型电子政务的研究

随着信息技术的发展,电子政务成为热门课题,数据仓库是其中一项重要技术.本文着重研究了基于数据仓库模型的电子政务.     

干部管理领域数据仓库模型设计

在基于数据仓库的决策支持系统的开发过程中,数据仓库模型是整个系统实现的基础。良好的数据仓库模型可以提高系统开发的成功率和数据仓库中的数据质量。因此,在把数据仓库技术引入到干部管理领域后,一项重要的任务就是要建立适合于干部管理领域的数据仓库模型。文中针对干部管理领域数据的特点,提出了一种干部管理领域数据仓库模型的设计方案。     

数据仓库参考模型研究

在数据仓库的建立过程中,因为时间和资金上的限制,很多时候,概念模型并没有详细的去做好,这可能会为系统的后续开发带来很多的问题,参考模型可以很好的解决这个问题。对现有数据仓库参考模型进行了分析,指出基于数据的数据仓库参考模型和基于目标的数据仓库参考模型有着各自的不足,提出了一个基于用户需求的数据仓库参考模型,该模型以用户需求为基础,以企业的业务流程为指导,使得数据仓库建立后有更好的适应性和稳定性。然后以此模型为指导,建立了一个进销存系统,从而验证本模型的有效性。     

军械装备保障数据仓库中的ETL过程优化研究

针对军械装备保障数据仓库中复杂的ETL过程,提出采用改进的粒子群算法进行ETL任务调度的优化策略;通过改进惯性向量,使其具备动态调整能力,形成更具寻优特性的动态w粒子群算法(DWPSO);在对数据仓库ETL调度过程进行数学化描述的基础上,将改进算法应用在以最小执行时间为目标函数任务调度中,并通过仿真实验证明了该算法的有效性.