内嵌式数据挖掘系统实现方法的研究

提出构建数据仓库的一个新技术——内嵌式数据挖掘系统,给出了内嵌式数据挖掘系统的实现方法及其关键技术,使用决策树算法对内嵌式数据挖掘系统进行设计。所提出的内嵌式数据挖掘系统将成为功能完备的数据仓库中一项重要的指标。     

内嵌式数据挖掘系统及其实现方法

首先剖析数据挖掘系统与数据库及数据仓库之间的关系,然后提出了内嵌式数据挖掘系统的思想、实现方法及其关键技术,描述了使用决策树算法对内嵌式数据挖掘系统的实现方法,并展望了内嵌式数据挖掘系统的未来.     

基于Web的数据挖掘算法与数据仓库的接口设计

提出了一种基于Web的数据挖掘系统中数据挖掘算法与数据仓库的接口设计方案，解决了算法与数据仓库的接口问题，实现用户通过Web浏览器动态调用算法，算法在Web环境下对数据仓库数据进行挖掘，发现有用的知识。该接口方案的通用性增强了数据挖掘系统的扩展性，有利于系统快速添加更多的新算法，以满足各种挖掘需求。     

一种基于税务系统数据仓库的模糊数据挖掘算法的研究

文章简要的叙述了数据仓库的概念、数据仓库结构、数据挖掘的定义和方法,并提出了一般的基于数据仓库的数据挖掘系统的结构。并针对税务系统的数据仓库提出了一种模糊数据挖掘算法。     

基于数据仓库与数据挖掘技术的决策支持系统

本文提出了一种基于数据仓库的数据挖掘系统的决策支持系统的框架。该系统把数据仓库、数据挖掘工具和知识库结合在一起,提高了数据挖掘的效率。     

基于数据仓库的数据挖掘研究

结合当前数据仓库和数据挖掘的发展，本文探讨了数据仓库和数据挖掘结合的必然性；提出了基于数据仓库的数据挖掘的体系结构；综述了基于数据仓库的数据挖掘的主要特征和典型应用。     

基于数据仓库的保险管理系统的设计与实现

为了充分利用保险企业的统计数据，指导公司的业务发展和决策支持，该文提出了一种基于数据仓库、在线分析处理及数据挖掘的保险企业管理系统解决方案。并从实际需求出发，分析了数据仓库的特征和体系结构模型，归纳并设计了保险企业数据仓库的基本结构框架，创建了一个面向保险业务分析管理的数据仓库系统，并对其具体的实现方法进行了阐述。该系统支持联机分析处理，并将数据挖掘应用于数据仓库的知识发现中，真正意义上运用了数据仓库理论和方法。     

数据仓库和数据挖掘技术在ERP中的应用

数据仓库和数据挖掘是近几年迅速发展起来的技术,主要用于构建企业的决策支持系统。文章根据数据仓库和数据挖掘技术的这个特点,并针对传统ERP系统在决策方面的不足,提出把数据仓库和数据挖掘应用到ERP中去,以数据仓库作为企业底层的数据源,再配合以各种数据挖掘技术,以提高ERP中的决策支持功能。     

数据仓库和数据挖掘技术在ERP中的应用

数据仓库和数据挖掘是近几年迅速发展起来的技术,主要用于构建企业的决策支持系统。文章根据数据仓库和数据挖掘技术的这个特点,并针对传统ERP系统在决策方面的不足,提出把数据仓库和数据挖掘应用到ERP中去,以数据仓库作为企业底层的数据源,再配合以各种数据挖掘技术,结合ERP的管理思想,发挥数据仓库与数据挖掘技术在决策支持方面的长处。在此基础上,探讨了基于数据仓库的采购管理系统(DWBPMS)的实现,以提高ERP中的决策支持功能。     

财务数据仓库和数据挖掘技术应用简介

本文以研究数据仓库和数据挖掘技术为基础,通过对财务数据仓库与数据挖掘技术特点的分析,提出了企业财务数据仓库,综合利用现有业务信息,提供了决策系统支持框架。通过数据仓库技术进行数据的集成,运用数据挖掘技术实现信息价值的提升,使得企业财务管理得到深度应用。     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.     

论工商行业数据中心建设中数据抽取的技术实现方式

工商行业的基础数据来源情况复杂,主要包括总局的数据和各省级局的数据.其中各省级局由于建设发展情况的差异,所采用的数据库、数据结构、数据标准等各不相同,因此,工商总局建设数据中心时,必须根据各地的实际情况,采用合适的技术实现方式,对当地数据进行数据抽取,清洗转换整合后,装载到总局数据中心里.本文就实际数据抽取所涉及的技术实现方式加以简要介绍.     

重要信息系统数据销毁／恢复技术及其安全措施研究

本文讲述了数据销毁、数据恢复的概念和技术,并就涉密数据销毁、涉密数据恢复以及数据安全措施进行了研究探讨。     

基于MapReduce的数据立方体分区优化算法研究

文章利用并行计算框架MapReduce,探索数据立方体的计算问题。数据立方体的计算存在两个关键问题,一个是计算时间的问题,另一个是立方体的体积问题。随着维度的增加,计算时间将呈现指数级的增长,立方体的体积也是如此。尽管MapReduce是一个优秀的并行计算框架,但在处理数据倾斜时,分区算法不够完善,导致一些计算任务时间过长,影响整个作业的完成时间。本文通过数据采样的方式,优化数据分区,实验结果表明,数据立方体的计算的性能明显提升。为解决数据立方体体积过大的问题,在Reduce阶段将最终的结果输出到基于NoSQL的HBase数据库进行存储,HBase方便水平扩展,同时也便于日后对数据立方体的查询。