一种基于XML映射规则的数据迁移方法设计和实现

数据迁移可以看作是实现从源数据库表到目的数据库表的映射。研究了数据迁移的形式化过程,详细讨论了该过程中存在的几类重要映射,提出了基于XML的通用映射规则表示方法。在此基础上,介绍了通过分析数据库表对象创建脚本自动生成XML形式映射规则框架的方法,并讨论了实际的数据迁移过程。     

数据映射技术在ETL过程中的应用

为了使ETL系统能够高效的实现任意异构数据库之间的数据转换,需要通用的元模型支撑任意数据库之间数据转换元数据的定制。通过对数据转换中数据映射应用技术分析,重点对数据映射进行了抽象研究,定义数据映射的详细分类、基于数据映射关系的数据转换元数据描述形式,并构建支撑数据转换元数据定制的元模型,技术在中国石油数据中心大型数据迁移中应用,取得良好效果。     

基于图像映射的关联规则数据挖掘方法

针对大多数关联规则数据挖掘算法难以适应支持度或数据集的变化问题,提出一种基于图像映射的关联规则数据挖掘算法Pix-DM。该算法利用图像在操作系统中的显示及存储特点,结合数据挖掘理论,通过映射有效地将数据挖掘过程在线性空间中实现,提高了算法对支持度或数据集变化的适应能力。实验证明,Pix-DM算法是有效且可行的。     

一种面向大规模存储系统的数据副本映射算法

提出一种适应动态环境、无需数据映射表的多副本数据对象映射算法.该算法引入节点权重,借鉴一致性Hash技术,使得海量的数据对象按照节点服务能力在各存储节点间均匀分布;当存储节点个数发生变化时,数据依然在节点间均匀分布,且数据迁移量接近理论下限;只需维护少量数据即可计算得到数据布局,从而有效提高了系统的可扩展性.测试结果表明,算法可使所有节点分配对象个数与理论值偏差小于5%,节点个数变化时移动数据数量与理论下限偏差小于1%.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

基于逻辑数据模型的异构数据交换规则研究

文章在研究与分析异构数据对应规则和异构数据转换规则的基础上，提出了建立在XML和面向对象数据库逻辑数据模型之上的异构数据交换规则。     

虚拟数据中心的数据映射与数据路由策略研究

数据中心基础数据积累通常使用三种手段:1)ETL技术;2)数据联邦技术;3)中间件技术.但三种技术侧重各有不同,不能同时满足数据集成的持久性与可用性.结合技术优势提出数据虚拟整合,为解决数据虚拟异构数据模型间的数据转换问题,通过对数据虚拟的分析,提出了一种基于元数据驱动的数据虚拟系统体系结构.构建了用于描述和存储映射策略的支撑元模型,并建立了相应数据路由策略.提出了对等主键思想,降低了处理阻抗.     

混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

数据挖掘及其一种关联规则算法

文章主要论述了数据挖掘的概念、过程及应用前景,此外还重点介绍了数据挖掘中常用的一种算法-关联规则算法.     

企业级信息系统数据迁移方法

数据是业务运转的基础,这些数据都是关乎着企业命脉的宝贵资产。随着业务不断发展,数据量的增长是十分惊人的,在庞大的数据量背后,企业面临的数据管理问题主要涉及存储空间不足、数据安全等几个方面。本文从企业级数据管理的角度,阐述企业级数据迁移中遇到的问题、数据迁移方法论、以及技术方案的特点比较等。     

关联规则算法在教育信息数据挖掘中的应用

简要介绍数据挖掘中的关联规则算法,并将之运用到学生成绩的数据挖掘中,挖掘高数成绩与高考成绩之间的潜在关系。提出学生大学期间的高数成绩和高考成绩并没有直接的关系,大学生活是一个全新的里程碑,不要因为自己的高考成绩而妄自菲薄。