异构数据库数据迁移的研究与实现

数据是业务运转的基础．是企业的宝贵资产。企业在系统升级过程中往往会遇到数据迁移问题,由于新系统与旧系统经常存在数据结构异构的情况．使数据迁移工作难以实现。开发一款异构数据库数据迁移工具,该工具通过框架程序在ODBC（Open Database Connectivity）开发平台以及XML技术的支持下实现数据结构异构的数据库数据迁移。     

基于Agent的协同数据库模型研究与实现

描述一个基于Agent的协同数据库功能模型,并在此基础上分析了协同数据库系统的查询实现和数据格式的表示、对事务处理的并发控制.最后提出几个协同数据库系统设计需要进一步改进的地方.     

异构数据库间数据迁移的实现方法

本文提出了不同数据库间数据迁移的几种解决方法：数据库厂商的专门工具，利用数据管道工具的动态sql语句的解决方法，并对后两种迁移方法给出了具体的实现方法。     

Oracle数据库跨平台数据迁移研究

从数据迁移的实际需求出发,比较Oracle数据库三种标准备份方法的优缺点,分析Oracle导出文件的结构,给出Oracle数据库从Windows平台到UNIX平台数据迁移的实现方法。     

跨平台数据迁移的研究和实现

在新老管理系统更替的过程中跨平台数据迁移是一个非常现实的问题,如何正确、快速地实现数据信息的继承、保证数据完整性是大家正在共同研究的课题。本文探索在Unix平台和NT平台下不同数据库的数据迁移问题,并提供了借助文本文件和不借助文件而直接操作数据库两种方法。     

大型异构数据库数据迁移系统的研究与应用

针对石油勘探开发数据模型改造与升级、行业专业数据库的异构性、数据共享困难等问题,提出利用异构数据库的数据字典,构建数据映射关系描述数据库差异的数据迁移思想。对各种异构模型形成统一的映射分析方法和统一的描述形式,解决了数据模型之间的异构描述及异构转换通用性问题。通过解析数据映射、编译数据文件,实现大型异构数据库的数据迁移和数据回显功能。此系统已经在油田上线运行,取得良好的数据迁移效果,实现了勘探开发数据的统一管理和维护。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于XML的社保数据迁移系统的设计与实现

针对在异构数据库迁移过程中的格式转换问题,探讨了数据迁移系统的设计思想和关键技术;同时根据社保系统的实际需求,在改进原有的方法和流程的基础上,使用XML技术完成数据迁移工作。实际运行结果表明,可以正确、快速地实现社保业务新旧系统的数据迁移,保证数据的完整性。     

基于XML的数据迁移技术研究

针对临盘采油厂的数据迁移的具体需求,该文提出了一种基于XML的数据迁移模型,以实现数据的提取、转换、写入等功能。它采用JAVA和XML技术,具有很好的跨平台、易扩展、复用性等,能很好的解决异构数据库间数据迁移的问题。     

基于SQL-92和JDBC的SpaceOS数据库数据迁移的实现

针对Space操作系统的Postgre SQL数据库能对异构关系数据库进行数据迁移的需求,在SQL-92和JDBC基础上,介绍异构数据迁移时元数据和记录数据处理的主要流程,并设计了以表示层、元数据层、业务逻辑层和数据访问层为结构的数据迁移模块。详细分析了SQL声明前数据类型映射和代理主键值映射这两个关键步骤的算法实现。数据迁移模块在JDK1.6环境下实现。通过对异构数据库与Postgre SQL间进行数据迁移实验,验证了迁移模块是合理而有效的,具有良好的通用性和兼容性。     

面向动力传动协同仿真的数据库系统研究

本文分析研究了动力传动协同仿真数据库系统的现状和发展,并结合当前实际,给出了系统实现的理论框架和体系结构,采用J2EE技术架构,构建了系统的平台原型。     

基于聚类分析分库策略的社交网络数据库查询性能与数据迁移

社交网络数据具有一定的聚合性,即特征上相近的用户之间更容易产生某种行为。依照常规的水平切分方法,在执行这些事件的信息查询时,将会耗费大量的时间和连接损耗去依次访问多个数据库。针对此问题,提出了基于聚类分析的社交网络数据库分库策略。将社交网络主体的特征标量进行聚类,使得聚集程度高的主体尽量分割到一个或尽可能少的几个分库中去,从而提高事件的查询效率,并在此基础上兼顾负载均衡与大数据迁移等问题。实验结果表明,该策略在社交网络的主流事件查询上都表现出不同程度的性能提升,最高提升程度达到23.4%,并且实现了局部最优负载均衡和零数据迁移。总的来说,基于聚类分析的社交网络数据库分库策略在提高查询效率、平衡负载以及大数据迁移可行性上,比传统水平切割分库有了相当的优势。     

外包数据库中数据加密的设计和实现

加密技术是保护外包数据库中数据安全的一种有效方法,但如何对加密数据进行高效查询是一个热点,引起了研究界的重视。针对这个问题,提出了一种基于DBMS内核的加密模式,通过安全字典和SQL语句的扩展,实现数据的加密存储和高效查询。实验证明了该方法的有效性和可行性。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

一种基于XML映射规则的数据迁移方法设计和实现

数据迁移可以看作是实现从源数据库表到目的数据库表的映射。研究了数据迁移的形式化过程,详细讨论了该过程中存在的几类重要映射,提出了基于XML的通用映射规则表示方法。在此基础上,介绍了通过分析数据库表对象创建脚本自动生成XML形式映射规则框架的方法,并讨论了实际的数据迁移过程。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

中医医案数据库的数据基础研究

探讨了中医医案数据库的构建,寻找对医案数据库进行规范化数据处理的可行性方法。针对医案文献数量巨大,收录散杂的问题,提出了对历代医案进行整理,建立数据库的方法。并且,针对词性标注容易引起语义缺失的问题,提出了以语义标注作为医案信息抽取规则的方案。通过研究,表明基于语义标注的医案信息抽取方式有一定的可行性和适用性。     

基于非关系型数据库的水文数据分析方法研究

针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在 TRIP 非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、 时间、文字内容进行分析。对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、 全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源。研究结果表明：在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值。     

Query answering via cooperative data inference

This paper proposes the use of accessible information (data/knowledge) to infer inaccessible data in a distributed database system. Inference rules are extracted from databases by means of knowledge discovery techniques. These rules can derive inaccessible data due to a site failure or network partition in a distributed system. Such query answering requires combining incomplete and partial information from multiple sources. The derived answer may be exact or approximate. Our inference process involves two phases to reason with reconstructed information. One phase involves using local rules to infer inaccessible data. A second phase involves merging information from different sites. We shall call such reasoning processes cooperative data inference. Since the derived answer may be incomplete, new algebraic tools are developed for supporting operations on incomplete information. A weak criterion called toleration is introduced for evaluating the inferred results. The conditions that assure the correctness of combining partial results, known as sound inference paths, are developed. A solution is presented for terminating an iterative reasoning process on derived data from multiple knowledge sources. The proposed approach has been implemented on a cooperative distributed database testbed, CoBase, at UCLA. The experimental results validate the feasibility of this proposed concept and can significantly improve the availability of distributed knowledge base/database systems.List of notation Mapping - --< Logical implication - = Symbolic equality - ==< Inference path - Satisfaction - Toleration - Undefined (does not exist) - Variable-null (may or may not exist) - ^* Subtuple relationship - ^* s-membership - s-containment - Open subtuple - Open s-membership - Open s-containment - _P Open base - P Program - I Interpretation - DIP Data inference program - t Tuples - R Relations - Ø Empty interpretation - Open s-union - Open s-interpretation - Set of mapping from the set of objects to the set of closed objects - W Set of attributes - _W Set of sound inference paths on the set of attributes W - Set of relational schemas in a DB that satisfy MVD - ⁺ Range closure of W wrt      

基于数据挖掘技术的自适应入侵检测系统模型

为了提高数据库系统的安全,将改进的数据预处理算法和改进的Apriori算法应用于数据库入侵检测系统,提出一个基于数据挖掘技术的自适应的数据库入侵检测系统模型.模型中,针对滥用检测规则生成的局限性,提出将改进算法的中间结果运用到滥用检测规则的生成中,不断完善滥用检测规则库,结合滥用检测和异常检测的特点,先进行滥用检测,再进行异常检测,降低漏检率和误警率.检测结果表明,不断更新规则库,能够提高系统的自适应性.