面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

一种MySQL到HBase的迁移策略的研究与实现

随着Web2.0的到来,互联网数据快速增长。大规模数据的采集和处理及应用直接影响着用户体验,决定着企业的发展。比较传统关系型数据库和分布式非关系型数据库两者处理大数据的性能,将本地数据迁移到分布式数据库势在必行。文章分析了现有迁移工具的利弊,基于HBase数据库提出了一种有效的数据迁移策略,并依据提出的策略实现了一种半自动化迁移工具。以美国城市和方言系统CityDetail数据库数据为例,阐述了该迁移工具的工作原理并对迁移后的数据进行多次查询比较,证明了使用该工具进行数据迁移的高效性。     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

基于Hadoop的数据共享模型研究

云计算技术基于这样一种思想——将大量计算资源组织起来进行统一调度,形成一个计算资源池,向用户提供按需计算的服务。数据共享技术可以在集成各种资源时,在系统各组成部分间共享数据,提高系统的协作能力。该文研究了数据共享的关键技术,并深入分析当前主要的数据共享模型,和HBase数据共享模型。     

基于Hadoop的数据云存储研究与应用

随着教学平台数据的爆炸式增长,传统的教学平台在海量信息处理方面带来了较大的压力,对数据的存储、检索等关键技术提出了更高要求.在研究分析云计算领域的基础上,提出了利用Hadoop云计算框架解决教学平台中海量数据存储、检索的问题,优化了平台的数据存储和检索功能,并对平台做了系统的测试和验证.     

基于Hadoop平台的校本数据中心建设研究

本文通过搭建Hadoop平台搭建校本数据中心,并将数据集中存储在HBase数据库中。基于Hadoop的校本数据中心,提供了强大的数据统一存储和计算力,将校本数据进行了整合及标准化,形成数据中心的标准库和主题库,为广大师生提供数据查询、数据分析等各种数据服务。校本数据中心能够实现内信息化精益化运营分析,支持实时统计分析的管理辅助决策、基于大数据的数据分析决策以及科研数据辅助决策等;可满足高校的数据利用、教学质量管理、科研管理及绩效管理等需求。     

基于Hadoop的数据共享模型研究

云计算技术基于这样一种思想——将大量计算资源组织起来进行统一调度,形成一个计算资源池,向用户提供按需计算的服务。数据共享技术可以在集成各种资源时,在系统各组成部分间共享数据,提高系统的协作能力。该文研究了数据共享的关键技术,并深入分析当前主要的数据共享模型,和HBase数据共享模型。     

异构数据库间数据迁移的实现方法

本文提出了不同数据库间数据迁移的几种解决方法：数据库厂商的专门工具，利用数据管道工具的动态sql语句的解决方法，并对后两种迁移方法给出了具体的实现方法。     

如何用VC实现COBOL系统的数据到SQL Server的迁移

本文介绍了如何用VC解决从COBOL系统下的数据向关系型数据库迁移的方法及具体实现。     

基于Hadoop平台的用户行为挖掘

随着互联网发展带来的数据爆炸,使得 Web日志的数据量也越来越大,如何从海量的 Web 日志中挖掘有价值的信息成为了目前研究的热点。本文提出基于 Hadoop 集群框架对 Web 日志进行挖掘。实验结果表明,该集群系统既可以处理海量的 web 日志,同时也能够挖掘出有价值的信息,并证实了利用sqoop在 Hive仓库和传统数据库之间数据迁移的可行性。     

Oracle数据库跨平台数据迁移研究

从数据迁移的实际需求出发,比较Oracle数据库三种标准备份方法的优缺点,分析Oracle导出文件的结构,给出Oracle数据库从Windows平台到UNIX平台数据迁移的实现方法。     

大数据环境下的数据迁移技术研究

数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。     

远程数据库迁移技术研究

数据库迁移技术起源于分布式数据库, 在高带宽的网络环境下,该技术可大幅度减少分布式数据库的事务处理时间,提高系统的查询性能,增强系统的容灾能力。讨论数据库迁移系统实现中的一些关键技术。     

Java EE企业级应用向Hadoop平台迁移的技术研究

对典型的JavaEE企业级应用架构和Hadoop平台功能进行分析,介绍将JavaEE企业级应用迁移到Hadoop平台的相关技术,并通过分析比较提出相应的应用迁移策略。     

基于Hadoop集群的海量数据处理系统

近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.     

异构数据库数据迁移的研究与实现

数据是业务运转的基础．是企业的宝贵资产。企业在系统升级过程中往往会遇到数据迁移问题,由于新系统与旧系统经常存在数据结构异构的情况．使数据迁移工作难以实现。开发一款异构数据库数据迁移工具,该工具通过框架程序在ODBC（Open Database Connectivity）开发平台以及XML技术的支持下实现数据结构异构的数据库数据迁移。     

基于Hadoop的微博信息挖掘

论文设计了基于Hadoop的微博信息挖掘系统。该系统针对单一节点在分析微博海量数据的性能瓶颈问题,利用分布式和虚拟化技术的优势,将微博信息获取和相关数据分析进行有机整合,实现了一个基于Hadoop的微博信息挖掘平台。为验证该平台运行的有效性,论文采用获取热点话题做实验,展示了系统对微博信息的挖掘结果。实验结果表明,该系统能有效获取微博相关信息,高效的处理海量微博数据,得到有价值的数据信息。     

烟草企业基于Hadoop的数据处理研究

Hadoop是一个开源分布式计算平台。具有高容错性,高伸缩性等优点,允许用户将Hadoop部署在低廉的PC上,充分利用集群的计算和存储能力,完成海量数据的处理。结合国内烟草企业面对不断剧增的业务数据,而现有的业务数据处理能力明显不足的现状,分析烟草企业构建Hadoop分布式数据处理平台的可行性,并详细介绍了Hadoop平台技术及其项目结构和体系结构。