基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

如何用VC实现COBOL系统的数据到SQL Server的迁移

本文介绍了如何用VC解决从COBOL系统下的数据向关系型数据库迁移的方法及具体实现。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

基于HBase的细粒度访问控制方法研究

为增强HBase的安全访问控制能力,提出一种针对HBase的细粒度访问控制方法。该方法通过修改优化HBase源码,扩展访问控制权限、重写访问控制器达到细粒度访问控制的目的。归纳出应用于HBase的RBAC模型,内建数据库角色以解决权限扩展后细粒度权限管理难度增大的问题。通过设计实验测试用例,验证了提出的细粒度访问控制方法能更全面地保护HBase数据,解决了原有方法带来的权限过粗的问题,降低了数据可能被恶意地执行修改、删除等操作所带来的巨大安全风险。     

一种基于HBase的高效空间关键字查询策略

随着移动定位技术的发展以及智能手机的普及,互联网中空间文本对象的数量正在急速增长,如何在规模庞大且动态增长的空间文本对象中进行高效的空间关键字查询成为了许多空间关键字查询应用所关心的问题.现有的方法通常利用基于R树和倒排索引的混合索引结构来处理空间关键字查询,然而,面对数量巨大而且不断增长的空间文本对象,这些方法往往难以为空间关键字查询的高效性和扩展性提供支持.对此,提出一种基于HBase的空间文本数据索引结构SK-HBase.SK-HBase以HBase作为数据存储,通过有效的数据分配策略对空间文本对象的空间信息和文本信息同时进行索引.在SK-HBase的基础上,本文提出了两种空间关键字查询算法,以保证不同空间范围下的空间关键字查询的高效性和可扩展性.实验证明,我们的方法能够在海量数据下进行高效的空间关键字查询并具有良好的可扩展性.     

关系数据库通用查询系统的一种实现方法

解决通用查询的关键在于如何解决与查询内容和查询条件的无关性，以使得应用程序不再依赖于具体的数据库结构，本文基于交互工具设计原理，介绍了一种通用查询系统的设计思想及实现方法，给出了通用查询系统应具备的主要特征，以及构造通用查询系统时应解决的有关技术问题。     

基于SQL的HBase查询的设计与实现

在互联网和大数据时代下,SQL关系型数据库已不能适应与日俱增的数据量,HBase等NoSQL数据库变得极为重要。但HBase数据库操作较为复杂,本文设计并实现基于SQL的HBase查询,可以使HBase的使用者通过熟悉的SQL查询语句操作HBase数据库。首先构建SQL语言的编译器,将SQL语句转化成语法树,再将语法树转化为HBase的相关操作。使用协处理器处理SQL查询语句中的聚合函数和复杂表达式,并可以使用连接查询。     

一种基于HBase的本体复用新方法

基于HBase的本体复用方法,是通过统计概念间关系在不同本体出现的频度来产生其可信度,最后形成带有统计信息和领域信息的大型概念空间.利用当前流行的开源云存储技术HBase表来存储具有海量信息的此概念空间,实现高效的检索功能,最终实现本体的复用.此方法规避了繁琐的异构本体映射过程,具有较好的适用性.并且所融合的本体量越多,可信度越高,并且这种方法自动化程度高,不需要反复的人工参与,所以实用性比较强.     

一种数据库迁移和日志传送方案的实现

服务器性能不佳,会影响SQL Server数据库的运行效率。当服务器崩溃时,数据库里的大量数据如何恢复?用SQL Server 2000标准版支持的日志传输功能,可以实现一种切实可行的数据库服务器迁移和日志传送方案。     

基于HBase的列存储压缩策略的选择优化

大数据时代背景下,列存储数据库使用场景愈加增多,推动了列存储相关领域的研究进展。为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大,分类粒度小,配套分类算法缺陷导致的学习成本高,压缩效率难以保证的问题,本文提出了一种基于排序的列区混合压缩策略,首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较,实验结果显示本文方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了本文方法的有效性。     

使用PHP和MySQL进行Web开发

介绍了PHP和MySQL的基本知识和优点。描述了PHP访问MySQL数据库的几个函数，并通过编写一个典型的用户登录程序来阐述其访问过程。     

使用PHP和MySQL进行Web开发

介绍了PHP和MySQL的基本知识和优点。描述了PHP访问MySQL数据库的几个函数,并通过编写一个典型的用户登录程序来阐述其访问过程。     

基于MySQL的计划表自动生成方法研究

MySql是一种快速的、功能强大的、价格低廉的网络数据库.针对在计划表生成过程中遇到的效率低、易发生错误的实际问题,在现有的网络办公设备基础上,设计出一组客户程序来实现数据分析、数据上传、项目配置和VBA代码文件自动生成等功能,并描述了其实现过程.经过实践检验,本方法可以有效地解决上述问题,提高工作效率.     

基于PHP及MySQL数据库的行业网站建设研究

在现代化的行业、产业发展中,网站充当了推广、经营的重要帮手。提供阐述行业网站的设计目标,深入分析了网站功能模块的设计,对网站开发工具进行了分析,重点研究了信息发布核心代码和产品推介互动交易管理功能。网站建设技术实用性强,具有较好的参考作用。     

MySQL数据库安全研究

MySQL数据库是当前最流行的关系型数据库系统,被广泛应用到各企业中小型网站中。当前,日益增长的网络攻击已严重威胁到了数据库安全,提高数据库的安全性已成为网络安全建设的最重要任务之一。该文从物理安全、网络安全、主机安全、运行安全等四个方面对MySQL数据库面临的问题进行了详细分析与研究,并针对性地提出了相应解决方案。     

MySQL数据库索引的研究

数据库索引是用于提高数据检索速度的关键数据结构,该文结合常用的数据库索引结构B树,分析索引的原理,并结合外存储的原理,分析大多数数据库使用B＋树作为索引结构的原因,并结合My SQL数据库中Inno DB存储引擎中的索引实现,分析其优缺点。     

基于HBase的海量文件的检索方案研究

在互联网(尤其是移动互联网)、物联网、云计算、大数据等高速发展的大背景下,数据呈现爆炸式地增长。这类数据不规则的特性决定了其无法再按照传统基于属性列的方式进行检索,而是需要具备更加庞大的水平扩展性。使用No SQL数据库HBase和搜索引擎Elastic Search相结合,通过对检索方案进行设计,对关键字匹配、语意检索、逻辑关系等检索策略进行测试和分析,实现能够快速、准确的适用于海量数据的检索方案。