基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

海量数据管理平台MDMP中并行加载与查询技术研究

海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术.     

基于大数据的网络信息异步并行查询方法

针对大数据背景下海量网络信息实时数据查询效率低的问题,提出基于大数据的网络信息异步并行查询方法,并基于此方法处理网络信息数据集群,建立网络信息异步并行查询模型,打造异步并行模式下的新框架,以及分析集群队列界面端异步查询实现流程。实验证明,此方法能够在海量网络信息中完成精准、高效查询。     

并行海量信息处理中间件的研究与实现

数据库中间件技术已成为构建大规模海量信息处理系统的重要途径,本文研究并实现了一个并行海量数据库中间件,实现了海量数据的高性能并行加载和查询,满足TB量级的海量信息处理应用需求。     

不确定数据流上的并行Skyline查询算法

不确定数据流上的Skyline查询技术逐步引起研究者的关注,传统的集中式流处理算法难以满足海量数据的查询需求,并且云计算所提供的海量计算资源和有效的存储管理模式,为研究并行Skyline查询技术提供了充足的条件。基于上述事实,提出了一种不确定数据流上的并行Skyline查询算法(parallel Skyline over uncertain data streams,PSUDS)。该算法通过交叉划分滑动窗口的方式,将集中式流查询转化为并行处理,以并行执行的方式来解决集中式算法处理性能不足的问题。大量实验结果表明,该算法具有较好的并行可扩展性。     

面向海量文本数据的多任务并行调度加载技术研究与实现

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.     

基于代理的并行空间查询语言

目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出一种基于代理的并行空间查询语言,并实现相应的并行数据库平台原型。基于该平台开发标准的网络地图绘图服务,在高并发环境下使用该服务对海量矢量数据进行实时渲染。实验结果表明,该平台具有与传统关系数据库一致的开发应用模式,可提供无缝的衔接方式,在海量数据高并发的情况下具有较高的可用性及查询性能。     

并行数据操作算法和查询优化技术

本文是并行数据库的查询处理并行化技术和物理设计方法”一文的续篇，继续综述并行数据库系统的另外两个重要研究领域：并行数据操作算法和并行数据库查询优化技术．最后，作为并行数据库系统研究与进展情况综述的结尾，本文将探讨并行数据库系统今后的研究方向和问题．     

基于DPR树的分布式并行空间索引机制的研究

针对分布式并行环境下海量空间数据管理与并行化处理的效率问题,以提高分布式并行空间数据的查询效率为目的,根据现有的空间索引结构与并行化技术,提出一种新的分布式并行空间索引结构--DPR树.DPR树是空间索引技术与并行化技术优化结合的成果.DPR树在数据的总体划分与部分查询中所采用的均是基于高效处理技术.它在原有的并行Master-client R树的基础上进行改进,采用了HCSDP数据划分技术,并将其应用到分布式环境下,且每个节点机中各子树采用了改进的R树--R*Q树.通过性能分析表明,该索引结构具有高效的查询性能.     

Postgres数据管理系统查询优化的研究与实现

查询优化是传统和并行数据库管理系统中的重要组成部分。该文通过介绍传统和并行数据库的查询优化技术,对Postges数据库中查询优化模块的工作流程及主要实现算法进行了分析,并对其进一步并行化提出了思考性建议。     

联网审计系统中海量数据的存储与管理策略

分析了联网审计应用系统的特点,提出了一种适用于计算机联网审计系统的海量数据存储与管理策略,并着重对该系统的基本构成、物理设计与逻辑设计进行了描述.针对本系统中所采用的集群并行数据库系统,还提出了计算机联网审计系统中并行事务处理操作的设计原则,并给出了具体的操作案例.     

基于LOD的海量地形数据并行渲染技术

随着地球空间信息技术的发展,建立具有海量空间数据的大规模虚拟地形场景越来越重要. 然而,面对海量的地形数据,如何简化地形,提升绘制与渲染效率,是地形渲染的关键. 本文对LOD地形渲染技术、大规模数据集的分析与处理、并行计算等相关技术进行了研究,提出了基于LOD的海量地形数据并行渲染技术. 该技术首先使用LOD四叉树简化地形,其次结合多核CPU并行计算的方法提升效率,最后结合大规模数据调度策略,实现了海量地形数据的并行渲染,并分析对比了非并行和并行情况下的实验结果. 本文所取得的理论与技术方面的成果可为大规模场景渲染提供新的技术思路.     

面向并行应用程序的DAG模式复用技术

在并行应用程序设计中可以用有向无环图(DAG)表示子任务之间的依赖关系,从而实现子任务的调度。为此,针对DAG数据驱动模型中的DAG模式复用问题,提出插件式DAG模式图库。将DAG模式图模块和运行时系统模块分离,增强模块的复用性和扩展性。在Easy PDP系统中实现并扩展该模式图库。以棋盘问题为例,证明该技术可降低扩展系统所需的代价。     

基于ZigBee技术的电量数据传输系统

通过分析当前电量数据采集和传输的现状,针对设备电量数据采集及其与上位机通信不便的问题,设计了一种基于ZigBee技术的电量数据传输系统,详细介绍了电量采集模块和ZigBee数据传输模块的软硬件设计方法。分析测试表明:该系统符合设计要求,可实现数据的无线传输,能解决布线困难环境下电量的采集和无线传输问题,具有良好的应用前景。     

An efficient data processing framework for mining the massive trajectory of moving objects

Recently, there has been increasing development of positioning technology, which enables us to collect large scale trajectory data for moving objects. Efficient processing and analysis of massive trajectory data has thus become an emerging and challenging task for both researchers and practitioners. Therefore, in this paper, we propose an efficient data processing framework for mining massive trajectory data. This framework includes three modules: (1) a data distribution module, (2) a data transformation module, and (3) a high performance I/O module. Specifically, we first design a two-step consistent hashing algorithm, which takes into account load balancing, data locality, and scalability, for a data distribution module. In the data transformation module, we present a parallel strategy of a linear referencing algorithm with reduced subtask coupling, easy-implemented parallelization, and low communication cost. Moreover, we propose a compression-aware I/O module to improve the processing efficiency. Finally, we conduct a comprehensive performance evaluation on a synthetic dataset (1.114 TB) and a real world taxi GPS dataset (578 GB). The experimental results demonstrate the advantages of our proposed framework.     

基于数据仓库技术设计与实现的科技数据管理系统

数据仓库技术的发展为增强科技数据的管理和共享共用能力提供了新思路,该文提出了一个基于数据仓库型中央数据库体系结构的科技数据管理系统方案,并探讨了各模块的实现以及系统的主要功能。     

智能航运数据处理的分布式弹性计算技术研究与应用

船联网项目涉及到全国范围的内河航运数据,需要连通所有省级航运数据中心并接入数据,因此需要具备分布式、可线性扩展的并行计算能力。针对船联网项目中智能航运数据处理场景,参考国内外成熟的理论基础,提出了一种两级分布式弹性计算技术,介绍了其计算模型和故障处理机制,并描述了该计算框架的应用场景。这种计算技术可以完成海量航运数据的处理任务,满足上层航运信息服务的需求,并适应今后不断增长的数据量和计算规模。     

基于大数据的数据挖掘中容错技术研究

随着互联网的不断发展,应用程序、数据正在迅速增长,大规模数据存储成为大数据技术研究重点,借助数据挖掘技术能更好地为决策者提供信息支撑。容错技术是大数据处理领域中一个前沿且极具挑战性的研究课题。该文依据当前的研究现状和进展,通过对大数据时代数据特征的分析,结合当前技术发展趋势,运用Python技术设计数据挖掘中代码容错技术的改进,并用算法进行实现。测试结果表明,该算法运行良好,系统的健壮性和可靠性大大提高,为大数据和数据挖掘提供理论基础,为海量数据的安全可靠挖掘提供科学有效的技术支撑。     

基于三维地球的多源空间科学数据可视化管理系统的设计与实现

如何高效地组织和管理日益增长的多源海量空间科学数据、提高数据的可用性和易用性,是空间科学目前需要重点解决的技术问题。在充分分析现有空间科学数据管理技术和数据特点的基础上,提出了一种有效的系统架构,研究并利用空间关系数据库及分布式数据库技术,实现了海量异构数据的高效存储、检索与定位;研究基于三维数字地球的多层次细节展示方法、三维数据剪裁、多线程并行加载等关键技术,提高了空间科学数据的集成可视化显示与应用效率。最后设计并集成了多源空间科学数据可视化组织与管理系统,在实际工程应用中验证了设计的合理性与有效性。