面向海量文本数据的多任务并行调度加载技术研究与实现

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.     

海量数据管理平台MDMP中并行加载与查询技术研究

海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术.     

基于并行数据库的海量商务数据管理系统研究

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。     

海上平台水文气象数据监测系统的设计与实现

基于.NET开发平台和云存储、并行计算、多线程和应用程序托管等技术设计并实现了面向海上平台水文气象数据的监测系统。系统集海量数据的采集、发送、处理、管理和可视化于一体,解决了海上平台的风、海流、波浪、泥温和盐度等海量水文气象数据难以采集、无法远程快捷智能传输、难以进行有效处理和挖掘以及难以可视化的问题。为长期有效获得并处理海量连续水文气象观测数据,进而提供有效水文气象信息指导给出了解决方案。     

基于PostgreSQL的海量准实时数据服务平台访问方案

大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper （Postgres_fdw）开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.     

基于数据库编程语言的海量邮件数据分类技术

针对海量邮件数据的处理需求和实际业务需要,设计了基于数据库编程语言的海量邮件自动分类系统.该系统由特征学习模块、数据库查询模块和贝叶斯分类模块3部分构成.结合贝叶斯分类算法,利用PL/SQL语言与数据库交互时的高效性特点,在ORACLE PL/SQL存储过程中完成对未知邮件的特征提取和表示,实现对海量邮件数据的有效分类.     

基于数据库集群的海量 RDF 数据联合查询系统的研究与实现

随着语义网的快速发展,为了实现科学数据的共享,越来越多的科学数据被加工发布为关联数据,进而应用于关联查询和关联发现。针对大规模关联数据的管理,本文通过构建 RDF 数据库集群来存储海量数据,设计了基于 SPARQL 端点的联合查询系统来解决用户跨机器透明查询的问题,分析了存储策略和联合查询系统的查询处理相关技术。实际运行表明,本平台易于集成使用,可以实现大规模 RDF 数据的可扩展性存储和有效查询。     

基于OBS的分布并行海量地形数据服务系统

海量地形数据的存储与管理是大规模地形实时漫游系统的关键。该文提出一种基于对象存储的分布式并行地形数据服务系统(DPTSS),采用自治的存储对象存储和管理地形块数据,实现了控制路径和数据路径分离。通过元数据集群提供高效率和高可用的元数据服务,以及基于对象的存储集群实现并行的地形数据块传输服务,提供高吞吐率和高带宽的地形数据服务。对比实验表明,DPTSS在较低的TCO情况下能提供高性能的地形数据服务。     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

大数据背景下网络数据库云计算技术平台搭建研究

大数据时代网络数据库存储内容与类型呈海量增长，数据库访问用户与访问量数以万亿、亿计。文章利用云计算等先进技术对网络数据库进行优化，基于云计算等技术重新设计一种面向大数据的网络数据库，实现平台操作设计、集群模块搭建以及数据整合与预处理等。基于云计算等技术对网络数据库进行优化，是实现网络数据库存储容量提升，全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

联网审计系统中海量数据的存储与管理策略

分析了联网审计应用系统的特点,提出了一种适用于计算机联网审计系统的海量数据存储与管理策略,并着重对该系统的基本构成、物理设计与逻辑设计进行了描述.针对本系统中所采用的集群并行数据库系统,还提出了计算机联网审计系统中并行事务处理操作的设计原则,并给出了具体的操作案例.     

面向中原城市群的科技服务资源池研究与设计

随着我国科学技术的快速发展,中原城市群的信息化建设取得了较大进步,形成了具有地域特色的科技资源,但是总体而言,中原城市群科技服务资源分散,集成化不高,服务效率低,难以做到真正意义上的科技资源共享。为解决上述问题,本文研究数据抽取、处理、校验、标准化和融合技术。通过科技服务数据采集集成引擎,运用大数据整合技术,将分散独立的各类科技服务数据整合为一体;采用HBase列存储数据库和HDFS分布式文件系统存储不同类型数据,支撑结构化、半结构化、非结构化数据的并行处理,进而向平台提供数据检索、数据分析等各类数据服务,解决各类不同来源数据融合的问题,完成中原城市群科技服务资源池的架构设计,提高科技资源利用率,促进科技资源合理利用。     

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。     

ARGO海洋卫星观测数据处理方法及应用

ARGO海洋观测数据一直受到国内外海洋界的高度重视，但处理软件严重缺乏，为了能对这些数据进行有效管理和应用，在分析了覆盖全球的海洋卫星实时观测和现场测量ARGO的数据格式、记录方法及浮标工作方式，以及对ARGO数据特征，空间三维、时空变化等特性进行讨论的基础上，提出了一个实用的基于大型网络数据库Oracle的ARGO数据优化存储模型，并着重论述了海量ARGO数据的高效存储访问、多源多维时空数据处理；同时利用当前GIS和遥感领域的前沿技术，采用全组件式模块化方式，开发出了我国自主版权的面向海洋决策管理应用的ARGO数据处理系统——ARGOGIS系统，并在有关部门得到了初步应用。     

基于三层架构的前置采集模块设计与实现

 随着我国“十三五”总体规划的提出,我国电网建设工作中,特高压输电和智能电网建设工程依然是重中之重。智能电网的不断发展建设推动了智能变电站技术的发展,原有的变电站监测系统由于设计独立,数据不统一,已经难以满足当前的需要。智能辅助平台的推出解决了这一问题。本文设计一种基于数据层、规约层和管理层的3层架构的可靠稳定的前置数据采集模块,模块的运行具有灵活性和良好的可扩展性,能够为智能辅助平台提供稳定可靠的原始数据。     

计算机网络安全中数据加密技术的应用研究

计算机网络应用已成为目前企业与个人处理信息、数据等的主要平台之一。在互联网数据库中,用户可以建立私有专属的网络存储空间,用来保存个人所需的文件和资料,方便在异地通过网络获取,省去了用户携带储存设备的麻烦和丢失储存设备造成的困扰。网络数据存储的关键因素之一就是安全问题,因此本文介绍了基于现代密码体制的网络数据加密、基于属性基的网络数据加密和基于并行计算的网络数据加密三种加密技术的应用,这三种技术为计算机网络安全中数据加密研究奠定了一定的基础。     

海量数据处理中的网格技术应用

网格是继Internet和Web之后第三次信息技术革命,最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理,以及其对数据网格技术的需求,分析了欧洲数据网格和LHC计算网格的功能,并探讨了网格技术研究的最新情况。