流式数据查询系统

近年来,随着互联网和物联网的快速发展,海量的数据在很多应用中都会出现,而这其中有很大一部分数据是以流数据的形式存在的. 流数据的特点是快速、大量、无序,并且要求快速的响应. 研究表明,传统的关系型数据库并不适用于这种流式数据的应用场景,因此如何开发出一套新型的数据查询系统来满足流式数据的处理需求就成为当前研究的一个热点课题. 本文借鉴当前几个有代表性的流式数据管理系统的优点,分析流式数据查询系统的关键问题,综合考虑流数据接口定义、数据预处理,查询语言定义、查询执行过程,系统监控、系统界面等问题,设计并实现一个可用的流式数据查询系统. 最后,通过采集具体的新闻流式数据验证系统的各项功能和性能,实验结果表明,该流式数据查询系统具有良好的数据查询性能.     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

大规模卫星遥感数据资源目录技术研究

当前多源异构的遥感数据在共享方面存在着数据组织差异、数据检索效率低等问题。制定规范化的遥感数据资源目录是大规模遥感数据管理和共享的基础。NASA的统一元数据模型UMM提供了权威的数据映射标准。论文首先基于UMM构建遥感元数据集成模型,并统一遥感元数据的接入规范。设计并实现了基于Elasticsearch的海量遥感数据检索技术,有效解决了多源异构情况下遥感数据资源目录检索效率低下的问题。     

智能化煤矿大数据治理关键技术研究、实践与应用

针对智能化煤矿建设过程中存在的“数据孤岛”现象严重、数据质量低、数据治理体系缺乏、数据赋能不够充分等问题,分析了智能化煤矿大数据治理的基本需求,研究了智能化煤矿的数据采集和存储、数据清洗与标准化处理、数据资产规划、数据共享交换等关键技术。结合小保当煤矿数据治理现场实践情况,提出了基于工业互联网体系的智能化煤矿大数据治理总体技术架构,该架构功能与智能化煤矿大数据治理的基本需求相对应,向下实现多源异构感知数据的接入、集成和融合,向上为各种煤矿智能化应用开发提供数据服务,中间沉淀煤矿各类业务指标、模型算法,形成煤矿重要的数据资产。基于不同的数据接入协议,通过数据接入存储服务统一接入煤矿各系统的数据;通过数据清洗与标准化服务实现数据加工,提升数据质量;采用分层治理架构将数据转换为体系化的分层数据资产;通过数据共享服务将数据资产以标准接口的方式提供给其他系统使用,实现数据价值落地。从煤矿单系统应用、矿井级应用和公司级系统应用全方面展示智能化煤矿数据治理成果在不同业务场景下的实践应用情况,智能化煤矿大数据经过统一的数据治理之后,能够实现数据的融合应用,打破数据孤岛,提升数据质量,形成煤矿独有的数据...     

大数据环境下的数据迁移技术研究

数据是信息系统运行的基础和核心,是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加,特别是在当前大数据环境和信息技术快速发展情况下,海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下,快速、正确、完整地实现海量数据迁移,保障数据的完整性、一致性和继承性,是一个关键研究课题。从海量数据管理的角度,阐述了海量数据迁移方法,比较了不同数据迁移的方案特点。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

基于电力营销大数据的数据融合共享平台研究与应用

随着国家电网公司基于大数据、云计算等项目的逐渐增多,国网某省电力公司全业务海量数据激增,导致现有电力营销存在电力数据缺乏统一部署系统、数据共享难度较大、数据指标逻辑规则不统一等问题。集中接入并整合电力各渠道的账户数据和客户数据,结合大数据技术研究电力营销大数据融合共享平台的建设与应用,集中接入和整合电网各渠道的账户数据和客户数据,开展电力客户标签快速搜索及数据驱动营销业务分析等场景,为电力企业运营平台及全景大屏展示提供支持。     

基于数据划分的海量数据查询优化研究与应用

针对海量数据查询效率低的问题,在比较和分析了多种海量数据查询优化解决方案的优缺点后,提出了一种基于数据划分的海量数据查询性能优化方法.该方法利用多数据库处理、表分区、分表技术将数据在三个维度上将数据划分存储,减少了海量数据的查询规模.经过实验该方法提高了大规模海量数据的查询效率.     

大数据流式计算：关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.