基于参数优化的Hadoop云计算平台

传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce应用程序取代传统的单机数据分析,并对其做出优化.实验证明,Hadoop系统架构在生产上部署、投入使用的可行性.     

基于Hadoop的智能电网状态监测数据存储研究

智能电网需要收集海量设备状态监测数据,这对数据存储与查询提出了更高的要求。为处理这些海量数据,设计并实现了基于Hadoop技术的数据存储系统,包括Hadoop集群、存储客户端和查询客户端。通过基准测试、存储结果验证和查询性能分析,验证了该系统具有分布式海量存储及高效查询的优势,适合智能电网环境下设备状态监测数据的存储。     

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

基于Hadoop的电力地理信息系统数据管理

针对传统电力地理信息系统（GIS）在存储能力、分析能力和扩展能力上的不足,将云计算技术应用到电力GIS领域,提出利用Hadoop云平台对电力GIS数据进行高效存储和管理的方案。首先对电力GIS各类数据的特点进行了分析,提出了关系型数据库与非关系型数据库相结合的数据存储策略,并在此基础上设计了基于Hadoop的电力GIS数据管理整体架构、相应的数据模型以及基于MapReduce的数据并行查询分析方法。最后,在单机和集群的环境下,对空间分析与运行数据查询的性能进行了对比与验证。实验结果表明,在数据量达到一定规模时,该方案优势明显,数据分析与查询的平均时间缩短30%以上,具有较高的效率和良好的扩展性。     

Hadoop应用测试实战

通过研究基于HBase的数据存储模式,开展基于Hadoop的数据应用研究,并探索Hadoop的集群配置、任务调度配置和优化技术。通过研究成果的应用,构建基于云计算技术的海量日志信息存储访问架构,改进监控数据存储与应用的关联度,极大地提升海量监控数据存储与访问的时效,为实时监视与业务分析人员提供更快捷、高效的访问体验,从而进一步提高对业务系统运行及性能的监视与评估能力。     

基于Hadoop的校园教育资源管理系统

针对传统海量数据存储和处理方法成本高、效率低、编写程序困难等缺点,该文搭建了基于Hadoop框架的云平台,设计和实现了基于Hadoop的校园教育资源管理系统。测试及实验结果表明,基于Hadoop的云平台在大数据和多用户并发访问环境下,系统运行稳定,数据处理快,能有效降低成本,较传统单机服务器具有明显优势,能够很好的在校园资源管理系统中得到应用。     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

基于Hadoop的分布式数据库系统

云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。     

基于 Hadoop平台的并行特征匹配算法研究

很多大企业采用Hadoop分布式文件系统来存储海量数据,而传统的病毒扫描主要针对单机系统环境。研究如何并行化病毒扫描中的核心特征匹配算法来处理分布式海量数据。在Hadoop平台下,基于MapReduce并行编程模型来实现大数据高效的病毒扫描,特别是针对Hadoop处理海量小文件效率低的问题,通过将小文件合并,再利用索引来提高海量小文件的处理效率。实验结果表明,提出的并行特征匹配算法可以显著降低处理时间,适用于大数据的病毒扫描。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

应用Hadoop提升数据库审计系统检索性能的研究

鉴于单节点数据库审计系统检索性能低下的现状,探讨应用Hadoop伪分布模式和HBase列存储模型重构数据库审计系统的检索存储体系,重点研究HDFS存储机制、MapReduce运算框架和HBase数据模型三者的集成,以提升数据库审计系统实时检索和综合分析的性能.重构方案有效提升了检索性能,但鉴于数据的高可靠性和大体积,提出结合生产现状应用Hadoop和HBase分布式集群的展望.     

基于开源Hadoop的矢量空间数据分布式处理研究

为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。     

基于大数据的电力企业财务数据管理系统研究

当前,在各类电力生产经营财务数据管理活动中产生的海量、高频数据,具有实时性、突发性、易失性、无序性、无限性等特征。为解决电力企业接入的财务数据的不一致、不规范的问题,以及如何快速从这些海量高频数据中获取有价值的信息、提高数据资产带来的经济效益和数据管理效率,本文在分析目前电力大数据应用现状的基础上,构建了基于大数据的电力企业财务数据管理系统,同时从基于NoSQL的大数据存储管理、基于Hadoop的财务大数据预处理以及财务大数据分析挖掘算法3个方面详细描述了电力企业财务数据管理的关键技术,大幅提升了电力企业财务数据的管理效率和准确性,为在线决策分析提供理论依据及基础技术支撑。     

基于分布式文件电力异构数据存储综述

随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构（异构）化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略.     

联网审计系统中海量数据的存储与管理策略

分析了联网审计应用系统的特点,提出了一种适用于计算机联网审计系统的海量数据存储与管理策略,并着重对该系统的基本构成、物理设计与逻辑设计进行了描述.针对本系统中所采用的集群并行数据库系统,还提出了计算机联网审计系统中并行事务处理操作的设计原则,并给出了具体的操作案例.     

Hadoop环境下分布式物联网设备状态分析处理系统

设备故障可能会引起严重的生产事故,对企业、社会和人身安全造成严重威胁.因此,对物联网设备状态分析并进行合理的处理具有重要意义.针对物联网设备数据量大且复杂的特性,本文提出了一种针对物联网设备的海量数据处理架构,同时结合Dask分布式计算框架,设计了基于Hadoop环境的分布式物联网设备状态分析处理系统.本系统主要包括数据服务、数据分析和数据存储3个模块,并通过合理的节点调度方案保证了算法的高效运行和分布式计算的稳定性.系统运行表明能有效的处理大批量数据并实时准确预测设备状态,满足工业智能制造过程中的实际应用.     

电力通信网大数据应用场景开发及试点应用

通信网作为电网公司的第二张实体网络,承载着电网运行和经营管理的核心业务,是电网安全、稳定的重要保障。通信管理系统在资源管理、实时监控、运行管理方面发挥了巨大作用,但随着数据量急剧膨胀,基于传统技术架构的通信管理系统在数据存储、处理、分析挖掘方面已不能满足实际需求。基于大数据平台,通过挖掘电力通信网资源台账、告警故障数据,结合网管设备性能数据、电力气象数据,建立通信资源运行风险评价模型,支撑通信资源预警和故障定位;采集数据网业务流量与设备路由数据,实现对重要断面流量动态监测、链路性能动态监测及劣化分析预警,提高对路由设备的分析预警能力。