基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

基于大数据分析的城轨列车运行路线追踪研究

传统基于移动闭塞模式下的城轨列车运行路线追踪方法在面向海量人流和车流的情况下,存在延误扩散以及线路运行的恢复能力差等问题。因此,提出基于大数据分析的城轨列车运行路线追踪方法,在Hadoop架构下塑造Map/Reduce并行计算架构的大数据运行方法,通过Map阶段任务配置与分发以及Reduce阶段任务合并与数据存储,对城轨列车运行数据进行学习、分析以及存储,塑造基于极大代数的列车运行计划模型,在分析模型参数的基础上,设计列车运行计划模型的约束条件,得到列车运行计划在极大代数中的线性模型,实现大数据环境下城轨列车运行路线的合理规划。实验结果表明,运用此方法的列车可顺利通行,对客流具有较强的调控性,确保列车均匀稳定地运行。     

安全管理平台中基于云计算的日志分析系统设计

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP中海量日志查询效率低下的问题,设计基于云计算的SMP日志存储分析系统。基于Hive的任务转化模式,利用Hadoop架构的分布式文件系统和MapReduce并行编程模型,实现海量SMP日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得SMP日志的平均查询效率提高约90%,并能加快SMP集中管控的整体响应速度。     

智能选厂小型数据中心设计研究与应用

目前,我国各选矿厂均面临关键数据存储和利用问题,采取以往简单的磁盘和服务存储的方法,不仅不能有效保障数据的存储安全,而且无法实现数据的集中管理和应用,这对企业数据业务发展是极大的障碍。设计一套统一化数据中心框架并搭建,实现服务器、防火墙、交换机、共享存储科学搭配,多台服务器虚拟化部署与管理,基于Hadoop集群的高可用数据仓储搭建,对数据进行统一存储、管理与应用。使企业为用户提供优质高效服务、降低企业成本、提高企业经济效益、拓宽企业信息系统的范围,为企业带来更大的竞争力。通过在某金矿选矿厂的智能选厂项目的具体应用,证明系统的可行性与高效性。     

基于Flink的海量医学图像检索系统设计与实现

医学图像检索是有效利用医学资源的基础，而医学图像的海量性和增量性为图像检索带来了新的挑战和要求。为了提高医学图像检索过程的效率，设计并实现一种基于Flink的海量医学图像检索系统。首先，系统通过Web应用作为用户操作入口，在后端搭建数据平台和业务集群；其次，系统通过HBase对医学图像数据进行分布式存储，利用深度卷积神经网络模型提取医学图像特征；然后，将所提取的医学图像特征数据进行乘积量化编码，并通过HBase进行存储；最后，通过基于Flink的内存计算对接Kafka进行实时图像检索，以及对批量导入图像的特征索引编码。系统在4个节点的服务器上部署分布式集群，使用真实医学图像数据集进行测试，通过在MapReduce和Spark两种不同技术模块下的对比实验表明本系统具有更好的检索效率表现。     

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。     

基于分布式文件系统电力大数据存储实现

基于Hadoop存储架构设计了电网非结构化数据管理平台,主要包括存储分析与搜索读取2大模块,整合HDFS、Hbase等存储设备,利用HDFS实现海量数据的快速读写,采用基于ZooKeeper及Solr搭建的开源分布式搜索引擎SolrCloud实现数据检索,提供了高效便捷的智能化管理手段。     

一种基于MapReduce的并行聚类模型

在对海量数据进行聚类的过程中,传统的串行模式局限性越来越明显,难以在有效时间内得出满意结果的问题,本文提出一种基于Hadoop平台下MapReduce框架的并行聚类模型。理论和实验结果证明该模型具有接近线速的加速比,针对海量数据具有较高效率。     

一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。