一个教育云平台实例的设计与实现

Hadoop通过分布式文体系统（HDFS）、MapReduce、HBase和Hive等关键技术,能够在一个集群上创建并执行大型数据库处理应用程序,使得它成为当前最为广泛应用的开源云计算软件平台。研究了基于Hadoop的教育云平台所采用的关键技术,设计并实现了一个典型的教育云平台,并探讨了教育云平台的应用效益问题。     

基于云计算的分布式电源管理系统设计与实现

为了解决分布式电源管理系统海量数据处理的难题,提出了一种基于Hadoop的云计算解决方案,通过云平台实现对海量数据的快速、高效处理。设计了一种有效的数据存储方案,通过HBase数据库实现了海量数据的分布式存储,并利用高效的分布式文件系统(HDFS)集群架构实现了数据存储的高可用性(HA)设计。针对数据处理结果的特点,提出了一种对处理结果的有效存储方案。     

基于云存储的电力设备巡检系统研究

针对智慧城市电力设备巡检系统数据量激增,无法安全高效地采集、存储与分析的问题,基于智能电网中电力系统各设备巡检监控规程和云计算技术及云存储平台的建设,通过建立云存储平台Hadoop及分布式文件系统(HDFS)的云存储模型,并应用C语言、基于Struts2框架、采用Maven单元测试工具等方法,设计并实现一套应用于智能电网的电力设备巡检监控数据的云存储系统。经测试表明,所设计的系统可实现电力系统各设备巡检监控数据的采集、传输、存储和归档等功能,为智慧城市的发展做好电力保障,更好地满足电力运行环境的使用需求。     

基于云计算的智能计量平台研发

针对智能计量业务需求,对目前计量自动化系统现状及存在的问题进行了说明,提出了一种基于云计算技术的智能计量自动化系统的解决方案。探讨了云计算在智能计量平台中应用的可行性和必要性,设计并实现了基于Hadoop框架的智能计量管理平台,并对平台的体系架构和关键技术进行了分析。方案采用云计算中的虚拟化技术对平台底层中多种异构软硬件资源进行整合管理,采用HDFS分布式文件系统和HBase分布式存储系统对电能数据进行高效的分布式存储管理,采用Map Reduce分布式编程框架实现用户业务的分布式并行处理与资源调度。目前,基于云计算的智能计量平台已进行实际应用,第三方测试结果表明,系统大部分功能均达到智能计量平台的要求。     

基于Hive的电力设备状态信息数据仓库

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统（PMS）的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop 分布式文件系统（HDFS）对数据进行分布式存储管理,MapReduce作为海量数据查询分析     

中山电力数据存储系统方案型

针对广电集团中山供电分公司原有的存储系统模式存在的应用系统使用效率低，数据安全性和共享度差．管理不便等等问题，提出了中山供电分公司的网络存储系统及高可用系统的解决方案，其总体目标是建立一个基于SAN架构的数据存储中心，为公司的业务数据提供一个理想的存储系统。     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.     

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点（每个节点配置4核CPU）的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。     

基于Hadoop的广域测量系统数据处理

为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。首先,给出了平台的体系结构。其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。     

大数据发展历程大事件汇总(2005-2016)

正①2005年2005年Hadoop项目诞生。Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统,这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。②2008年2008年末,"大数据"得到部     

基于Hadoop架构的电能质量监测云模型研究

随着智能电网建设进程的加快。电能质量监测点不断增多,系统逐步完善。各种类型的监测和计算数据量急剧增加,呈大数据趋势。对于大数据的计算处理。云计算平台具有先天性优势。文章提出并初步实现了一种基于Hadoop架构的电能质量云模型,旨在整合传统计算存储资源,解决电能质量大数据的存储和计算问题。模型采用分层结构,以电网自然分层为基础,搭建分层电能质量云计算平台。整体采用面向服务的架构,各层以Hadoop架构搭建子云,并向上层主云提供服务。基于Hadoop架构的电能质量云模型不仅可以解决电能质量监测大数据的存储和计算问题,对解决智能电网中其他信息系统的大数据问题也具有参考意义。     

基于Hadoop的智能电网数据安全存储设计

针对智能电网下海量数据的存储问题及数据保密性和完整性需求,分析了现有安全存储方案的特点,结合智能电网应用环境的特殊场合,设计了一种基于Hadoop的智能电网数据安全存储方案。该方案充分利用了HBase高性能优势和现代密码技术,将密钥与密文的管理分离,具有安全性好、密钥管理方便及效率高等特点。开发了基于Hadoop的原型系统,对方案的时间开销进行了分析,并通过相关实验证明了方案的有效性和可行性。     

依托Hadoop架构的海量变压器实时监测与存储方案构建

随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于Hadoop集群的变压器在线监测数据存储方案。该方案利用HBase(分布式列式数据库)具有快速实时读写数据的优势,将变压器在线监测系统采集的海量数据实时快速地存储。为能自动快速实时收集数据和避免因数据流过大造成系统崩溃,分别采用Flume(日志收集工具)和Kafka(分布式流处理平台)收集和缓存数据。以电力变压器在线监测的油色谱数据为例,验证了所提存储方案的可行性和有效性。     

基于云平台的通信电源控制系统

利用云平台进行大数据处理与系统控制是分布式监控系统的未来发展方向。通过对通信电源系统工作原理以及云平台技术的研究,提出了基于云平台的通信电源控制系统。研究了通信电源控制系统以及基于Hadoop云平台的分布式数据存储技术,并做出了基于Linux HA的数据完整性分析。通过该平台的搭建,大大提高了通信电源系统的控制水平与控制效率。     

基于VMware VMFS的研究及备份实现

VMware的虚拟机文件系统是一个强大的自动化文件系统,它简化了虚拟机相关的存储空间管理。文章旨在利用VMFS卷机制为虚拟机容灾提供一种有效的解决方法,首先介绍VMFS的特点,然后阐述了VMFS的工作原理,最后给出存储设备的快照与VMFS卷机制相结合实现虚拟机备份与容灾的方法。该方案不但可以减少第三方软件购置成本,而且也降低了生产服务器备份时的负载。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

基于云计算技术的电力大数据分布式检索系统

为了提高电力大数据定位识别和信息融合能力,进行电力大数据检索优化设计,提出一种基于云计算技术的电力大数据检索系统设计方法,采用多元回归分析方法构建电力大数据库存储结构模型,进行电力大数据的分布式存储数据结构特征分析,对混合型的电力大数据在云计算环境下进行信息聚类融合处理,采用模糊特征分组聚类方法对不同属性的电力大数据进行分组检测,提取电力大数据的关联规则特征量,采用云计算技术实现电力大数据分布式检索。在嵌入式环境下进行电力大数据分布式检索系统软件设计。仿真结果表明,采用该方法进行电力大数据检索的特征指向性较好,数据检索的数据召回率较高。