生产运营协同调度系统的研究与应用

本文对生产运营协同调度系统进行了研究。生产运营协同调度系统以“煤电路港航油化一条龙”运营核心与“产运销储用”关键环节,针对日常值守相关的世界一流、集团总览、调度生产指挥总图、一体化运营监督、产业板块运营监视、产运销储用大协同、四重一要等主题,进行数据获取、整合、展示的统筹设计,完成大屏可视化系统建设。笔者在此项目中负责研究后台万亿级数据量清洗与标准化、万亿级数据承载分布式环境搭建工作,并应用于实践。     

基于HBase的分布式电源控制系统研究

作为传统电网的有效补充,分布式电源越来越引起人们的注意。但是,分布式电源数据来源繁杂,数据量大且异构性强,因此,对这些数据的统一提取,可靠分析存在一定的难度。在研究分布式电源基本特点的基础上,提出了一种基于HBase的分布式电源管理体系,能够很好地解决分布式电网异构数据的处理和同步问题,以达到与传统电网数据共享、分析、处理的目的。     

消除规范关系连接冗余的二次排序算法研究

使用MapReduce框架对规范的一对多关系实体进行连接操作时,一方实体的各个属性会在连接的结果中产生大量冗余. 通过对二次排序算法进行优化,重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程,使得Map阶段的输出为包含一方实体属性值和多方实体排序值的组合键及包含多方实体属性值的集合. Reduce阶段将组合键进行分解,提取一方实体的主码作为HBase表的行健,并将组合键中一方实体的各个属性值及多方实体属性值集合分别写入HBase表中对应的列,从而既实现了连接的语义,又消除了冗余. 实验证明,优化后的算法可以消除一方实体属性值在连接结果中的冗余,提高了对连接结果的查询效率.     

基于Hadoop的数据共享模型研究

云计算技术基于这样一种思想——将大量计算资源组织起来进行统一调度,形成一个计算资源池,向用户提供按需计算的服务。数据共享技术可以在集成各种资源时,在系统各组成部分间共享数据,提高系统的协作能力。该文研究了数据共享的关键技术,并深入分析当前主要的数据共享模型,和HBase数据共享模型。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于HBase的电子商务系统设计

电子商务作为现代商业运营的一种重要模式,其商业战略地位也越来越重要。为了更好的满足电子商务系统存储、处理大规模的数据。该文以HBase为数据存储模块,进行一种B/S模式的面向LED行业的电子商务系统开发设计。     

四轮定位信息存储查询设计

四轮定位是汽车的结构设计的一个重要参数,直接影响着汽车的行驶性能。针对目前汽车四轮定位应用和汽车使用的情况,介绍一种基于Hadoop框架的四轮定位信息存储设计模式,对提高汽车四轮定位维修质量,尤其是提高行驶安全具有积极意义。     

云计算环境下的关联挖掘在图书销售中的研究

随着大数据时代的到来,如今人们已经淹没在海量的信息当中。云计算技术的出现,为解决在海量数据中高效地挖掘出有价值的信息问题提供了新的思路。利用云计算的分布式处理和虚拟化技术的优势,提出一种基于Map/Reduce编程模型与编码操作相结合的分布式关联规则挖掘算法——MCM-Apriori算法;设计并实现一个基于Hadoop云平台的网上图书销售系统。为进一步验证该系统的高效性,在该系统中利用MCM-Apriori算法进行图书推荐服务的应用。实验对比结果表明,该系统实现了快速分析与查询、可靠存储的功能,可以明显提高关联规则挖掘效率。     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

HBase在智能电网异构数据同步中的应用

未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以解决未来智能电网大数据处理问题为出发点,通过对电网数据中心相关功能需求进行细致分析,对比传统的关系型数据库建模基础,提出了基于Hbase架构的智能电网数据中心的解决方案。最后通过对比MySQL性能进行模拟测试,得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步,达到电网大数据的实时共享、监测及准确分析、处理的目的,在未来智能电网信息管理系统中具有广阔的应用前景。