基于流计算的电力调度网络流量监测平台

由于电力调度网出现任何网络故障都可能发生极度严重的事故,因此具有的极高可靠性及安全性的要求.而当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求.因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成.本文结合电力调度信息网络的特点以及监测准确性及实时性的需求,构建出一个基于流计算的数据处理分析平台,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成流量异常监测场景.     

基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

面向大数据的Storm框架研究与应用

大数据计算主要包括批量计算和实时计算,针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点,基于Storm并借助开源框架Flume、Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的形式进行计算,输出有价值的信息。最后对系统进行性能测试以及计算能力的测试。实验结果表明,该系统可扩展性良好,且并行计算能力稳定,适合大量实时数据处理。     

基于电力大数据的用户用电量多维度自适应分析系统

针对电力大数据利用率差的问题，设计基于电力大数据的用户用电量多维度自适应分析系统。通过客户等级划分、用电行为分析、窃电行为异常识别以及电力需求预测进行用户用电量多维度分析。测试结果表明系统很好地完成了四个维度的分析业务，具有一定有效性、广泛应用价值，能有效提高电力大数据利用率。     

基于流式计算框架的实时数据库分区系统

为实现大数据环境下大规模动态分区信息的高效处理,结合流式计算框架,提出一种实时数据库分区系统。采用大数据环境下的流式计算技术处理大规模动态的工作负载,设计实时数据分区算法实现数据分区的自动与即时生成,并利用流式计算框架的水平扩展机制提高系统扩展性和吞吐量。实验结果表明,该系统可在大数据环境下实现高效、实时的数据库分区,与传统分区算法相比,具有更高的分区质量和更少的分区时间。     

基于CUDA的快速图像压缩

为了进一步提高JPEG编码效率,对JPEG压缩算法进行研究,分析得出JPEG核心步骤可以并行化处理.因此,实现平台宜采用以并行计算为优势的GPU,而不是以串行计算为主的CPU.NVIDIA新推出的CUDA(计算统一设备架构)为此实现提供了软硬件环境.CUDA是基于GPU进行通用计算的开发平台,非常适合大规模的并行数据计算.在GPU流处理器架构下用CUDA技术实现编码并行化,并针对流处理器架构特点进行内存读写等方面的优化,提高了JPEG编码的速度.实验结果表明了CUDA技术在并行处理方面的优越性,JPEG编码效率得到了极大提高.     

基于大数据聚合的电力用户行为实时云监测方法

为提升电力用户行为监测效果及准确性,判断电力用户异常行为,提出一种基于大数据聚合的电力用户行为实时云监测方法。该方法将基础设施及终端等获取的电力用户行为大数据储存至数据层的关系数据库内,处理层调用数据层存储电力用户行为大数据,采用大数据处理技术,通过数据降维、清洗以及标准化处理后,提升电力用户行为大数据质量;应用层采用改进流数据聚类算法,通过用户及簇典型曲线提取、曲线相似度度量,实现用户用电行为异常监测,并通过显示层云展现监测结果。实验结果证明,该方法的数据聚类质量高,可以有效获取电力用户行为监测结果,判断电力用户是否存在异常行为,具备较高监测准确性。     

基于并行图计算的社区划分方法

以图计算形式研究社交网络由来已久,但对于如何提升图计算应用于大规模社交网络的计算速度和扩展性,一直是研究的难点。谱图论的应用为社交网络在图计算方面的研究带来新的研究热点,谱图分割为社交网络社区划分带来基于结构的支撑。为了解决谱图论在处理大规模社交网络时存在计算缓慢、内存溢出等问题,本文提出了谱聚类改进算法结合矩阵方式在并行环境下的处理方法。首先,利用Spark对网络数据进行并行化预处理,将社交网络以图结构表示,再将图转化为Spark分布式稀疏矩阵。然后,将谱聚类改进算法在Spark环境下,实现并行化社交网络社区快速划分,并以分布式方式持久化存储源数据、中间计算数据和计算结果,提高图计算在社交网络中的可靠性。最后,通过实验证明并行化图计算方法能有效提高计算速度和扩展性,支持大规模社交网络的挖掘分析,实现并行算法下高并发、高吞吐的特点。     

基于相似性搜索的异常用电行为识别方法

传统异常用电行为识别方法浪费大量人力与物力，且准确率较低、效果不佳，本文在大数据背景下，提出一种基于相似性搜索的商业园区异常用电行为自动识别方法。通过分析相似性搜索方法获得用户用电时间序列，采用趋势性指标、变化性指标、波动性指标以及其他指标分析商业园区异常用电行为，引用主分量分析与因子分析方法提取异常用电行为特征，凭借误差矩阵自动规整化数据，设定欧氏距离阈值实现商业园区异常用电行为自动识别。实验结果表明方法可降低计算难度，高效识别出异常用电数据，保证商业园区正常用电。     

基于Bi-LSTM的家庭用电量预测

电网智能化升级改造将传统电网与先进的信息、智能技术相融合,实现电力行业的根本性变革。智能电表是智能电网系统中收集用户用电信息的代表性边缘设备,当前智能电表收集的用电量数据存在维度低、波动性强等特征,造成对未来用电情况难以预测的问题;同时对于未来边缘设备端用电量的预测,其他相关特征信息的不可得,此时研究基于单变量特征的用电量预测至关重要。为此,提出一种基于双向长短期循环记忆循环神经网络(Bi-directional Long Short-Term Memory,Bi-LSTM)的单变量家庭用电量预测模型,Bi-LSTM模型能够充分利用上下文的信息实现更准确的预测效果。通过西班牙某市真实的智能电表数据对提出的模型进行了验证,实验结果表明,该模型的预测性能相比传统LSTM、SVM方法有进一步的提高。     

大数据流式计算环境下的阈值调控节能策略

在大数据实时分析计算领域,流式计算的重要性不断提高,但是流式计算平台处理数据的能耗不断上升。针对这一问题,改变流式计算中节点对数据的处理方式,提出了一种阈值调控节能策略（ESTC）。首先,根据系统负载差异确定工作节点的阈值情况;其次,通过工作节点的阈值对系统数据流进行随机选择,确定不同数据处理情况调节系统的物理电压;最后,根据不同的物理电压确定系统功率。实验结果和理论分析表明,在20台普通PC机构成的流式计算集群中,实施ESTC的系统比原系统有效节能约35.2%;此外,ESTC下的性能与能耗的比值为0.0803 tuple/（s·J）,而原系统性能与能耗的比值为0.0698 tuple/（s·J）。ESTC能够在不影响系统性能的前提下,有效降低了能耗。     

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

商业软件的并行网格计算平台模型及实现

以ANSYS和FLUENT为例,分析了商业软件在工作站机群并行运行的优势.将并行运行与网格计算相结合,提出了两者结合的软件结构和硬件结构,实现了并行计算资源的Web发布,从而提高商业软件和高性能计算资源的利用率,为大规模科学工程计算提供了良好的运算平台.同时平台实现用户认证,过载保护和实时监控功能.     

使用GPU技术的数据流分位数并行计算方法

数据流实时、连续、快速到达的特点决定了数据流的实时处理能力。在处理低维数据流时经常使用分位数信息来描述数据流的统计信息,利用图形处理器（GPU）的强大计算能力和高内存带宽的特性计算数据流分位数信息,提出了基于统一计算设备架构（CUDA）的数据流处理模型和基于该模型的数据流分位数并行计算方法。实验证明,该方法在提供不低于纯CPU分位数算法相同精度的条件下,使数据流分位数的实时计算带宽得到了显著的提高。     

云计算平台异常行为检测系统的设计与实现

针对传统网络安全设备对云计算平台中虚拟机内部发生的蠕虫病毒、地址解析协议(ARP)广播攻击等异常行为失效的问题,设计了基于VMware的云计算平台下异常行为检测技术架构,提出了云计算下有特征码的蠕虫病毒异常行为检测,和基于突变理论的无特征码的异常行为检测,并针对两种异常行为提出了"侦测-隔离-治愈-恢复"智能处理云安全机制.系统融合云计算下异常行为检测,云计算下事件与防卫管理,和云计算下ARP广播检测三种功能于一体.实验结果表明,系统能实时提供云计算环境下异常行为的采集及分析,每隔5秒自动刷新实时流量资料,且吞吐量可达到640 Gb的处理能力,能够将被保护链路中异常流量所占用带宽降至总拥有带宽的5%以下,解决了云计算下的异常行为检测和防护问题.     

面向大数据复杂应用的GPU协同计算模型

大数据计算中存在流计算、内存计算、批计算和图计算等不同模式,各种计算模式有不同的访存、通信和资源利用等特征。GPU异构集群在大数据分析处理中得到广泛应用,然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度,而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与多核CPU协同计算问题,面向多种计算模式建立一个多阶段的协同计算模型（p-DCOT）。p-DCOT以BSP大同步并行模型为核心,将协同计算过程分成数据层、计算层和通信层三个层次,并且延用DOT模型的矩阵来形式化描述计算和通信行为。通过扩展p-DOT模型描述节点内和节点间的协同计算行为,细化了负载均衡的参数并证明时间成本函数,最后用典型计算作业验证模型及参数分析的有效性。该协同计算模型可成为揭示大数据分析处理中协同计算行为的工具。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

基于边缘计算的新型数据处理系统

分析现有云计算模型所存在的问题，即实时性、隐私保护、能耗等方面的问题。然后探讨边缘计算模型的概念以及其相对于云计算模型的优势，提出新型数据处理系统的系统架构，设计实现数据处理系统的运行及调度策略,结合具体实例,验证所实现的功能。最后，对基于边缘计算的新型数据处理系统的应用前景及改进方向进行讨论。     

一种面向车辆实时数据并行处理的任务调度算法

车辆实时监管正面临着不断增长的大规模车辆监测数据的实时处理需求,需要采用分布式的并行计算架构来提升大规模车辆监测数据处理的性能,支撑多样化的车辆监测数据处理任务,应对支撑环境的伸缩性需求。在这种架构下,对系统中不同计算节点间的车辆监测数据处理任务的调度提出了更高的要求。针对这一要求,并结合流式到达及历史积累的车辆监测数据的持续化处理需求以及大规模车辆监测数据实时处理中内存敏感的特征,提出一种基于路由表的并行任务调度算法。该算法基于车辆监测数据时空属性以及各计算节点的内存信息建立路由表,并以路由表的形式来进行任务的并行划分和分配调度,从而使得各计算节点达到负载均衡的状态。实验表明该算法能够使计算节点间的负载差异缩小到12%以内。此外,该算法在某市车辆监管实时系统中的实际应用也证明了其有效性。