以数据中心为核心的配网监控APP设计与实现

近年来随着配电网运维智能化程度越来越高,大量的运维数据通过互联网实时交互,如何利用好这些数据为客户服务,同时降低企业运营成本显得十分重要,尤其须要解决实时分析、存储和反馈海量配网数据的问题。文章提出通过大数据技术Kafka、Redis、InfluxDB、Flink搭建配网数据中心,采用跨Android和IOS平台技术的Flutter开发移动APP的方式。该方式经验证,读写百万量级数据时间是秒级、实时计算时间是毫秒级,不仅降低了配网运营过程中的时间成本,还丰富了配网运行数据的查询手段。     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

基于Storm与Kafka集群的火电厂分布式流式数据建模与分析系统

大数据时代环境下,火电厂超大规模的数据量以及较高的数据处理时效性要求都对我们能否有效地利用数据进行分析提出了挑战,传统的数据分析方式在性能、时效、精度等方面已不能满足电厂运行人员对设备运行状态精确判断的要求.为此提出一种基于Storm与Kafka集群的数据建模与分析系统,利用Kafka高吞吐量的消息驱动能力和Storm...     

基于Flink大数据分析的电力资产全寿命周期管理平台研究

对电力资产大数据进行了概述,基于Flink构建了电网资产全寿命周期管理平台,以查询、删除操作对系统性能进行了测试,对测试结果进行了分析,表明基于Flink技术的系统性能优于传统架构系统。     

基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

基于工业互联网背景的大数据平台建设研究

随着信息技术和工业技术的迅猛发展,新型工业化道路应运而生,而工业大数据的平台建设对加快新型工业化道路具有十分重要的意义,本文通过对工业和互联网大数据进行对比分析,结合工业互联网与大数据的特点,阐述了二者之间的内在联系。基于此,提出了工业大数据平台架构以及相关的数据分级处理流程,最后指出了工业大数据平台的应用,包括资产管理、数据管理、数据分析和安全服务,为工业企业提供了平台支持和数据服务。     

面向治污企业集团的智慧运营平台的设计与开发

根据工业互联网平台现场采集的数据以及数据的整合，通过消息推送，部署分布式微服务，结合数据库设计一个能够实时展示治污企业下辖工厂的运行数据、安全状态监测并能够实现报警消警的智慧数据平台。该智慧运营平台实现了对各类工业物联网设备的数据采集，提高污水处理厂运营生产管理的智能化、自动化水平，对工业大数据进行了有效分析及呈现。     

基于Flink框架的TopN堆排序优化算法

为了解决大数据Top N排序问题,将传统的堆排序进行优化,阐述了优化后的Heap Optimize方法的处理过程。Heap Optimize方法基于Flink框架来完成Top N作业,可以实时地接收并处理大量的数据,根据单位时间需要处理的数据数量来调整算子的并行度,增加Flink框架的吞吐量,提高处理数据的速度。通过实验测量的数据结果佐证了Heap Optimize方法的优势。     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。     

大数据背景下的烟草工业企业网络安全的探究

现阶段，随着我国科学技术水平逐渐提升以及不断更新，大数据技术逐渐推广于烟草工业企业中，网络安全问题渐渐成为企业关注的重心。本文从大数据概述出发，进而对大数据背景下的烟草工业网络安全的问题进行阐述，从企业网络安全管理操作不规范，消费者以及个人隐私信息的泄露，网络黑客以及病毒感染对企业网络安全造成的问题几方面进行阐释；探究大数据背景下烟草工业网络安全防护策略。