水利大数据建设思路探讨

随着信息化技术的不断演进和发展,"互联网+"、大数据、云计算、物联网等先进信息技术正成为水利信息化发展的新引擎和新动力。从水利大数据体系建设、分析平台搭建和应用方向3个方面探讨大数据技术在水利管理领域中的应用,提出水利大数据体系建设需要整合的内外部及互联网数据、利用主流大数据组件搭建大数据分析平台的方法、结合水利管理业务进行大数据分析场景设计的思路,为水利大数据分析提供数据体系、分析平台、水利业务应用等层面的建设思路。     

汽车工业企业的Hadoop大数据平台设计

在万物互联大数据时代的海量数据处理中,如何大数据中挖掘出数据中的潜在信息价值并转化为决策依据的能力,特别是对于拥有高附加值数据的汽车企业,将是企业重要竞争力。开源Hadoop在大数据分析过程中,有着易扩展、成本低、吞吐量大等优势,Hadoop分布式平台已经成为绝大多数企业的首选。本文设计实现基于Hadoop开源技术为汽车工业中的企业进行大数据平台设计,实现高效率、高可扩展、高容错、低延时大数据平台,保证了平台的高容错性和灵活性。     

基于云计算的健康医疗大数据平台

中国新医改的大背景下,用互联网+、大数据等技术助推进行深化医改,让改革红利惠及更多群众,加快健康信息化资源体系建设,实现全区域数据共享、全过程业务监督、全方位数据分析、跨部门业务协同、全流程惠民服务的全面健康医疗大数据平台应运而生。平台运用大数据与云平台技术、OLAP多维分析、SOA体系结构,解决了制约平台建设的系统分割、业务流程不统一、以及纵向信息系统的“孤岛”问题。     

大数据驱动的产业智能生态链系统架构

新型产业智能生态链是一套完整的工厂数字化管理解决方案。通过多种物联网采集设备与技术,收集工厂运营的实时数据,监控生产过程中的关键环节,并将关键指标数据与相关业务数据融为一体,构建大数据分析平台,结合具体业务场景,提供多维度的可视化分析,助力企业准确快速的决策。     

基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

医院数据统一应用平台的研究与设计

[目的]基于现有的业务信息系统数据,建立医院数据统一应用平台,提升业务数据的服务与再利用能力.[方法]通过建立医院数据统一应用平台改善业务系统数据获取能力、实现数据集中统一存储、提升医院数据综合应用利用与服务能力.[结果]通过门诊实时流量监控数据展示与医院综合运营数据展示作为医院数据统一应用平台的示范应用,建立医院数据统一应用的示范原型,实现了医院数据统一应用的综合展示、数据准实时监控的效果.[讨论]数据统一应用平台的建设过程涉及多个业务系统数据的整合,解决好数据一致性、海量数据处理、如何规划好数据统一应用主题的问题是建设过程中的关键性问题.     

基于大数据的网络安全态势感知平台应用研究

针对自然资源部原有安全资源管理分散、网络安全防御能力弱、难以追踪溯源威胁攻击等问题，结合大数据技术，提出一种基于MapReduce并行处理的Apriori算法，用于分析外网网络安全日志数据，并据此设计一套网络安全态势感知平台。通过在外网各个关键区域节点旁路部署潜伏威胁探针实现系统全流量的实时采集和监测。借助大数据分析工具、态势感知处理算法、攻击溯源可视化等组件，将网络安全事件进行多维度图形化的展现。仿真实验表明，经过MapReduce并行处理后，平台处理海量安全日志数据的效率得到了显著提高。平台可实现网络安全攻击事件的全局感知、攻击溯源和监控预警，能够保障自然资源部信息系统的安全健康运行。     

基于大数据的辅机设备振动噪声监测分析平台

分析了对辅机设备进行状态监测和分析研究的必要性,创新地将大数据技术应用于该领域,解决了该研究领域中的关键技术难题,设计并实现了一个辅机设备振动噪声大数据监测分析研究平台。平台采用流式数据实时分析技术和实时批处理技术相结合的方式,采用Storm+Hadoop大数据处理架构。一方面,利用Storm以流计算的方式,对噪音、振动、电流、电压、谐波等海量原始数据进行快速计算和处理,并将处理后的数据传输至实时监测中心;另一方面,采用批计算技术,将海量原始数据存储到基于Hadoop的分布式文件系统中,建立大数据库,再采用基于MapReduce的大数据分析技术对海量数据进行数据挖掘和建模。该平台的研究不仅实现了对辅机设备的运行管理的监测和分析,还可以作为辅机设备振动噪声大数据建模和研究的基础。     

基于大数据云分析平台的企业经营分析系统建设

针对现有经营分析系统的海量数据存储、海量数据处理及企业业务发展需求,我们设计并构建了基于大数据云分析平台的企业经营分析系统.本文重点介绍了该系统的建设技术路线、总体框架图、系统实现及运行效果.结果证明,该系统能够较好的提高数据综合利用效率,为企业运营提供数据支撑.     

面向烟草行业研发应用的大数据分析平台

烟草研发体系具有业务广泛、数据庞杂等特点,影响大数据分析技术在烟草研发领域的推广应用.构建面向烟草行业研发应用的大数据分析平台,遵循全局数据应用的整合思维,封装多源异构的烟草研发数据的采集与存储过程;采用应用场景驱动与数据分层融合策略,完成数据主题化规范化管理;设计并开发数据分析过程可视化编排器,简化数据资产价值挖掘过程.该平台能够让"非数据专家用户"更专注于烟草研发业务,有利于推动大数据分析技术在烟草研发体系中的应用.     

基于大数据的电力环保数据平台建设

针对火电环保领域海量的环保数据无法高度利用问题,本文采用大数据、人工智能和机器学习等信息技术,构建国家能源集团的基于大数据的火电厂智慧环保平台,结合龙源环保公司脱硫、脱硝系统方面的专业技术和优化运行模型,将海量的脱硫脱硝等环保数据全部纳入管理,对电厂开展了深层挖掘数据使用价值的研究。建设覆盖公司全管理领域和业务领域的智慧环保大数据平台,打造集数据采集、数据处理、监测管理、预测预警、优化运行、深度分析于一体的大数据中心。实现火电厂环保岛系统的智能控制和智慧管控,提升公司脱硫脱硝系统专业化服务能力和智慧化服务水平。本文以北京国电龙源环保工程有限公司为例,进行了环保数据平台建设,实现设备的全生命周期管理,帮助运维负责人员实现对企业环保资产的有效管理。     

水库综合信息管理平台关键技术研究与应用

通过对大中型水库水利信息化系统应用现状的分析,针对数据分散、交互能力差、可视化能力低、权限管理缺乏等系统研发及应用难题,开展水库综合信息管理平台相关技术研究。管理平台关键技术包括：利用 ETL 工具对库区多专业整合形成平台专业业务数据库,实现基于海量数据的监测资料分析;灵活配置数据源向访问层提供屏蔽数据库厂商差异性的统一数据接口,实现基于 JWT 鉴权和 RBAC 模型的用户权限与接口访问控制;利用工程 CAD 制图转换成 SHP 格式,提高水库综合信息可视化表达能力。基于关键技术开发的水库综合信息管理平台在多个水库得以应用,可有效提高水库运行效率,减轻运行管理人员的工作量,为其他大中型水库信息化建设提供参考。     

江苏核电大数据可视化分析平台的建设与应用

为解决大量数据无法快速进行可视化分析挖掘的问题,江苏核电基于开源技术进行定制化开发,按照层次化功能架构设计,对平台的数据层、逻辑层和展示层的功能进行开发,快速构建大数据可视化平台,有效解决对数据进行可视化分析的问题。文章从功能特点、建设要求、经济性等维度对大数据可视化产品和传统商务智能产品进行对比,阐述建设可视化分析平台的优点和必要性;梳理与建立基于平台的数据可视化分析的服务的管理流程和职责分工,平台成果应用于物资编码检查分析与可视化业务看板等方面,在支撑管理决策、提升管理水平、提高业务运营效率和改进优化业务四个方面体现了平台的价值。文章介绍的大数据可视化分析平台的建设思路和方法可有效提升数据分析的工作效率。     

基于Hadoop的生物质能源工程数据资源管理平台

针对我国生物质能源工程信息化程度比较低的现状,结合当今流行的大数据处理技术,基于Hadoop开源框架设计并且实现了生物质能源工程数据资源管理平台.介绍了平台的主要功能模块,包括生物质能源工程的管理、监测指标的管理、实时监测、反欺诈模型的管理、统计分析等.对平台建设中的关键技术包括数据获取、大数据存储、大数据处理、负载均衡等做了深入研究.旨在将物联网技术,互联网技术和大数据处理技术与生物质能源工程有机的结合起来,提高生物质能源工程的信息化水平,保障生产安全,优化工艺流程,实现效益最大化,为同类工程的建设提供理论和实践依据.     

区域公司高一致性电力生产远程实时监控系统的建设及应用

基于远程实时监控系统技术和大数据管理理论,某区域分公司在其发电厂（场）信息化建设过程中,建立了一套完全跟发电机组生产监视系统一致的远程监视系统,不仅实现了抓取生产系统中信息的主要数据进行演示和指标统计功能,同时做到了完全远程再现生产过程的实时监视。通过实时的监视发电生产过程,同时融合公司经营在线、燃料调运等信息化管理系统,并结合生产现场重点区域的视频监控,实现了第一时间掌握生产过程的具体细节,为本公司研究生产策略、降低成本、培训提供最直观的平台,助力公司电力生产综合管理水平的再提升。高一致性电力生产远程实时监控系统建设成功后,其良好的应用效果也使其成为了区域分公司展现先进管理思想和管理理念的一张名片,值得其它区域公司甚至是总公司的借鉴和推广。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

环境评估大数据管理平台初探及技术综述

随着软硬件成本的下降和相关技术的日趋成熟,传统的数据分析和管理方式已不能适应业务发展需求.由于环境保护监测和评估数据符合大数据的特征,因此利用大数据技术构建新的环境评估管理平台已成为可能.本文在通过对环境评估大数据管理平台三层架构以及物理实现方案的阐述,结合弹性扩展、流处理、数据湖、大规模并行处理、机器学习等技术的研究,尝试解决环境评估数据的高速、深入、智能处理问题,从而为业务管理提供更高效率的数据支撑.     

IT系统结构关系可视化系统

IT系统结构关系可视化系统是一个利用三维可视化技术构建业务至IT设施的可视化管理模型,以立体、仿真、实时互动的方式,呈现系统业务、系统、流程以及支撑的物理设备之间关系的Web系统[1].可以直观的展示不同层次应用节点的业务关系、应用与组件之间所属关系、逻辑组件与物理实体的对应关系、应用业务流向关系、系统监控信息和按条件显示拓扑等,并且支持针对某一节点发生故障的定位及影响分析、故障回溯功能.可视化系统数据来源于配置管理模块、后端使用Struct2+Hibernate4+Spring3技术,前端可视化模块使用Unity3D引擎.整个可视化系统具有使用方便、扩展性好、面向服务、支持配置化、数据呈现直观等特性.