水利工程灌浆大数据平台设计与实现

随着云计算、大数据、物联网的发展,水利工程各类采集数据与日俱增,面对如此大规模的数据集,传统存储、计算相关的理论和方法已不能满足海量、多源、异构数据的存取与处理。针对水利工程灌浆大数据,设计平台总体架构,搭建Hadoop分布式集群,设计并行化数据挖掘算法,实现水利工程灌浆大数据平台,并基于B/S服务模式进行平台展现、应用和管理。平台功能模块主要包括数据资源下载、数据集上传与运行、自定义算法、运行状态及结果和大数据可视化等,并结合白鹤滩水利工程建立基于随机森林的灌浆工程单位注入量预测模型和基于K-Means聚类的灌浆成果异常检测模型进行应用示范。平台的设计与实现融合水利工程结构化与非结构化数据,将大数据集群并行计算和数据挖掘技术应用到水利工程中,改变传统随机抽样和单一挖掘分析模型,采用多粒度、多层次、多渠道的分析模型对数据全量进行挖掘分析,从海量数据中挖掘分析出于管理、决策和生产有用的信息,实现了数据资源的集成共享、业务的高效处理、数据信息的知识发现,提高了数据存储和处理效率和精度,为当前水利工程大数据的存储与计算提供一种新的解决思路     

梯级水电站大数据技术应用展望

数据作为时下最火热的词汇,已成为社会各界争论的焦点,IT网络技术的发展带来海量数据的爆发,随之而来的数据仓库、数据安全、数据分析、数据挖掘等高效的大数据分析技术,将深度挖掘数据的价值,帮助企业准确决策。围绕大数据应用价值的利用也逐渐成为追捧的焦点。通过探讨梯级水电站运行维护、经营管理、生产管理与大数据应用技术的结合,提出了一些前景展望,促进提高梯级水电站运行效率,实现水电站与机组的安全经济运行,发挥水电厂效率和效益最大化,最终实现源网一体化,稳定、安全、经济高效地运行,减少资源浪费,降低事故的发生率。     

大数据时代智能水电站建设思路

结合当前信息技术最新进展和新的工业革命进程,充分借助各大科技公司普遍成熟运用的大数据、云计算等技术,在加快建设电力工业互联网的大背景下,分析了传统水电站的数据运用现状,提出了应用云平台大数据的思路建设智能水电站的方案,该方案可极大提升水电站数据整合分析能力,避免数据浪费,从海量数据中充分挖掘信息,尽可能研判设备状态及趋势,提升系统智能化水平及自诊断功能,提升设备运行效率及可靠性。     

一种适用于云计算可扩展高分辨率遥感影像存储组织结构

传统的遥感影像处理方法已无法有效应对当前遥感影像的3个“海量”问题,即日产量海量、单幅像素海量和可观测地物的类别及数据海量,使得多源海量遥感数据的利用率极其低下。为解决海量高分辨率遥感影像存储问题,提出了一种适用于云计算的高分辨率遥感影像存储组织结构,并对基于MapReduce框架的构建方法进行了详细的介绍。通过在Hadoop集群上对海量高分辨率遥感影像集进行的小影像集大文件构建方法实验与传统同类方式读取效率的对比,证明了本存储组织结构具有较高的扩展性,该小影像集大文件构建方法具有高效和高扩展的数据读写和处理能力,适合于作为处理海量高分辨率遥感影像的数据源。     

圣世信通天地一体化仿真大数据管理平台

<正>由北京圣世信通科技发展有限公司研发的天地一体化仿真大数据管理平台,基于海量数据动态加载,融合了可视化技术,通过底层数据分层分级组织管理技术,实现了海量数据的高效组织管理与渲染可视化,支持海量数据的快速检索和调用。通过遥感数据、正射/倾斜影像数据和矢量数据的一体化融合技术,可实现海量异构时空数据的高效组织、管理及检索调用,支撑图片、文字、视频、遥感及正射/倾斜影像数据、矢量、高程、三维等各类异构数据,并在此基础上实     

松辽委用友U8系统升级及数据问题处理

松辽水利委员会用友U8系统运行10余年,系统版本老化、服务器设备已超出报废年限,系统运行稳定性和安全性问题严重。文章从平台环境需求和数据安全需求2个方面分析了系统升级的必要性,根据财务数据的特殊性,设计了迁移升级实施方案,分步完成了环境升级和数据迁移,并解决了数据迁移中发生的问题。     

海量数据仿真与分析关键技术探讨

基于地理坐标以球面方式浏览海量数据是当前“数字地球”技术的核心,已得到成熟的应用。然而其针对海量数据特殊的数据组织方式给专业应用带来困难,导致了计算机资源、大数据量浏览仿真和高精度几何分析之间的矛盾。以金沙江水文泥沙信息系统为例,列举和描述了海量数据仿真分析在水利信息系统建设中存在的技术难点,对其进行了详细的分析,并就一些实际的解决方法进行探讨。     

基于政务云平台的宁夏水利应用系统迁移上云研究与实践

依托宁夏回族自治区"云惠宁夏"提供的云服务器、云数据库、云存储、云安全和服务器托管等基础支撑服务,宁夏水利系统告别了自建服务器时代。通过对水利业务应用系统改造并迁入自治区政务云平台的研究与实践,提升了水利厅的内外部服务能力,实现了数据由分散存储向集中管理、运行环境由专网向外网、应用系统由单独运行向统一平台部署的三大转变,宁夏水利信息化迈入了云时代。     

数据服务器在发电厂实时信息系统中的应用

在需求分析的基础上开发了应用于发电厂实时信息系统的数据服务器。针对数据采集和客户端连接等关键问题，采用了全新的设计思想，例如内存映射的数据采集方式、基于TCP/IP协议的网络连接以及串行化的数据传送机制等,优化了数据服务器的性能。现场应用表明，该数据服务器运行可靠、操作方便,有效地提高了整个发电厂实时信息系统的性能。     

大数据在我国城市供水全过程监管领域的应用展望

我国城市供水行业现存海量数据信息,但整体利用程度偏低,信息壁垒和数据孤岛现象突出。与传统数据管理相比,大数据具有规模海量、分析预测和辅助决策等特点,能够更好地帮助政府部门实现城市供水全过程智慧化监管。基于供水行业数据特点,从供水数据的采集、存储、整合、共享及挖掘等技术实现的角度,构建了城市供水政府监管大数据研究需求框架,同时分析了大数据在城市供水全过程监管领域的应用前景及未来发展趋势,为有效提升政府对城市供水全过程监管能力和供水应急保障能力提出相关建议。     

基于SQL Server数据库的水雨情数据查询优化应用

防汛信息系统为防汛抗旱工作提供了信息支撑,水雨情数据是防汛信息系统的重要组成部分。近年来水利信息化得到了较快的发展,水雨情数据采集自动化程度也大幅提高,导致数据库需要不断扩容以满足海量数据对存储空间的需求。数据查询是数据库的核心操作,但海量数据下其效率往往会降低,成了制约数据分析和管理的瓶颈,于是通过各种方式提高数据访问速度成为水利信息化关注的热点问题。本文通过分析SQL Server运行机制,介绍了几种优化查询方法,可以较为明显地减少信息查询时间,减轻服务器负担,提高水利业务效率。     

ArcSDE在水利多用户显示系统中的应用

介绍了如何利用AroSDE提供的数据库同GIS系统的接口实现客户-服务器信息显示系统。汕头市水利数据入库及建立SDE数据库的方法，展示了AroSDE作为一种高效，海量空间数据库引擎在共享和管理数据中所起的重要作用。     

电力ERP系统无刷新分页机制的研究与实现

电力ERP系统数据量大,针对为服务器减压和更好的用户体验,提出了一种基于Ajax的无刷新分页方法,并成功地应用在电力行业ERP系统上,在对数据进行分页显示的时候,借助Ajax与服务器进行异步通信,从服务器获取指定页的数据,并在只重写局部页面的情况下实现分页,减少了无用信息的传输,达到了更友好的页面实现.     

数据挖掘技术在城市防汛中的应用

随着科学技术的发展和时代的进步,各种来源、各种类型的海量信息数据,每时每刻都在爆炸式地出现,当今社会进入了大数据时代。通过对大数据的分析统计、相关分析、数据挖掘,寻找其背后的规律,并利用数据挖掘、机器学习、深度学习等人工智能技术,对未来的发展趋势进行合理预测,是大数据分析的意义所在。介绍了数据挖掘技术的流程和方法,分析了数据挖掘技术在城市防汛方面的应用现状,结果表明,通过数据挖掘技术深入分析海量业务数据,寻找业务数据的规律,可为城市防汛工作提供及时有效的辅助决策建议。     

勘察设计企业电子档案管理系统研究与开发

以企业的档案数字化工作为起点,自主研发了一套基于虚拟服务器、企业网盘和B/S架构的档案系统,可对既有的47万件及持续增量电子档案进行管理。系统通过采用Hyper-V的虚拟化服务器架构和双备份的集中存储系统作为硬件基础,采用企业网盘作为电子文件管理载体,使电子档案管理系统通过虚拟服务器发布服务,对用户提供WEB界面进行数据查询、预览、下载、收藏、订单管理和统计功能,并采用数据接口解决了多系统间流程、文件交换的问题。电子档案管理系统充分吸收了"互联网+"的信息技术,在电子文件的数据库建设上实现了多种类型文件的数据归集和融合,采用了电商式的数据搜索引擎和筛选机制,提高了数据库使用效率和检索速度,提供更贴合当前互联网用户习惯的使用体验。通过流程和接口管理,将电子档案管理系统与业务生产系统对接,实现了成果自动入库,信息数据自动推送至数据库的功能,解决了传统归档人工填报的不及时、不全面、不准确问题。该系统目前已投入运行,完全支撑了企业生产、归档、交付的全过程。     

基于大数据技术的水电智能决策支持系统

针对水电企业生产系统数据分散,相互之间信息屏蔽隔绝,容易形成"数据孤岛",且不支持海量数据计算挖掘,不易发挥数据综合效益等问题,研制了基于大数据技术的水电生产智能决策支持系统,设计了系统的整体框架,构建了适应于水电生产的通用性数据模型体系,综合应用Hadoop架构与实时数据库系统实现以"水电生产"为核心的数据高度融合以及统一,在此基础上,面向不同层面、不同岗位、不同业务的需求,设计了设备运行状态分析、设备故障诊断,设备智能报警和异常预警等智能应用,以水电站集水井泵类设备为例,阐述了设备智能报警模型的构建方法,目前,基于大数据技术的水电智能决策支持系统已完成数据集成、平台部署与部分应用开发,能为决策层、管理层、执行层、操作层提供辅助决策支撑,应用效果良好。     

水力发电机组全工况稳定性分析——以水布垭电厂1号机组为例

对比分析了几种对水布垭电厂1号机组稳定性数据解析的方法,针对各种方法的长处与短处,提出使用Matlab分析机组稳定性的海量数据,完善了对其数据的可视化操作,便于寻找运行规律。并针对1号机组近几年来运行状况,对其调度控制提出了改进建议。     

VMware虚拟化安全在河南省水利信息化中的应用

随着服务器虚拟化技术在河南省水利信息中的广泛应用,其安全问题也日益受到关注。文章主要讨论了河南省水利信息化中服务器虚拟化面对的安全威胁,并进行了详细分析,给出了具体的基于不同层面的虚拟化安全的解决方案,为河南省水利信息化中VMware服务器虚拟化的稳定运行提供巨大的保障,为水利信息化数据的安全打下良好的基础。     

基于相似理论的智能监盘系统研究

智能监盘系统是智能水电站建设的重要组成部分。该系统利用现有的大数据分析、云计算、人工智能等先进技术,借助电站计算机监控系统的海量数据,对数据进行实时采集、实时分析;借助运行人员的监盘经验,设置合理的报警阈值,可提前发现设备出现的隐患。针对隐蔽性较强的趋势性异常,可通过趋势分析提前预警,保证设备的安全运行,同时可大大减轻运行人员的监盘压力,为电站安全生产、稳发满发提供保障。     

大型水轮发电机组水淹水车室预警决策模型研究

笔者分析了大型水轮发电机组水淹水车室事故产生的原因及特点,详细介绍了通过对运行大数据分析,构建基于水位预测、概率逻辑推理和故障知识图谱的预警决策辅助模型的解决方案,将水淹水车室事故由事后被动发现变为事前提前预知,建立了基于水车室设备的知识图谱,为指导相关人员对故障性质、故障位置、处置方式进行准确判断和消除设备隐患提供了新思路。该模型基于对海量数据分析研究建立,分析结果具有代表性,可广泛推广应用,运行结果经实际检验准确可靠,可有效解决实际问题,保障企业安全生产,促进管理水平提升。