孤立森林算法在大坝监测数据异常识别中的应用

大坝安全监测数据的可靠性和完整性是分析监测效应量变化规律、评判大坝运行性态的前提,有必要对大坝安全监测异常数据进行识别和清除,以提高监测数据质量。将适用于大数据处理的孤立森林算法应用于大坝监测异常数据识别中,首先通过小波变换提取监测数据的趋势项,然后采用孤立森林算法对扣除趋势项的剩余量进行异常值识别。通过实例对比分析发现该方法能有效识别大坝监测数据的异常值。     

基于孤立森林算法的压力钢管实时在线人工智能分析

为实现水利水电工程压力钢管实时在线的人工智能状态分析，在对压力钢管实时在线监测数据的结构特点进行分析的基础上，探索在健康状态监测时适用的人工智能算法，并在对无监督机器学习算法的讨论中，确定采用孤立森林算法进行实时在线人工智能分析。通过对北京十三陵抽水蓄能电站１号引水系统压力钢管１＃支管和２＃支管监测数据计算后表明，孤立森林算法在不需要对传感器实时数据进行预处理情况下，具备良好的异常发现能力，且运行速度较快。工程实例表明，孤立森林算法为智能在线分析提供了条件，且特别适用于实时在线监测分析和健康状态安全预测预警。     

深度学习法检测大坝安全监测异常数据

有效检测出异常数据在大坝安全监测领域具有重要意义,但传统方法检测时受异常数据偏离大小和数量影响,鲁棒性较差。提出一种基于深度学习的大坝安全监测异常数据检测算法,模拟人工识别异常数据的过程,按分类和识别两个阶段检测异常数据,适用于检测变化趋势不确定的数据,其中标签数据集采取自动制作方式,具备反馈机制。试验结果表明该算法对各类异常添加模式的试验数据查准率平均达到0.97以上,查全率平均达到0.97以上,准确率平均达到0.99以上,尤其能有效找出小数值异常,比传统异常数据检测方法具有更好的检测稳定性、鲁棒性和实用性。     

利用组合模型评价云南省水资源利用效率

利用雷达图分析法将样本数据进行处理转化成雷达图,以雷达图面积作为特征量建立云模型;采用粒子群优化算法寻求最优值作为投影方向,再计算出样本的最佳投影值,然后通过投影寻踪将多维指标数据转化为简单一维数据,由此建立一种基于云模型和投影寻踪模型的组合评价模型。用组合评价模型对云南省2006—2012年的水资源利用效率进行了综合评价,结果表明,2012年水资源利用效率最高,并且水资源可持续利用度高的年份其万元GDP用水量和工农业万元产值用水量少,污水再生利用率高,COD排放量少。     

基于影响因子分解法的大坝监测数据异常检测算法

如何快速检测出大坝安全监测系统内的异常数据(例如粗差和告警值)对于大坝安全运行具有极其重要的意义，但传统方法容易漏检较小数值异常而对后续建模产生不利影响。提出了一种基于影响因子分解的异常值检测方法，通过快速小波变换及离散傅里叶变换提取监测序列中的显著趋势与周期，剥离环境因子的影响，构建余项序列，并结合小概率事件思想准确判定余项序列中保留的异常值，从而精确检测出监测序列中较小数值异常。实例验证结果表明：此方法具有较好的实用性与稳定性，各类监测序列中异常检测准确率均达98%以上，查准率与查全率均值分别为93%与92%,与传统检测方法相比，检测精确程度及泛化能力明显提升。     

基于LV-DBSCAN算法的大坝安全监测数据异常检测

大坝安全监测数据原始序列中常存在异常测值,极大影响了大坝安全监测资料分析的可靠性和准确性。为此,在分析异常值特性及传统异常检测方法优缺点的基础上,分别从局部与整体角度研究监测数据异常检测方法。首先针对多重局部异常系数法要求数据序列较长且数据等时间间距等缺陷,提出了局部变化异常系数法(LV)及局部方法与整体方法协同判别策略;进一步引入密度聚类算法(DBSCAN),提出了兼顾数据整体与局部特性的LV-DBSCAN异常检测方法。以某混凝土重力坝两垂线测点顺流向位移监测数据为实例,对比分析了不同方法在不同类型数据集上的检测精度。研究结果表明,所提LV-DBSCAN方法适用性更广,准确率更高,误判率更低。     

拱坝变形监测预报的随机森林模型及应用

大坝变形预报对大坝运行安全评估起着至关重要的作用。传统模型预报精度不够、模拟效果不稳定;若大坝变形数据有异常值时,传统机器算法模型识别和处理异常值的灵活性很小,导致预报结果有偏差。为了解决这些问题,首次将随机森林算法运用到大坝变形监测领域,将大坝测点根据随机森林相似性矩阵分成若干个子集,针对每一个子集建立随机森林预测模型,分区建立预测模型更符合工程实际情况。选取拱坝变形作为研究对象,验证所建模型的适用性。结果表明,根据随机森林的相似性矩阵对大坝各测点的分区情况符合物理和工程实际意义,对各分区子集测点利用随机森林模型建立的预测模型,与支持向量机、BP神经网络模型相比,预测结果精度较高、模型稳定性好,为大坝变形监测提供了新思路。     

基于Prophet-GMM的大坝监测数据异常检测算法

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明：Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。     

基于多因素长短时神经网络的日用水量预测方法研究

针对城市日用水量非线性变化问题,为实现水资源的优化调度和合理利用,提出一种深度学习的水量预测方法,建立多因素长短时神经网络模型预测日用水量。该方法选取影响日用水量的因素作为输入特征,日用水量时间序列数据作为训练样本,利用数据挖掘,输出用水量预测值。结合杭州示范区实际案例,与传统的人工神经网络方法进行对比,结果表明,长短时神经网络的预测结果优于传统的人工神经网络,并且基于多因素长短时神经网络模型的预测结果优于单因素长短时神经网络模型,预测结果具有较强的精度和稳定性。     

水价对农业用水需求的影响分析

为合理配置水资源、提升水资源使用效率、稳定农业发展、发挥水利工程效益,科学、合理地确定农业水价,充分发挥水价杠杆调节水资源供需结构,具有重要的现实意义.通过对江苏省典型灌区农业用水量、水价、年降雨量、作物种类预处理,分析了水价上涨对农业用水量下降的影响,说明农业用水价格弹性是客观存在的,研究这种弹性对节水规划和水价改革都具有重要的指导作用.     

基于Kmeans-EMD与IWOA-Elman的碾压速度异常值检测与修正

碾压速度是评价压实质量的重要指标,但在监控过程中,碾压速度易受施工环境、定位漂移等干扰而出现异常检测值,影响压实质量的评价精度,但目前还缺乏对碾压速度异常值检测与修正的相关方法研究。为保障碾压速度的数据质量,结合碾压速度的时序变化特征,利用Kmeans算法初步定性检测异常值,弱化异常值对经验模态分解(EMD)结果的影响,并基于EMD实现对异常值的精细定量检测,提高异常值检测的精度;进而利用经混沌种群初始化、非线性收敛因子、自适应惯性权重与鲶鱼效应-黄金正弦改进的鲸鱼优化算法(IWOA)优化Elman神经网络,并构建碾压速度异常值修正模型,实现对碾压速度异常值的修正。将本文方法应用于西南某大型水电工程,结果表明：Kmeans算法与EMD的联合作用相比箱线图法可更高精度地检测碾压速度中的异常值;IWOA-Elman神经网络预测值与真实值的相关系数达到0.907 75,相比常规模型不仅可以更好地确保数据的完整性与可靠性,还可以为压实质量的高精度评价奠定良好的数据基础。     

Anomaly Detection and Reliability Analysis of Groundwater by Crude Monte Carlo and Importance Sampling Approaches

In this paper, Crude Monte Carlo method and importance sampling are utilized to determine the reliability of long-term changes in groundwater level. Furthermore, different data analysis methods are used to determine the abnormal patterns and to investigate the cause of spatial variations of failure probability. For this purpose, three methods including robust covariance, one-class SVM, and Isolation Forest are applied to define the decision function. In the preliminary detection of the outliers, DFFITS and COOK measures are used to confirm the existence of abnormal plains in a two-dimensional space. The validity of prediction results is verified through the developed method of uncertain monitoring by selecting the most significant outlier points. In addition, the abnormal pattern detection methods are compared using non-random pattern discovery decision functions. The reliability analysis of groundwater is conducted during the two periods from 1994 to 2007 and 2008 to 2021. In the second period, parts of the eastern part of the northwest, central parts of the desert of Iran, and areas from west-southwest and east-south-east to other regions exposed to a lower probability of passing through the critical conditions. In contrast, the outcomes confirm the occurrence of drought with probability more than 80% for most of the plains. Eventually, the importance sampling method showed the closest relation in the correct distribution of the decision function. In contrast, due to the cluster shape and density of the outliers, the upper part of the decision function was determined with high certainty in the discovery of abnormal plains.     

Waterloss Detection in Water Distribution Networks using Wavelet Change-Point Detection

The work presented herein addresses the automatic detection of water losses in water distribution networks (WDN), through the dynamic analysis of the time series related to water consumption within the network and the use of a wavelet change-point detection classifier for identifying anomalies in the consumption patterns. The wavelet change-point method utilizes the continuous wavelet transform (CWT) of time-series (signals) to analyze how the frequency content of a signal changes over time. In the case of water distribution networks the time-series relates to streaming water consumption data from automatic meter reading (AMR) devices, at either the individual consumers’ level or at an aggregated district meter area (DMA) level. The wavelet change-point detection method analyzes the provided time-series to acquire inherent knowledge on water consumption under normal conditions at household or area-wide levels, to then make inferences about water consumption under abnormal conditions. The method is demonstrated on several abnormal WDN operating conditions and anomaly detection cases.     

基于灰色遗传BP神经网络的校园区间需水预测研究

水资源预测是城市安全用水的基础保障,而校园用水预测是城市用水规划和管理的组成部分。针对校园用水受很多因素影响产生的不确定性,提出了基于灰色遗传BP神经的校园用水预测模型。模型对校园用水的数据进行灰色关联分析,并加入遗传算法去优化BP神经网络,经过残差计算,输出区间的预测值。运用该模型可以充分提取小样本信息,解决神经网络无法自动寻优的问题。通过Matlab对校园的用水区间数据进行仿真,得出的结果显示,预测的数据和实际数据基本吻合,其仿真精度可以达到90. 32%,验证了该方法的可行性,此预测方法有一定的借鉴意义。     

基于实时监控的混凝土坝振捣施工质量动态评价研究

混凝土坝仓面振捣质量评价是混凝土坝施工质量控制的重要手段。传统方法采用事中人工经验控制振捣参数与事后有限的钻芯取样点检测相结合来控制混凝土坝振捣施工质量;此外,现有的振捣台车振捣监控研究中仅采用单个测距仪进行测距,且缺乏仓面振捣质量评价方法。针对混凝土坝仓面内振捣施工实时质量动态评价和反馈控制的挑战和难点,本文提出了基于双测距仪联合测距方案的混凝土坝振捣施工质量实时监控方法,并基于该方法建立了考虑混凝土特性参数不确定性的混凝土振捣质量动态评价模型,该模型主要包括以下内容:(1)引入"信息熵"理论对混凝土特性参数的不确定性进行量化分析;(2)在考虑参数不确定性的情况下基于随机森林算法提出了混凝土抗压强度动态计算方法,并将计算结果应用于混凝土坝全仓面振捣质量评价。将该模型与多元线性回归和人工神经网络算法建立的评价模型进行了对比分析,验证了本模型的一致性和优越性。应用本文提出的评价方法对我国某西南碾压混凝土坝工程仓面变态混凝土区域的振捣质量进行了动态评价,结果表明,该方法能够准确评价仓面混凝土振捣质量,为混凝土坝振捣施工质量控制提供了理论依据。     

水利工程灌浆大数据平台设计与实现

随着云计算、大数据、物联网的发展,水利工程各类采集数据与日俱增,面对如此大规模的数据集,传统存储、计算相关的理论和方法已不能满足海量、多源、异构数据的存取与处理。针对水利工程灌浆大数据,设计平台总体架构,搭建Hadoop分布式集群,设计并行化数据挖掘算法,实现水利工程灌浆大数据平台,并基于B/S服务模式进行平台展现、应用和管理。平台功能模块主要包括数据资源下载、数据集上传与运行、自定义算法、运行状态及结果和大数据可视化等,并结合白鹤滩水利工程建立基于随机森林的灌浆工程单位注入量预测模型和基于K-Means聚类的灌浆成果异常检测模型进行应用示范。平台的设计与实现融合水利工程结构化与非结构化数据,将大数据集群并行计算和数据挖掘技术应用到水利工程中,改变传统随机抽样和单一挖掘分析模型,采用多粒度、多层次、多渠道的分析模型对数据全量进行挖掘分析,从海量数据中挖掘分析出于管理、决策和生产有用的信息,实现了数据资源的集成共享、业务的高效处理、数据信息的知识发现,提高了数据存储和处理效率和精度,为当前水利工程大数据的存储与计算提供一种新的解决思路     

一种适用于海上风机监测数据实时处理的方法研究

海上风机监测异常数据实时处理,对于风机结构体系功能与安全状态的分析评价,具有十分重要的意义。但现阶段对于异常数据实时处理方法的研究还有待完善。本文结合风机实时监测数据特点,采用具有自动调整参数功能的AR(n)模型预测算法进行异常数据实时处理,对处理机制进行了分析。应用该方法对某海上风机实时采集风速及多种传感器监测数据进行了处理,讨论了该方法的精度及处理效率,验证了该方法对于处理风机异常监测数据的有效性和适用性。     

Using CANARY event detection software for water quality analysis in the Milwaukee River

Urban water sources are susceptible to various contamination events as a result of natural, accidental, and human-induced occurrences. An early warning monitoring system provides timely information on changes in urban water quality. In this study, an analysis was made with CANARY event detection software (EDS) to monitor water quality parameters in river water and to identify the onset of anomalous water quality periods. Water quality signals including pH, conductivity, and turbidity from the Milwaukee River over specified periods during the summer season of 2018–2020 were employed as inputs to event detection algorithms in CANARY. The data analysis results show that CANARY can be useful as an early warning system for monitoring contamination in urban water sources and help to identify abnormal conditions quickly. The sensibility of the model relies on optimizing the configuration parameters, which involves selecting the ideal set of parameters for the event detection algorithm and adjusting the BED parameters to increase or decrease the probability of generating an alarm. The number of events reported between the Linear Prediction Correction Filter (LPCF) and Multivariate Nearest Neighbor (MVNN) algorithms varied as a result of different residual calculation mechanisms. Climate factors that contributed to the abnormal water quality events in the river were examined. The analysis of rainfall on water quality was carried out using a statistical method by determining whether there is a significant difference (p-value) between the seasonal mean water quality data and the mean value of water parameters during the sampling duration. Regression analysis was also performed to estimate the best model that describes the relationship between each of the water quality parameters and temperature.     

基于LONWORKS技术的水闸泵站现场监控系统设计

以Lonworks设备网络化技术构造水闸泵站的现场监控网络，以Webservice技术构造水利信息化管理平台。阐述了系统架构设计和实时监控系统设计。所构建的闸群远程智能监控系统和开放的数据管理平台，为水情、工情信息的实时采集和智能决策，为水资源调度和防汛决策指挥提供了有力的支撑。