考虑时间序列关联的大坝监测异常数据清洗

针对传统大坝安全监测中异常数据清洗方法主要分析单一监测效应量,较难区分粗差和环境突变引起的异常值,提出一种利用关联规则约束和引导大坝安全监测异常数据清洗方法。首先,通过关联规则辨识强关联性序列,结合基于密度的聚类算法识别序列中异常数据;然后,根据关联序列异常数据清洗规则,辨识大坝安全监测中粗差数据,并利用基于粒子群优化最小二乘支持向量机模型重构异常数据。最后,对大坝典型位移量数据进行异常数据清洗。结果表明:该方法能够甄别监测效应量中环境突变引起的异常值,提高了大坝安全监测数据中数据清洗的准确性。     

基于3σ-SSA的数据清洗方法在大坝智慧安全监测系统中的应用

数字孪生智慧水利感知网络返回的自动化监测数据具有监测频次高、数据量大、异常值多的特点,传统数据清洗方法难以满足数据预处理精度要求。针对该问题,提出利用奇异谱分析(Singular Spectrum Analysis, SSA)对数据序列进行重构,并根据3σ准则对实测值及重构数据之间的残差序列进行统计检验,从而实现数据异常值自动识别的数据清洗方法。依托工程实例对该方法的有效性及可应用性进行校验,结果显示,构建的3σ-SSA分析数据清洗方法具有易于实现自动化、对环境量数据依赖度低、处理异常值较多的自动化监测数据仍保持较高准确性等特点。目前已依托国内某水库数字孪生建设工程,在该水库的大坝智慧安全监测系统中得到成功应用。     

基于孤立森林算法的取用水量异常数据检测方法

水资源管理系统中储存着海量的取用水量数据,通过筛选数据中的异常值定位异常取水行为,是水资源监管的重要手段。对取用水量数据中的异常值普遍缺乏明确定义,传统的异常值检测算法在实时性和稳定性方面存在不足。在总结归纳现阶段取用水量异常数据种类、特点的基础上,首先运用平均插值法对可直观识别异常值进行预处理,在预处理后的数据中随机取样训练,建立多个孤立二叉树形成孤立森林,以此为工具对数据样本进行异常值检测。对某供水公司连续两年日取水量监测数据的实证分析结果表明,基于孤立森林算法的异常值检测方法将数据样本的特征通过非监督学习方式存储在森林中,具有更高的稳定性;能够准确检测出数据样本中的异常值,相比于传统最小二乘拟合方法具有更高的检出率。     

深度学习法检测大坝安全监测异常数据

有效检测出异常数据在大坝安全监测领域具有重要意义,但传统方法检测时受异常数据偏离大小和数量影响,鲁棒性较差。提出一种基于深度学习的大坝安全监测异常数据检测算法,模拟人工识别异常数据的过程,按分类和识别两个阶段检测异常数据,适用于检测变化趋势不确定的数据,其中标签数据集采取自动制作方式,具备反馈机制。试验结果表明该算法对各类异常添加模式的试验数据查准率平均达到0.97以上,查全率平均达到0.97以上,准确率平均达到0.99以上,尤其能有效找出小数值异常,比传统异常数据检测方法具有更好的检测稳定性、鲁棒性和实用性。     

基于VMD-PSO-LSTM水质预测模型的应用研究

河道水质预测精度的准确性有利于解决水污染防治和水质监管等问题。基于变分模态分解(VMD)在处理非平稳序列上的优势、长短时记忆神经网络(LSTM)在处理长时间序列的非线性问题上的优势以及粒子群算法(PSO)能自适应寻优的优势,提出了一种基于VMD-PSO-LSTM模型的河流水质预测方法。以河南南阳当地2020年5月—2020年10月的水质中高锰酸盐数据为验证数据,对水质评价指标中的高锰酸盐含量进行预测。通过与PSO-LSTM和SVR等模型进行对比,实验结果表明,VMD-PSO-LSTM水质预测的结果精确度最高,且具有更快的收敛速度。     

基于数据驱动模型的入海污染源排污削减优化方法研究

陆源污染物排放是影响近岸海域水环境生态质量最重要的因素。建立了数据驱动模型人工神经网络算法和海域水质模型相耦合的入海污染源排污削减优化方法:基于水质模型污染源项设计工况的数值计算,获得海域内部观测点污染物浓度;以数据驱动模型人工神经网络算法建立状态变量(海域内部观测点污染物浓度)同控制变量(污染源项)之间的非线性关系;以海域内部观测点环境目标数据为输入,模拟推算出目标前提下的各污染源项入海允许排放量;最终结合实际排污量,核算获得削减量。以连云港徐圩海域4个入海污染源无机氮的排污削减研究验证方法的有效性,结果表明:数据驱动人工神经网络方法具有非线性、简洁、灵活的优点,可以为近岸海域水污染控制工作提供基础数据支撑;同时研究中采用分区排污削减的方式更能体现兼顾公平的基本原则,优化入海污染源排污削减工作。     

利用单纯形-混沌优化算法确定河流水质模型参数

针对混沌优化算法收敛速度较慢的缺点,将单纯形算法和混沌优化算法结合,构造单纯形-混沌优化算法,并将该方法应用于分析一维河流水团示踪试验数据,求解河流水质模型参数的函数优化问题。结果表明,该算法可以有效确定河流水质模型参数,较单纯形法具有更好的收敛性、较混沌优化算法具有更快的收敛速度。     

ADCP流速数据综合滤波算法研究

针对现有ADCP流速数据滤波方法单一导致滤波效果不佳的缺陷,在分析ADCP观测误差来源的基础上,基于对几种流速滤波方法的特点的总结分析,给出了一种ADCP数据综合滤波方法,即首先设计自适应窗口,利用中值滤波对原始流速数据进行异常值剔除得到初步结果,继而分析初步结果的功率谱图,设计DFT滤波器;对初步结果进行窗函数法滤波,以获得最佳滤波效果。实验结果表明,综合滤波法对白噪声(随机误差)滤除效果较好,特别是对存在少量连续、非连续异常值的流速数据,其滤波结果优于传统滤波方法。     

喷雾法制备压实膨润土试样的含水率有效性研究

为了探究喷雾法制备压实膨润土试样目标含水率的可靠性,考虑加水量(目标含水率)、静置时间、压实力这3个因素对压实试样实际含水率的影响,设计正交试验方案,测定试样上、下部含水率。试验结果表明:①试验成果中出现异常数据,表明该法在配制过程中存在人为性,需剔除异常数据再分析;②随着加水量增加,压实试样上部和下部含水率均由大于目标含水率演变为小于目标含水率,加水造成局部团聚现象减弱,拌料过程中水量损失增加;静置时间和压应力显著影响压实试样内含水率均匀度。由于喷雾法相对其他方法具有时间优越性,在剔除异常试验数据后,该法是值得推荐的,但膨润土拌制过程中,存在水量损失,建议在使用前进行实际含水率校正。     

改进的反距离权重法在PIV流场测量系统中的应用

从流体连续性原理出发，提出了一种基于Delaunay三角网通量平衡的反距离权重插值算法，应用于PIV流场测量系统流场后处理模块中。通过模拟流体漩涡试验，对该方法进行验证，结果表明，该方法能准确把控制点数据插值到规则目标点网格，且能有效地剔除流场误矢量，具有较广泛的适用性。     

闽江流域水质时间序列变化趋势识别及特征分析

针对传统方法难以反映水质指标时间序列非线性、局部特征的问题,提出一种结合STL时间序列分解算法和Mann-Kendall趋势检验算法的水质时间序列识别与分析方法。该法首先应用STL时序分解算法对水质指标的时序数据进行回归分解,分离出水质指标趋势项,利用Mann-Kendall检验法,识别并分析出水质指标趋势项的变化趋势及特征。选用2014-2018年闽江流域12个监测站点、8个水质指标时间序列作为分析数据源,结果表明:闽江流域水质状况整体较好且呈现出稳步提高的趋势;闽江上游水质整体上优于闽江下游,但有机物污染较下游更为严重;闽江下游NH3—N、TP浓度下降趋势明显,但DO值较上游偏低并成为影响水质的主导因素。     

冰浆清洗供水管道影响因素分析及效果评估

供水管网为城市供水系统的重要一环,但由于部分供水管道使用时间较长,其内部滋生沉淀了大量的管道垢物,从而影响了供水水质。冰浆清洗供水管道技术操作简便、安全高效,可进行长距离的管道清洗,已成熟应用于供水管道清洗作业中。基于400多个实际供水管道清洗作业数据,探究了其对不同管长以及不同管径的管道清洗效果,讨论了不同推动水流速度以及不同水温对冰浆清管效果的影响。同时对管道清洗效果以及性价比进行综合评价,提出冰浆的最佳注入策略,以期为冰浆清洗供水管道作业提供技术指导。     

基于Prophet-GMM的大坝监测数据异常检测算法

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明：Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。     

2种改进的数据处理方法及其在SIS的应用

火电厂过程参数测量的精度和可靠性是限制厂级监控信息系统（SIS）应用的决定因素。介绍了多测点和单测点情况下改进的数据修补处理方法。基于概率理论，采用加权处理方法，对多测点数据处理方法进行了改进;根据单测点测量参数连续变化的规律，提出外推剔除法，用外推值替换异常值以提高参数可靠性。2种数据处理方法简捷、高效、精度高，应用于某厂SIS，效果良好。     

基于粗糙集与支持向量机的混凝土坝施工温度过程预测

基于径向基核函数的支持向量机数据挖掘模型,建立大坝施工期温度时程与相关影响因素的关联规则,实现了大坝施工期温度时程快速、实时监测。首先,通过大坝实际浇筑数据的清洗、融合,建立大坝施工期数据库,为模型提供数据快速提取接口。继而,根据粗糙集属性重要度理论进行条件属性约简,剔除冗余属性,确定输入变量;然后,用交叉验证算法,确定模型最优参数;最后,随机选取142个样本作为训练集建立支持向量模型,并使用模型预测剩余的35个样本,模型预测温度时程与实测温度时程基本吻合,模型精度较高且稳定性较好。     

异常电力负荷数据的辨识方法研究

为了满足实际对负荷预测精度的要求,提高中期负荷预测的准确性,针对目前异常数据辨识方法工作量大,人工干预较多,易误判、漏判的现状,以及电力系统年负荷曲线所具有的纵向相似性和横向相似性,提出了基于数理统计及三点平滑原理的异常数据辨识和修正算法.通过对甘肃省电网实际历史数据的辨识和修正研究,验证了此方法具有简单实用、工作量小、人工干预大大减少等优点,提高了负荷预测精度,具有一定的有效性和适用性.     

基于SSA-DBSCAN的边坡安全监测数据粗差探测方法

考虑到边坡安全监测数据中存在粗差这一问题,提出了一种基于奇异谱分析(SSA)和密度聚类算法(DBSCAN)的粗差探测法,该方法结合SSA在提取信号和DBSCAN算法在区分粗差和异常值上的优势:首先使用SSA对监测序列进行分解重构,准确提取主信号并获取残余分量;然后使用DBSCAN聚类算法对残余分量进行分析;最后联合2种方法确定粗差点并剔除。通过引入多因素影响的边坡监测序列实例进行验证,并且将SSA-DBSCAN粗差探测法与中位数绝对偏差法(MAD)和格拉布斯准则法(Grubbs)进行比较分析。结果表明,本文提出的SSA-DBSCAN粗差探测法与上述方法相比性能优异、误判率低,可为后续监测数据分析处理乃至于预测预警奠定基础。     

一种适用于海上风机监测数据实时处理的方法研究

海上风机监测异常数据实时处理,对于风机结构体系功能与安全状态的分析评价,具有十分重要的意义。但现阶段对于异常数据实时处理方法的研究还有待完善。本文结合风机实时监测数据特点,采用具有自动调整参数功能的AR(n)模型预测算法进行异常数据实时处理,对处理机制进行了分析。应用该方法对某海上风机实时采集风速及多种传感器监测数据进行了处理,讨论了该方法的精度及处理效率,验证了该方法对于处理风机异常监测数据的有效性和适用性。     

大坝变形监测异常数据识别和重构模型

针对混凝土坝变形监测数据中的粗差和异常测值问题,提出了一种数据异常识别和重构模型。模型利用关联规则量化变形序列与水位序列的关联性,将监测数据输入DBSCAN聚类算法寻找异常点,利用关联结果将监测数据异常点分为粗差点与反映大坝性态点两类,保留反映大坝性态点,剔除粗差点,并利用改进的小波神经网络对粗差数据进行重构,保证监测序列完整性。某拱坝变形监测数据验证结果表明,该模型可以准确识别监测数据中的异常值,并能够获得更为准确的重构数据,为大坝实测性态评价提供了新的分析方法。     

河流悬移质通量估算方法比较及结果影响因素分析

水文测验中对水质方面浓度数据的观测时间间隔一般都比较长,对其年通量进行计算时存在较大的不确定性,而对悬移质泥沙一般都有比较密集的观测数据。以长系列悬移质泥沙数据为基础,按不同的时间间隔选出数据,用目前常用的6种估算方法计算得到通量;然后从算法的无偏性和稳定性两个方面对各方法的计算精度和适用范围进行分析。结果表明:A,B两种算法存在显著误差,估算值较真实值小;当采样效率高,测站流域面积较大时,C,D,E,F方法的系统误差几乎为0;各方法的估算结果与采样周期控制流域面积关系显著。所得结论对评估水质方面有关通量计算方法的精度有一定参考意义。