孤立森林算法在大坝监测数据异常识别中的应用

大坝安全监测数据的可靠性和完整性是分析监测效应量变化规律、评判大坝运行性态的前提,有必要对大坝安全监测异常数据进行识别和清除,以提高监测数据质量。将适用于大数据处理的孤立森林算法应用于大坝监测异常数据识别中,首先通过小波变换提取监测数据的趋势项,然后采用孤立森林算法对扣除趋势项的剩余量进行异常值识别。通过实例对比分析发现该方法能有效识别大坝监测数据的异常值。     

大坝变形监测异常数据识别和重构模型

针对混凝土坝变形监测数据中的粗差和异常测值问题,提出了一种数据异常识别和重构模型。模型利用关联规则量化变形序列与水位序列的关联性,将监测数据输入DBSCAN聚类算法寻找异常点,利用关联结果将监测数据异常点分为粗差点与反映大坝性态点两类,保留反映大坝性态点,剔除粗差点,并利用改进的小波神经网络对粗差数据进行重构,保证监测序列完整性。某拱坝变形监测数据验证结果表明,该模型可以准确识别监测数据中的异常值,并能够获得更为准确的重构数据,为大坝实测性态评价提供了新的分析方法。     

考虑时间序列关联的大坝监测异常数据清洗

针对传统大坝安全监测中异常数据清洗方法主要分析单一监测效应量,较难区分粗差和环境突变引起的异常值,提出一种利用关联规则约束和引导大坝安全监测异常数据清洗方法。首先,通过关联规则辨识强关联性序列,结合基于密度的聚类算法识别序列中异常数据;然后,根据关联序列异常数据清洗规则,辨识大坝安全监测中粗差数据,并利用基于粒子群优化最小二乘支持向量机模型重构异常数据。最后,对大坝典型位移量数据进行异常数据清洗。结果表明:该方法能够甄别监测效应量中环境突变引起的异常值,提高了大坝安全监测数据中数据清洗的准确性。     

一种适用于海上风机监测数据实时处理的方法研究

海上风机监测异常数据实时处理,对于风机结构体系功能与安全状态的分析评价,具有十分重要的意义。但现阶段对于异常数据实时处理方法的研究还有待完善。本文结合风机实时监测数据特点,采用具有自动调整参数功能的AR(n)模型预测算法进行异常数据实时处理,对处理机制进行了分析。应用该方法对某海上风机实时采集风速及多种传感器监测数据进行了处理,讨论了该方法的精度及处理效率,验证了该方法对于处理风机异常监测数据的有效性和适用性。     

基于孤立森林算法的取用水量异常数据检测方法

水资源管理系统中储存着海量的取用水量数据,通过筛选数据中的异常值定位异常取水行为,是水资源监管的重要手段。对取用水量数据中的异常值普遍缺乏明确定义,传统的异常值检测算法在实时性和稳定性方面存在不足。在总结归纳现阶段取用水量异常数据种类、特点的基础上,首先运用平均插值法对可直观识别异常值进行预处理,在预处理后的数据中随机取样训练,建立多个孤立二叉树形成孤立森林,以此为工具对数据样本进行异常值检测。对某供水公司连续两年日取水量监测数据的实证分析结果表明,基于孤立森林算法的异常值检测方法将数据样本的特征通过非监督学习方式存储在森林中,具有更高的稳定性;能够准确检测出数据样本中的异常值,相比于传统最小二乘拟合方法具有更高的检出率。     

基于Prophet-GMM的大坝监测数据异常检测算法

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明：Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。     

基于AdaBoost算法的水质监测数据清洗方法

针对城市水质监测过程中出现的异常数据问题,提出了一种基于Ada Boost算法的数据清洗方法。首先,使用孤立森林算法识别异常数据并进行剔除;其次,基于AdaBoost算法对剔除异常数据后的缺失数据进行插补;最后,以贵州南明河国控断面水质监测数据为例,选取p H、COD、NH3-N、TP数据进行数据清洗。结果表明,该方法的RMSE、MAE和R2均优于对比算法,证明了AdaBoost算法具有更高的精确度和清洗效果,具有科学性和可行性。     

江西省水文监测数据整合应用实践

针对水文监测数据建设与管理分散、监测站点信息不统一、数据标准不统一、实时数据流转流程多样等问题,结合统一标准、统一数据源、统一应用建设需求,进行水文监测数据整合研究,梳理全省监测站点、建设全省站网管理系统,为业务应用系统提供统一的数据服务、制定统一的水文监测数据库标准、形成统一的水文监测数据底板,实现高效的水文数据服务,满足水文数据管理与共享的现代化应用以及智慧水利建设需求。     

大坝滑坡体监测数据的统计诊断

针对大坝滑坡体的监测资料分析,介绍了数据统计诊断方法,并对滑坡体的监测数据进行了异常值检验。结果表明,诊断异常点之后,模型的可靠性和精度有所提高。进一步对模型进行改进,选择了适合滑坡体位移分析的较佳模型。     

基于自适应卡尔曼滤波的沉降变形监测数据估计

针对观测数据异常导致滤波偏离的问题,提出了整体控制状态协方差阵自适应卡尔曼滤波方法,通过对某地铁隧道底板结构沉降监测数据进行处理,结果表明整体控制状态协方差阵自适应卡尔曼滤波方法不仅计算简单,而且能有效地控制观测数据异常对沉降变形监测系统参数估计的影响,提高变形监测数据估计的精度。     

现代谱估计在苏通大桥钢箱梁振动信号分析中的应用

及时准确地掌握桥梁的振动频率对桥梁健康监测和安全运营具有十分重要的意义。对苏通大桥钢箱梁GPS-RTK动态监测的三维变形数据进行时程变化分析。为有效地识别振动信号,针对传统谱估计算法的不足,提出采用基于AR模型的现代功率谱估计方法对监测数据进行频谱分析,计算得到了苏通大桥主梁振动的特征要素,所得结果与有限元计算值吻合。     

基于统计诊断的大坝监测数据合理性检验

基于统计诊断的异常数据划分,并结合大坝监测数据的误差成因,将监测的异常数据划分为随机误差、粗差、系统误差等,并辨识强影响数据。继而基于均值漂移模型,研究不同异常数据的诊断方法,包括以模型扰动值为依据的粗差的t检验法和以模型扰动对拟合参数的影响为依据的强影响数据的Cook距离检验法。以大坝典型位移监测数据为例,采用上述统计诊断方法对原始监测数据进行合理性检验,结果表明可有效辨识误差数据和强影响数据,能提高数据进一步建模分析的准确性。     

大规模降雨监测数据异常识别方法

为实现大规模降雨监测数据的异常识别和快速处理,基于Hampel法、格拉布斯准则、周边测站分析法和雷达辅助校验等方法,建立了递进式异常站点筛查体系,通过K-d tree(K-dimension tree)高级数据结构和并行计算方法提高计算效率,并以福建省5234个具有雨量监测功能的地面站2015—2021年雨量数据进行了验证,结果表明福建省地面站雨量监测数据质量逐年提升;各类测站中,雨量站异常站点占全部异常站点的比例最高,各类异常站点在全省相应类型站点中,雨量站异常站点的占比也最高;雷达辅助校验能够有效解决在雨区与非雨区边界、雨强差异较大的雨区边界的正常站点易被误判为异常值的问题,校验前异常识别准确率为90%左右,校验后准确率提高为95%左右。通过K-d tree和并行计算,全省测站完成一次异常识别需约5~8 min,为大规模降雨监测数据异常识别、充分利用雨量监测站有效信息提供可靠的方法。     

拱坝变形监测预报的随机森林模型及应用

大坝变形预报对大坝运行安全评估起着至关重要的作用。传统模型预报精度不够、模拟效果不稳定;若大坝变形数据有异常值时,传统机器算法模型识别和处理异常值的灵活性很小,导致预报结果有偏差。为了解决这些问题,首次将随机森林算法运用到大坝变形监测领域,将大坝测点根据随机森林相似性矩阵分成若干个子集,针对每一个子集建立随机森林预测模型,分区建立预测模型更符合工程实际情况。选取拱坝变形作为研究对象,验证所建模型的适用性。结果表明,根据随机森林的相似性矩阵对大坝各测点的分区情况符合物理和工程实际意义,对各分区子集测点利用随机森林模型建立的预测模型,与支持向量机、BP神经网络模型相比,预测结果精度较高、模型稳定性好,为大坝变形监测提供了新思路。     

智慧水厂能耗监测评价与异常诊断管理平台研究

为提升污水处理厂水处理过程的运行能效,加速推进智慧水厂向节能化、数字化方向转型,设计了一种面向污水处理厂的能耗监测评价与异常诊断管理平台。平台基于建筑信息模型和能耗管理系统,通过采集污水处理厂运行数据与气象数据等信息,建立基于机器学习算法的动态监督能耗预测模型,实现厂区运行状况实时监测与评价。运维管理人员可依据平台生成的状态评价指数,进行厂区能源结构调整与异常用能识别与诊断。最后,以实际案例数据验证了平台各功能模块的可行性与有效性。分析结果表明,平台预警模块可以监测反馈96%的异常用能情况。     

基于统计仿真和数据同化的流域水文过程模拟

针对模型参数率定计算负荷量和优化性能问题,以沙河流域为研究区域,基于分布式时变增益水文模型,通过PSUADE平台提供的响应曲面参数优化方法,结合误差纠偏的集合卡尔曼滤波数据同化算法,实现水文模拟的综合优化。利用流域出口流量观测作为验证数据,以纳西效率系数和水量平衡系数及其综合函数作为评价目标,借鉴响应曲面方法生成水文模型的统计仿真代理模型,对模型参数进行敏感性分析并缩小取值范围,利用全局优化方法实现参数率定。基于遥感蒸散发观测、借助集合卡尔曼滤波算法,进行水文模型的数据同化,实现流域径流过程模拟的有效校正。结果显示:借助统计仿真方法降低了参数率定的计算消耗;利用数据同化调整了模型模拟的轨迹,验证期水量平衡系数、纳西效率系数、综合评价指标分别达到1.102、0.798、0.152,整体径流模拟效果较好,蒸散发模拟结果同样得到改善。     

基于改进随机森林的大坝监测数据质量评价算法

针对大坝安全监测数据质量评价效率低下、智慧化不足等难题,为了满足大坝高频率自动化采集的实时数据质量评价需要,从准确性、完整性、时效性和连续性4个方面出发提出了6项评价因子及由相关评价规范构成的安全监测历史数据质量评价标准,通过基于AUC值改进的随机森林算法建立了大坝安全监测历史数据质量评价算法,并将该算法应用于新疆柳树沟面板堆石坝多年安全监测历史数据评价。结果表明：通过AUC值改进的随机森林算法优于原始算法,在特征属性数量取3时效果最好,测试集的泛化误差最小仅为0.019 5,平均准确率稳定在96.97%附近,10折交叉验证平均准确率达到97.77%,证明了该算法的可行性。     

基于参数不确定性的概率预报研究

水文模型参数的选取通常依靠经验判断或者依赖历史库中的不完备数据集进行自动优选,所选参数并不一定能够准确反映流域降雨径流特点,更不足以反映不同洪水涨落阶段洪水特征的变化。基于水文模型参数存在显著不确定性的客观事实,以随机参数驱动水文模型,并结合数值模型实现概率预报。通过东湾流域36场洪水模拟试验,揭示了水文参数不确定性对洪水预报结果的显著影响,提出的概率预报算法能够给出精确、可靠的预报结果,说明该算法能够降低水文模型参数所带来的洪水预报不确定性。     

基于参数不确定性的洪水概率预报研究

水文模型参数的选取通常依靠经验判断或者依赖历史库中的不完备数据集进行自动优选,所选参数并不一定能够准确反映流域降雨径流特点,更不足以反映不同洪水涨落阶段洪水特征的变化。基于水文模型的参数存在显著不确定性的客观事实,以随机参数驱动水文模型,并结合数值模型实现概率预报。通过东湾流域36场洪水模拟试验,揭示了水文参数不确定性对洪水预报结果的显著影响,验证了概率预报算法能够给出精确、可靠的预报结果,说明该算法能够降低水文模型参数所带来的洪水预报不确定性。     

大坝安全监测数据粗差识别技术研究

介绍了目前大坝安全监测数据处理工作中几种常用粗差识别技术的优缺点及适用范围,并针对这些常规方法中所存在的不足,采用时空判别技术和基于稳健性处理方法的粗差识别技术,对粗差数据进行判别。其中时空判别技术充分利用了观测序列本身的时空基本信息,将观测值与历史的或相邻的观测数据相比较来判别粗差;基于稳健估计算法的监控模型判别法克服了经典的最小二乘法所存在的抗粗差干扰性差这一缺点,在最小二乘回归的基础上逐步按残差大小加稳健化权,迭代求得模型参数的稳健估计,这一估计值最接近于无粗差影响时的正常估值。隔河岩大坝安全监测数据的实例分析表明,这些方法具有较强的粗差识别能力。