基于卷积神经网络的大坝安全监测数据异常识别

为了减轻大坝安全监测数据异常识别的数据处理压力,解决传统方法难以辨别非最值异常点的问题,提出利用卷积神经网络(CNN)识别大坝安全监测数据异常模式.监测数据过程线的周期性及异常值的显著差别使CNN得以发挥图像分类功能,分别将存在单个突跳点、无异常、存在震荡段、台阶、多个突跳点、台坎的监测数据过程线作为6类图像,人工生成...     

基于奇异值分解算法的大坝监测数据回归模型

针对大坝观测数据统计回归计算中出现的数据共线性和观测数据中的粗差问题,应用奇异值分解算法计算大坝统计模型中的系数。计算结果表明,基于奇异值分解算法的模型能够在这2个常见问题上均取得较满意的结果。     

孤立森林算法在大坝监测数据异常识别中的应用

大坝安全监测数据的可靠性和完整性是分析监测效应量变化规律、评判大坝运行性态的前提,有必要对大坝安全监测异常数据进行识别和清除,以提高监测数据质量。将适用于大数据处理的孤立森林算法应用于大坝监测异常数据识别中,首先通过小波变换提取监测数据的趋势项,然后采用孤立森林算法对扣除趋势项的剩余量进行异常值识别。通过实例对比分析发现该方法能有效识别大坝监测数据的异常值。     

大坝安全监测数据实时异常诊断研究

在大坝安全监测自动化采集系统数据采集过程中.受各种因素的影响会出现监测数据异常.在总结以往各种诊断方法的基础上,提出了一种快速、及时诊断数据异常的方法,并运用Delphi2007为开发语言,开发出了大坝安全监测数据实时异常诊断模块.实际运用表明,采用该方法能快速诊断出大坝安全监测数据中的异常值.     

大坝滑坡体监测数据的统计诊断

针对大坝滑坡体的监测资料分析,介绍了数据统计诊断方法,并对滑坡体的监测数据进行了异常值检验。结果表明,诊断异常点之后,模型的可靠性和精度有所提高。进一步对模型进行改进,选择了适合滑坡体位移分析的较佳模型。     

基于Prophet-GMM的大坝监测数据异常检测算法

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明：Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。     

大坝变形监测数据异常值检验与分析

大坝安全监测资料中可能存在一些异常测值.这些异常测值对大坝结构性态评价和大坝安全监控会产生较大影响,必须进行判断和处理.介绍了狄克松判别法和格拉布斯判别法,并对某水电厂监测数据进行了实例分析.结果表明:狄克松判别法和格拉布斯判别法对于大坝安全监测数据中有个别异常测值的情况都可以进行检验和定位.大坝变形受很多因素的影响,其异常观测值不一定就是粗差,可能包含有其他方面的信息,因此对发现的异常值需要进行综合分析.     

大坝安全监测异常测值分析及其模块的实现

 大坝安全监测资料中可能存在有一些异常测值,这些异常测值对大坝结构性态评价和大坝安全监控会产生较大影响,必须进行判断和处理。为此研究了从理论上判断和处理异常测值的方法,解决了利用计算机手段判断和处理异常测值的一些关键性技术问题,建立了大坝安全监测信息管理系统中的异常测值判断和处理模块。工程应用表明,其模块具有友好的可视化用户界面和高效可靠的判断处理能力。     

大坝安全监测数据通用报表设计与实现

针对目前大坝安全监测数据报表普遍存在格式差异大、适用面窄、制作费时费力等不足,设计一种以现行大坝监测资料整编规程为基础,可以适应不同单位对监测数据报表特殊要求的通用报表.在详细讨论通用报表开发目标的基础之上,以Delphi2007为前端开发工具,结合Microsoft Office的宏语言,应用混合编程方法,在大坝安全监测系统中成功地实现了满足开发目标的通用报表.实践证明,通用报表较好地实现了规范性和灵活性的协调统一.     

基于图像处理技术的大坝监测数据粗差识别

为实现大坝长久稳定的安全服役, 避免监测资料中的粗差对大坝安全监测结果产生影响, 需要对监测数据中的粗差进行剔除。由于目前的粗差识别方法依旧会造成粗差漏判、误判情况的发生, 通过模仿人工识别数据粗差的过程, 运用程序设计语言, 提出一种基于图像处理技术的自动化粗差识别方法。首先对依据监测数据绘制出的散点图进行高斯模糊和二值化处理, 再提取主要趋势线, 最后识别出监测数据中的粗差点并进行剔除。选取某实际工程大坝监测资料, 运用该方法对其进行粗差识别, 并与传统 3R 识别准则的粗差识别效果进行对比。算例结果表明: 该方法对数据粗差的识别效果更加显著, 避免了粗差漏判情况的发生, 对粗差的剔除更彻底; 利用该方法识别后得到的统计模型复相关系数为 0.999, 标准差为 0.192, 模型精度更高, 也更符合工程实际情况。因此, 该方法具有一定的工程应用前景和实用价值。     

基于SVM-MCD的大坝变形监测数据异常值判定

变形是最能直观反映混凝土坝运行性能的宏观效应量。考虑到监测数据异常值对监控模型精度与大坝安全性态诊断的不利影响,提出了一种基于支持向量机的混凝土坝变形监测数据异常值判定方法。在分析混凝土坝原型变形监测数据显性异常点的基础上,通过构建基于支持向量机理论(SVM)的高精度计算体系,充分利用结果效应量与驱动环境量之间的映射交互关系,结合最小协方差矩阵(MCD)稳健估计理论对残差序列进行异常值判定,而后将其异常确定值进行有机性替代处理,解决了内蕴复杂环境干预的监测信息挖掘难点。工程实例分析表明：所建判定系统的精准性及泛化能力均得以提升,相比于传统方法具有较好的实用性和鲁棒性,能有效地避免变形监测数据预处理中的误判漏判等困扰。此外,所提出的判定方法经一定的优化和拓展,亦可推广应用于其他水工建筑物的数据异常值判定分析。     

基于改进随机森林算法的水文监测数据异常识别研究

为了提高水文监测的准确性,提出基于改进随机森林算法的水文监测数据异常识别方法。采用全局数据模式建立水文监测数据库管理模型,通过水文监测数据源之间的异构性参数,结合数据源的结构化特征分析,采用水文变化语义约束的特征分析方法,建立水文监测数据异常滤波模型;通过改进随机森林算法,进行水文监测数据异常特征提取,根据观测数据流的模式变化实现对水文监测数据的异常数据特征聚类分析和模式识别;通过构建动态水文观测数据与水文的时空分布模型,采用高层语义特征分析方法,根据实时水位数据流的量化参数分析,采用语义相似性度量方法,通过在线观测数据清洗,实现对水文监测数据异常特征识别和聚类分析,提高水文动态监测能力。仿真结果表明,采用该方法进行水文监测数据异常识别的可靠性较高,对水文变化的动态分析和识别能力较强,可提高水文监测的质量水平。     

基于影响因子分解法的大坝监测数据异常检测算法

如何快速检测出大坝安全监测系统内的异常数据(例如粗差和告警值)对于大坝安全运行具有极其重要的意义,但传统方法容易漏检较小数值异常而对后续建模产生不利影响。提出了一种基于影响因子分解的异常值检测方法,通过快速小波变换及离散傅里叶变换提取监测序列中的显著趋势与周期,剥离环境因子的影响,构建余项序列,并结合小概率事件思想准确判定余项序列中保留的异常值,从而精确检测出监测序列中较小数值异常。实例验证结果表明：此方法具有较好的实用性与稳定性,各类监测序列中异常检测准确率均达98%以上,查准率与查全率均值分别为93%与92%,与传统检测方法相比,检测精确程度及泛化能力明显提升。     

大坝安全监测数据粗差识别技术研究

介绍了目前大坝安全监测数据处理工作中几种常用粗差识别技术的优缺点及适用范围,并针对这些常规方法中所存在的不足,采用时空判别技术和基于稳健性处理方法的粗差识别技术,对粗差数据进行判别。其中时空判别技术充分利用了观测序列本身的时空基本信息,将观测值与历史的或相邻的观测数据相比较来判别粗差;基于稳健估计算法的监控模型判别法克服了经典的最小二乘法所存在的抗粗差干扰性差这一缺点,在最小二乘回归的基础上逐步按残差大小加稳健化权,迭代求得模型参数的稳健估计,这一估计值最接近于无粗差影响时的正常估值。隔河岩大坝安全监测数据的实例分析表明,这些方法具有较强的粗差识别能力。     

基于人工免疫模式的大坝监测数据粗差识别

粗差的存在会对大坝安全监测的结果造成较大的影响,而现今传统的粗差识别方法还存在着操作繁琐、应用数据类型有限、易少判误判等缺陷。因此,为了弥补传统粗差识别方法的不足,提高粗差识别的效率,采取了借鉴人工免疫的工作模式对监测数据进行分层打分的方法,将其与现有粗差检验方法结合,提出并设计出基于人工免疫模式的多层粗差检验法。以实际工程大坝水平位移监测数据的粗差识别为例,对工程的水平位移监测数据进行粗差识别。算例验证结果表明:这种新型的多层粗差检验法对大容量数据的粗差识别操作更为简便、效率更高。与传统粗差识别相比,其数据识别种类变广,而且其多层打分的检验模式使得识别结果更为严谨,可以有效减少粗差错判少判的情况。     

基于LV-DBSCAN算法的大坝安全监测数据异常检测

大坝安全监测数据原始序列中常存在异常测值,极大影响了大坝安全监测资料分析的可靠性和准确性。为此,在分析异常值特性及传统异常检测方法优缺点的基础上,分别从局部与整体角度研究监测数据异常检测方法。首先针对多重局部异常系数法要求数据序列较长且数据等时间间距等缺陷,提出了局部变化异常系数法(LV)及局部方法与整体方法协同判别策略;进一步引入密度聚类算法(DBSCAN),提出了兼顾数据整体与局部特性的LV-DBSCAN异常检测方法。以某混凝土重力坝两垂线测点顺流向位移监测数据为实例,对比分析了不同方法在不同类型数据集上的检测精度。研究结果表明,所提LV-DBSCAN方法适用性更广,准确率更高,误判率更低。     

水电站大坝安全监测数据的检查与质量控制

大坝安全监测数据主要包括变形、渗流、应力应变及温度、环境量四大项目的观测数据。从管理角度阐述了如何对这些数据进行方便、有效的检查,并对检查工作进行质量监督,切实保证数据的真实性和有效性。     

基于相似测点残差信息挖掘的大坝变形异常值识别方法研究

为了提高监测数据中异常量的识别精度，提出了一种基于相似测点残差信息挖掘的大坝变形异常值识别方法。通过EMD算法进行相似测点变形的残差分离；基于变形残差与测点变形的相关性定量地研究测点间的残差权重，进而采用LSTM算法对变形测值进行训练得到估计变形量；最后建立异常值识别空间并分析变形中的异常值。由工程案例计算可知，该变形异常值识别方法可靠，精度高。     

基于3σ-SSA的数据清洗方法在大坝智慧安全监测系统中的应用

数字孪生智慧水利感知网络返回的自动化监测数据具有监测频次高、数据量大、异常值多的特点,传统数据清洗方法难以满足数据预处理精度要求。针对该问题,提出利用奇异谱分析(Singular Spectrum Analysis, SSA)对数据序列进行重构,并根据3σ准则对实测值及重构数据之间的残差序列进行统计检验,从而实现数据异常值自动识别的数据清洗方法。依托工程实例对该方法的有效性及可应用性进行校验,结果显示,构建的3σ-SSA分析数据清洗方法具有易于实现自动化、对环境量数据依赖度低、处理异常值较多的自动化监测数据仍保持较高准确性等特点。目前已依托国内某水库数字孪生建设工程,在该水库的大坝智慧安全监测系统中得到成功应用。     

基于统计诊断的大坝监测数据合理性检验

基于统计诊断的异常数据划分,并结合大坝监测数据的误差成因,将监测的异常数据划分为随机误差、粗差、系统误差等,并辨识强影响数据。继而基于均值漂移模型,研究不同异常数据的诊断方法,包括以模型扰动值为依据的粗差的t检验法和以模型扰动对拟合参数的影响为依据的强影响数据的Cook距离检验法。以大坝典型位移监测数据为例,采用上述统计诊断方法对原始监测数据进行合理性检验,结果表明可有效辨识误差数据和强影响数据,能提高数据进一步建模分析的准确性。