基于传递熵的MPCA间歇过程监测方法

传统统计分析方法忽略了变量间作用关系,而传递熵可以有效地表达变量间作用关系,因此提出了一种基于传递熵的MPCA间歇过程监测方法.利用传递熵表达变量间的作用关系,在计算传递熵时采用非参数核密度估计法,利用该方法不依赖于数据先验分布知识的特点来处理非高斯分布的过程数据,通过构建传递熵矩阵,结合滑动窗,实现对间歇过程变量间信息传递的动态表达,最后对传递熵矩阵进行多向主元分析方法(MPCA)建模,实现间歇过程监测.通过青霉素发酵的仿真,结果表明与传统多变量统计过程控制(MSPC)方法作对比,本文监测方法能更及时准确地监测到过程异常.     

基于传递熵与改进K2算法生成报警传播网络

工业报警变量数量增多所导致的“报警泛滥”问题, 严重影响了报警系统的应有功能. 针对此问题, 提出一种从过程报警数据集中学习报警变量传递关系的方法. 首先, 利用传递熵具有准确衡量一阶或多阶自相关性变量间因果关系的特点, 识别变量间的因果关系. 其次以变量间熵大小为准则, 保留传递信息量较大的节点, 最后考虑变量在不同状态所占时间比重对K2算法进行改进, 学习得到最终的报警传播网络. 通过在田纳西伊斯曼过程数据集上的验证发现, 该方法能够对报警发生的根本原因做出判断并较好地学习得到报警传播路径.     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

融合传递熵的图神经网络农产品期货预测模型

针对农产品期货价格波动的非线性及国内外期货产品的联动性特征,考虑到传统神经网络预测模型未能针对多源输入变量间的因果关系进行定量表征,构建融合传递熵的图神经网络预测模型。通过计算传递熵表示节点间的邻接矩阵,作为先验信息识别变量间的因果关系;设置多尺寸滤波器的时间卷积模块提取节点特征,用于识别序列时间依赖性;设置图卷积模块实现对节点信息及其邻域信息的传播与特征筛选,最后连接参数,输出最终的预测结果。在大豆期货数据上的实证研究表明,相较于现有的通用预测模型,该模型能够实现最佳的预测效果。     

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

钢轨表面缺陷检测的图像预处理改进算法

由于线阵相机拍摄的图像光照不均、对比度低,使得钢轨表面离散缺陷检测成为机器视觉检测的难点,为此提出局部非线性对比度增强法和改进最大熵阈值分割法对钢轨图像进行预处理.该算法将局部区域内相对较低的灰度级映射到更低的范围,相对较高的灰度级映射到更高的范围,实现对比度拉伸;通过分析图像的目标熵、背景熵、灰度概率分布曲线,使用图像目标熵最大、目标概率较小的改进最大熵阈值分割法对图像进行分割,得到包含噪声相对较少的图像.实验结果表明,文中提出的非线性对比度图像增强算法简单、快速、有效,而且增强效果与光照无关;与原始的最大熵、目标最大熵、OSTU阈值分割法相比,改进的最大熵分割阈值较小,分割后的图像包含的噪声少;改进的预处理算法对测试图像的漏检率和误检率分别是6.2%和7.3%.     

基于最大相关熵的KPCA异常检测方法

异常检测是机器学习中一个重要的研究内容,目前已存在大量的异常检测方法。作为一种常用的核方法,核主成分分析(Kernel Principal Component Analysis, KPCA)已被成功地用于解决异常检测问题。然而,传统的KPCA异常检测方法对噪声非常敏感,若训练样本中存在噪声,则会降低KPCA异常检测方法的检测性能。为了提高KPCA异常检测方法的抗噪声能力,提出了一种基于最大相关熵(Maximum Correntropy Criterion, MCC)的KPCA异常检测方法。利用信息理论学习中的相关熵代替KPCA异常检测方法中基于?₂范数的度量,通过调节相关熵函数中的宽度参数,可以有效抑制噪声带来的不利影响;利用半二次优化技术对所提方法的优化问题进行求解,仅需较少的迭代次数即可取得局部最优解。此外,给出了所提方法的算法描述,并分析了算法的计算复杂度。在16个UCI基准数据集上的实验结果表明,与其他4种相关方法相比,所提方法取得了更优的抗噪声能力和泛化性能。     

隐目标回归算法设计研究

对常用的回归方法进行研究.此类方法虽然几何解释明确、易于求解,但均须事先确定(或假定)变量间的因果关系,再考虑建模,在实际应用中,对于很难确定变量的因果关系的问题,如物联网数据分析,上述方法就会失效.为此,提出一种无需假定因变量的隐目标回归方法.该方法易于核化,可以推广到非线性回归问题.通过人工数据和国际标准数据集上的实验验证了所提算法的有效性.     

kNN在化工生产过程故障定位中的应用*

为了在没有任何历史故障信息的情况下定位真正的故障变量,研究了kNN在化工生产过程故障定位中的应用。首先利用局部离群因子（LOF）算法剔除原始数据中的离群点,将剩余数据作为训练数据建立kNN模型;然后计算待检测数据的检测指标,将其与控制限对比进行故障检测。最后,对检测出的故障计算训练数据基于kNN的变量贡献,利用核密度估计确定定位指标的控制限。对测试数据计算变量对定位指标的贡献,对所求的贡献矩阵进行量化,画出故障定位图。将该方法用于数值例子和TE过程,仿真结果说明该方法可以对故障进行准确定位,证明了该方法的有效性。     

A new causal discovery heuristic

Probabilistic methods for causal discovery are based on the detection of patterns of correlation between variables. They are based on statistical theory and have revolutionised the study of causality. However, when correlation itself is unreliable, so are probabilistic methods: unusual data can lead to spurious causal links, while nonmonotonic functional relationships between variables can prevent the detection of causal links. We describe a new heuristic method for inferring causality between two continuous variables, based on randomness and unimodality tests and making few assumptions about the data. We evaluate the method against probabilistic and additive noise algorithms on real and artificial datasets, and show that it performs competitively.     

基于加性噪声模型的缺失数据因果推断 *

推断数据间存在的因果关系是很多科学领域中的一个基础问题.然而现在暂时还没有快速有效的方法对缺失数据进行因果推断。为此,文中提出一种基于加性噪声模型下适应缺失数据的因果推断算法.该算法是基于加性噪声模型下利用最大似然估计法结合加权样本修复数据的思想构造以似然函数形式的模型评分函数,并以此度量模型相对于缺失数据集的优劣程度,通过迭代学习确定因果方向.每次迭代学习包括使用参数修复数据和在修复后的完整数据集下估计参数.该方法既解决了加性噪声模型中映射函数的参数学习困难性问题,又避免了现有学习方法所存在的主要问题。实验表明,在数据缺失比例扩大的情况下该算法仍具有较高识别能力.     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

基于因果规则的电力营销系统故障定位算法

现有的故障定位算法无法有效地应用于带有负载均衡机制的因果关系频繁变动的复杂系统。为此,本文提出一种基于因果规则的故障定位算法（CRFLA）。首先利用改进的因果关联兴趣度度量方法自适应地学习出故障和事件之间因果规则,然后根据得到的因果规则中故障原因集对已发生事件集的影响程度进行根因推断。该方法考虑了因果关系的同时无需明确具体的因果网络结构,并且能够灵活地结合先验知识。利用电力营销系统中真实生产环境产生的数据进行故障定位,实验结果表明,CRFLA优于传统的方法,能够迅速、有效地定位故障根因。     

Information transfer methods in causality analysis of process variables with an industrial application

This paper studies mutual information and transfer entropy for detection of cause and effect relationships between industrial process variables. Mutual information quantifies the amount of dependency between process variables, while transfer entropy detects the direction of information flow between the variables. The paper overviews the existing definition and limitations of these two quantities and proposes an algorithm based on combining and extending these two quantities for more reliable identification of causal relationship between process variables. Detection of causal relationships between plant variables is useful for diagnosis of the root cause of a distributed fault in the process. It also helps predicting the effect variables. The proposed method is illustrated through an industrial case study.     

基于相关信息熵和CNN-BiLSTM的工业控制系统入侵检测

入侵检测技术旨在有效地检测网络中异常的攻击,对网络安全至关重要.针对传统的入侵检测方法难以从工业控制系统通信数据中提取有效数据特征的问题,提出一种基于相关信息熵和CNN-BiLSTM的入侵检测模型,该模型将基于相关信息熵的特征选择和融合的深度学习算法相结合,因此能够有效去除噪声冗余,减少计算量,提高检测精度.首先针对不平衡样本等问题进行相应预处理,并通过基于相关信息熵的算法进行特征选择,达到去除噪声数据和冗余特征的目的;然后分别运用卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)从时间和空间维度提取数据特征,通过多头注意力机制进行特征融合,进而得出最终检测结果;最后通过单一变量原则和交叉验证方式获得最优的模型.通过与其他传统入侵检测方法实验对比得出：该模型具有更高的准确率(99.21%)和较低的漏报率(0.77%).     

基于互信息的直接因果搜索算法

因果关系挖掘是数据挖掘领域一个新的研究方向,具有很大的实用意义,但理论建模的困难阻碍了它的发展。20世纪90年代,在因果建模研究成果的基础上,国外开始针对此方向进行研究,目前已得到了一些理论算法。该文针对已有算法鲁棒性、实用性差,不适合大规模数据挖掘应用的缺点,提出了一种基于互信息的因果数据挖掘算法———直接因果搜索算法;仿真试验表明,该算法能很好地搜索出目标变量的直接因果,与其他算法相比,对于数据、门限的变化更具鲁棒性。