基于因果建模的强化学习控制:现状及展望

基于因果建模的强化学习技术在智能控制领域越来越受欢迎.因果技术可以挖掘控制系统中的结构性因果知识,并提供了一个可解释的框架,允许人为对系统进行干预并对反馈进行分析.量化干预的效果使智能体能够在复杂的情况下(例如存在混杂因子或非平稳环境)评估策略的性能,提升算法的泛化性.本文旨在探讨基于因果建模的强化学习控制技术(以下简称因果强化学习)的最新进展,阐明其与控制系统各个模块的联系.首先介绍了强化学习的基本概念和经典算法,并讨论强化学习算法在变量因果关系解释和迁移场景下策略泛化性方面存在的缺陷.其次,回顾了因果理论的研究方向,主要包括因果效应估计和因果关系发现,这些内容为解决强化学习的缺陷提供了可行方案.接下来,阐释了如何利用因果理论改善强化学习系统的控制与决策,总结了因果强化学习的四类研究方向及进展,并整理了实际应用场景.最后,对全文进行总结,指出了因果强化学习的缺点和待解决问题,并展望了未来的研究方向.     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

非线性因果模型辨识方法

近来,基于观测变量的因果模型辨识受到了较多关注。一般使用线性无环因果模型对数据生成过程建模,而实际上,许多因果模型包含非线性关系,使用纯线性方法求解是无效的。将线性模型泛化为非线性模型,提出一种两步骤的辨识算法,首先使用特征选择算法获得d分离等价类,然后使用非线性成对独立性测试为图中的边标注因果方向。实验结果验证了该算法的有效性,并表明其优于其他算法。     

基于因果自回归流模型的因果结构学习算法

因果自回归流模型已经在非独立噪声等场景的因果方向推断问题上取得了一定的进展,但在多个结点的场景下仍存在全局结构搜索带来的准确度低和计算时间复杂度高的问题。面向非时序观察数据设计一种两阶段因果结构学习算法。在第一阶段,基于观测数据的条件独立性,对完全无向图通过条件独立性检验得到基本的因果骨架;在第二阶段,基于因果自回归流模型,通过标准化流的方法计算骨架中每条无向边在不同方向上的边缘似然概率,进而通过比较边缘似然概率进行因果方向推断。实验结果表明：该算法在多组不同参数生成的仿真因果结构数据集上均有较好的表现,与现有的主流因果结构学习算法相比,F1值平均提升15%～28%;在真实因果结构数据集实验中,该算法能够较为完整准确地学习到变量间的因果关系,与主流的因果结构学习算法相比,F1值平均提升28%～48%,具有更强的鲁棒性。     

复杂系统因果图合成建模方法研究

因果图应用中,专家首先要建立复杂系统的因果图模型。但是复杂系统因果图模型非常复杂,专家直接构造非常困难。因此如何使构造的因果图能更真实地反映实际,减少偏差,是值得研究的问题。针对复杂系统建模困难,提出了复杂因果图的合成方法,可以对同一专家构造的因果图以及不同专家构造的因果图分别采用不同的方法进行合成。并通过实例进行了说明。研究表明：复杂系统因果图合成建模法可行有效,简化了因果图的建模方法,为因果图处理专家知识提供了一条有效的途径。     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

一种基于高阶累积量的因果结构学习算法

从观测数据中学习因果结构具有重要的应用价值。目前,一类学习因果结构的方法是基于函数因果模型假设,通过检验噪声与原因变量的独立性来学习因果结构。然而,该类方法涉及高计算复杂度的独立性检验过程,影响结构学习算法的实用性和鲁棒性。为此,提出了一种在线性非高斯模型下,利用高阶累积量作为独立性评估的因果结构学习算法。该算法主要分为两个步骤,第一个步骤是利用基于条件独立性约束的方法学习到因果结构的马尔可夫等价类,第二个步骤是定义了一种基于高阶累积量的得分,该得分可以判别两个随机变量的独立性,从而可以从马尔可夫等价类中搜索到最佳独立性得分的因果结构作为算法的输出。该算法的优势在于：a)相比基于核方法的独立性检验,该方法有较低的计算复杂度;b)基于得分搜索的方法,可以得到一个最匹配数据生成过程的模型,提高学习方法的鲁棒性。实验结果表明,基于高阶累积量的因果结构学习方法在合成数据中F₁得分提高了5%,并在真实数据中学习到更多的因果方向。     

基于互信息的适用于高维数据的因果推断算法

推断数据间存在的因果关系是很多科学领域中的一个基础问题。然而现在暂时还没有快速有效的方法对高维数据进行因果推断。为此,提出了一种基于互信息的适应于高维数据的因果推断算法,该算法采取将高维网络结构学习问题分解成每一个节点的因果网络结构学习问题的策略。在第一阶段,利用基于互信息的条件独立性测试算法寻找目标节点的父子节点;在第二阶段,利用一种混合的方向识别算法对目标节点与其父子节点之间的方向进行判别,所有节点迭代完后得到一个完整的因果网络。数据实验表明,该算法在高维数据的情况下要优于目前其他的算法。     

多元时间序列因果关系分析研究综述

多元时间序列的因果关系分析是数据挖掘领域的研究热点. 时间序列数据包含着与时间动态有关的、未知的、有价值的信息, 因此若能挖掘出这些知识进而对时间序列未来趋势进行预测或干预, 具有重要的现实意义. 为此, 本文综述了多元时间序列因果关系分析的研究进展、应用与展望. 首先, 本文归纳了主要的因果分析方法, 包括Granger因果关系分析、基于信息理论的因果分析和基于状态空间的因果分析; 然后, 总结了不同方法的优缺点、适用范围和发展方向, 并概述了其在不同领域的典型应用; 最后, 讨论了多元时间序列因果分析方法待解决的问题和未来研究趋势.     

以地物识别和分类为目标的高光谱数据挖掘

高光谱信息挖掘技术是高光谱数据应用延拓与深入的重要环节,其核心在于光谱信息的挖掘,基于高光谱遥感信息的特点,探讨分析以地物识别与分类目标的高光谱数据挖掘技术,包括基于模式识别的高光说诺于光谱波形特征的挖掘技术,以及亚象元光谱挖掘。     

关系数据库中关联规则的挖掘

关联规则的挖掘是数据挖掘的一个重要方面 ,目前的算法都是针对交易数据库的。探讨了关系数据库中关联规则的挖掘问题 ,提出在关系数据库中挖掘关联规则的方法和算法。     

数据挖掘中的数据预处理

1 引言数据挖掘(Data Mining,简称DM),也称为数据库中的知识发现KDD(Knowledge Discovery inDatabase),是近几年来随着数据库和人工智能发展起来的一门新兴的数据库技术。其处理对象是大量的日常业务数据,目的是为了从这些数据中抽取一些有价值的知识或信息。原始业务数据是知识和信息提取的源泉,对于数据挖掘就显得十分重要。目前所进行的关于数据挖掘的研究工作,大多着眼于数据挖掘算法的探讨,而忽视了对数据处理的研究。目前一些比较成     

SVM和BP算法在油气识别中的对比应用研究

在油气勘探领域中,当使用测井资料进行油气层分类识别时,运用传统的方法具有一定的局限性。本文使用了数据挖掘分类算法中的支持向量机(SVM)方法,并实际应用到新疆塔里木盆地油气层识别中。实验中分别采用了支持向量机算法和BP神经网络算法进行对比检验,结果表明通过支持向量机算法建立的油气层识别模型具有更高的识别检验性能,体现了支持向量机在处理多类分类问题中的优越性。     

基于最大信息传递熵的ICS因果关系建模

针对传统因果关系算法难以准确分析含大量噪声的非线性数据的问题进行了研究,提出基于最大信息传递熵的因果关系建模算法。首先,利用最大信息系数对非线性数据的时序趋势间的关联度进行检测,弱化噪声对变量间相关性的影响;然后根据筛选因子剔除弱相关变量,并通过随机经验估值计算强关联变量间的传递熵,以减少传递熵的计算量;最后,传递熵确定因果关系方向,形成支持链路溯源的单向因果网络。利用经典化工过程数据集对该算法进行测试分析,实验结果表明,相比于现有的因果关系建模算法,该算法可定位异常变量,对12维以上的高维数据建模的稳定性高于85%,因果关系的准确率可达83.33%,实际建模效果优于对比算法,可用于工业控制系统异常检测定位。     

混合局部因果结构学习

局部因果结构学习是发现和学习给定一个目标变量的直接原因和直接结果而无需学习一个完整因果网络的过程。目前已有算法通常由两个步骤完成:步骤1使用约束类算法利用独立性测试学习目标变量的马尔科夫毯(MB)或父子节点集(PC),但是该步骤由于受到有限的数据样本量等因素影响使得独立性测试存在一定的错误性,而导致该步骤精度通常不是很高;步骤2利用V结构及Meek规则来进行边的定向,但是该步骤由于极其依赖于V结构的发现且同样受到有限样本的影响,使得算法精度相对不是很高。基于上述问题,提出利用打分和限制相结合的混合方式来缓减有限样本问题且提高算法精度。步骤1通过在基于限制的算法中加入打分思想来提高数据有效性,进而提出SIAPC算法;步骤2通过利用PC算法得到的定向结果和对部分数据集打分得到的定向结果的交集来确定边的方向,以此来降低对V结构的依赖性且缓减有限样本问题,之后使用独立性测试修正边的定向结果来进一步提高算法精度,进而提出HLCS算法。在标准贝叶斯网络上,实验验证了该算法相对于已有算法在精度方面具有更好的性能且能够有效缓减数据效率问题。     

一种基于投影数据库的SPAM算法

序列模式挖掘是数据挖掘的重要分支,关于序列模式挖掘的算法非常多,SPAM算法就是序列模式挖掘算法的一种,Perfixspan算法(基于投影的算法)也是序列模式挖掘算法的一种。SPAM算法和Perfixspan算法各有优缺点。研究这两种算法的基础上给出了一种结合这二种算法优点进行改进的算法。     

判定树在学生成绩分析的应用

数据挖掘是一种新的信息处理技术,其主要特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理,并从中提取辅助决策的关键性数据。其中,判定树以其出色的数据分析效率、直观易懂的结果展示等特点,倍受广大用户的关注。本文将讨论数据挖掘中的判定树在学生成绩分析的应用。     

基于决策树的遗传算法在数据挖掘领域的应用

论文详细阐述了基于决策树的改进的遗传算法的编码技术和相关遗传算子的操作;同时强调说明了相对于当前数据挖掘领域的数据分类算法,论文中的新分类方法在从海量数据库中全局优化搜索分类规则集所显示出它的优越性。最后,通过实例比较结果,证实论文中算法切实可行,有较高搜索效率。     

基于分层因果关系的定性推理方法

定性推理能为信息不完全的复杂系统产生行为预测,但推理分支可能出现组合爆炸,限制了它的应用.传统的算法不仅产生无法控制的推理分支,并且占用了大量的内存,不仅使用户不易理解推理的结果,而且甚至导致推理的失败.在LSIM方法的基础上提出了一种基于分层因果关系的定性推理方法LCQR(layered causal qualitative reasoning),旨在解决这一问题,使提取出的变量间的因果关系层次化,并应用于定性推理,取得了较满意的结果.