基于因果自回归流模型的因果结构学习算法

因果自回归流模型已经在非独立噪声等场景的因果方向推断问题上取得了一定的进展,但在多个结点的场景下仍存在全局结构搜索带来的准确度低和计算时间复杂度高的问题。面向非时序观察数据设计一种两阶段因果结构学习算法。在第一阶段,基于观测数据的条件独立性,对完全无向图通过条件独立性检验得到基本的因果骨架;在第二阶段,基于因果自回归流模型,通过标准化流的方法计算骨架中每条无向边在不同方向上的边缘似然概率,进而通过比较边缘似然概率进行因果方向推断。实验结果表明：该算法在多组不同参数生成的仿真因果结构数据集上均有较好的表现,与现有的主流因果结构学习算法相比,F1值平均提升15%～28%;在真实因果结构数据集实验中,该算法能够较为完整准确地学习到变量间的因果关系,与主流的因果结构学习算法相比,F1值平均提升28%～48%,具有更强的鲁棒性。     

混合加噪声模型与条件独立性检测的因果方向推断算法

从可观测的变量中推导出潜在的因果关系是人工智能领域的热点研究之一。传统的基于独立性检测的方法是通过检测V结构来确定一组马尔科夫等价类而非最终的因果关系;而加噪声模型算法却只能适应于低维度的因果网络结构。为此,提出一种采取分治策略的混合加噪声模型与条件独立性检测的因果方向推断方法。首先是将一个n维因果网络分解成n个诱导子网络,分别归入三种基本结构（单度结构、非三角结构和存在三角的结构）中的一种,从理论上分别证明其有效性;其次对每个诱导子网络进行基于加噪声模型算法与条件独立性检测相结合的方向推断;最后把所有子网络合并起来构建成完整的因果关系网络。实验表明,该方法比传统的因果关系推断方法更加有效。     

基于神经网络的混合数据的因果发现

因果推理正在成为机器学习领域一个越来越受关注的研究热点,现阶段的因果发现主要是在研究某一种假设条件下,基于纯粹的观测数据推断变量之间的因果方向。然而在现实世界中观察到的数据往往是由一些假设生成,使得传统因果推断方法的识别率不高、稳定性较差。针对当前的问题,提出了一种基于神经网络来解决混合数据因果推断的方法。该方法在混合加性噪声模型(ANM-MM)的假设下,使用梯度下降法最优化改进的损失函数得到混合数据的抽象因果分布参数,然后将分布参数看作是原因变量和结果变量之间的隐变量,通过比较原因变量和分布参数之间的HilberSchmidt独立性来确定二元变量的因果方向。在理论上证明了该方法的可行性,并通过实验表明该算法在人工数据和真实数据的表现较传统的IGCI,ANM,PNL,LiNGAM,SLOPE方法具有较好的准确率和稳定性。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

基于加性噪声模型的缺失数据因果推断 *

推断数据间存在的因果关系是很多科学领域中的一个基础问题.然而现在暂时还没有快速有效的方法对缺失数据进行因果推断。为此,文中提出一种基于加性噪声模型下适应缺失数据的因果推断算法.该算法是基于加性噪声模型下利用最大似然估计法结合加权样本修复数据的思想构造以似然函数形式的模型评分函数,并以此度量模型相对于缺失数据集的优劣程度,通过迭代学习确定因果方向.每次迭代学习包括使用参数修复数据和在修复后的完整数据集下估计参数.该方法既解决了加性噪声模型中映射函数的参数学习困难性问题,又避免了现有学习方法所存在的主要问题。实验表明,在数据缺失比例扩大的情况下该算法仍具有较高识别能力.     

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

基于时序隐变量模型的因果关系发现算法

为在基于隐变量模型的因果关系发现算法中综合考虑隐变量之间的瞬时性和延时性因果效应,构建以动态贝叶斯网络为基础的时序隐变量模型,提出对应的因果关系发现算法。使用因子分析的方法估计测量模型中的因子载荷矩阵,应用结构向量自回归模型估计自回归矩阵,利用数据的非高斯性依次学习模型中隐变量之间的瞬时效应矩阵与延时效应矩阵,构建时序隐变量模型的因果网络结构。实验结果验证了算法的有效性。     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

非线性因果模型辨识方法

近来,基于观测变量的因果模型辨识受到了较多关注。一般使用线性无环因果模型对数据生成过程建模,而实际上,许多因果模型包含非线性关系,使用纯线性方法求解是无效的。将线性模型泛化为非线性模型,提出一种两步骤的辨识算法,首先使用特征选择算法获得d分离等价类,然后使用非线性成对独立性测试为图中的边标注因果方向。实验结果验证了该算法的有效性,并表明其优于其他算法。     

基于互信息的适用于高维数据的因果推断算法

推断数据间存在的因果关系是很多科学领域中的一个基础问题。然而现在暂时还没有快速有效的方法对高维数据进行因果推断。为此,提出了一种基于互信息的适应于高维数据的因果推断算法,该算法采取将高维网络结构学习问题分解成每一个节点的因果网络结构学习问题的策略。在第一阶段,利用基于互信息的条件独立性测试算法寻找目标节点的父子节点;在第二阶段,利用一种混合的方向识别算法对目标节点与其父子节点之间的方向进行判别,所有节点迭代完后得到一个完整的因果网络。数据实验表明,该算法在高维数据的情况下要优于目前其他的算法。     

基于贝叶斯网络的时间序列因果关系学习

贝叶斯网络是研究变量之间因果关系的有力工具,基于贝叶斯网络的因果关系学习包括结构学习与参数学习两部分,其中,结构学习是核心.目前,贝叶斯网络主要用于发现非时间序列数据中所蕴含的因果关系（非时间序列因果关系）,从数据中学习得到的也均是一般变量之间的因果关系.针对这些情况,结合时间序列预处理、时间序列变量排序、转换数据集构建和局部贪婪打分-搜索等进行时间序列的因果关系学习;再将包括分段在内的时间序列预处理、时间序列段的因果关系结构学习、因果关系结构数据集构建、因果关系变量排序和局部贪婪打分-搜索等相结合,来进行元因果关系（因果关系变量之间的因果关系）学习,从而实现两个层次的时间序列因果关系学习,为进一步的量化因果分析奠定了基础.分别使用模拟、UCI和金融时间序列数据进行实验与分析,实验结果显示,基于贝叶斯网络能够有效地进行时间序列的因果关系和元因果关系学习.     

基于混淆因子隐压缩表示模型的因果推断方法

因果推断方法可以用于在观察数据上发现因果关系。在因果结构含混淆因子的数据上进行因果推断时,可能会受混淆因子的影响而得到错误的因果关系。针对上述问题,提出了一种基于混淆因子隐压缩表示（CHCR）模型的因果推断方法。首先,根据CHCR模型,构造含有对原因变量进行压缩表示的中间隐变量的备选模型;其次,利用贝叶斯信息准则（BIC）计算备选模型评分并选出得分最高的最佳模型;最后,根据最佳模型中的压缩情况判断变量间真正的因果关系。理论分析表明,所提出的方法能够识别经典的基于约束的方法所无法正确分辨的、带有混淆因子的因果结构,且在样本量较小等情况下,BIC评分也可以提高所提方法的表现。实验结果表明,在样本数变化时,所提出的方法在准确率指标上相较于极快因果推断算法（RFCI）等经典方法有显著提升,并适用于各种变量可能取值数不同的情况;在混合不同类型的因果结构时,该方法在准确率指标上高于最大最小爬山算法（MMHC）等经典方法;且该方法能够在Abalone数据集上得到正确的因果关系。     

基于多组典型相关变量的因果关系发现算法

现有的因果关系发现算法主要基于单个观察变量本身之间的因果关系,无法适用于多组观察变量,为此提出了一种多组典型相关变量的因果关系发现算法。首先,引入多组典型相关变量建立多组典型相关变量的线性非高斯无环模型并提出对应的目标函数;然后,采用梯度上升的方法求解目标函数,构建多组典型相关变量的因果关系网络。模拟实验验证了该算法的有效性,并在移动基站数据上发现了一批有价值的多组无线网络性能指标间的因果关系。     

灵敏性分析下的因果网络参数的扰动学习研究

联合观察数据和扰动数据学习因果网络是一种基于扰动的机器学习方法,通过扰动学习可以利用少量样本发现网络中的因果关系,扰动对于因果关系的影响主要体现在网络参数方面。提出了一种基于灵敏性分析的因果网络参数的扰动学习算法(intervention learning of parameter sensitivity analysis,ILPSA)。对于给定的先验网络,ILPSA算法利用联合树推理算法生成灵敏性函数,通过对灵敏性函数的参数重要性分析提出扰动结点的一种主动选取方法;对扰动结点的主动干扰产生扰动数据,然后联合观察数据和扰动数据,利用最大似然估计(maximum likelihood estimation,MLE)方法学习因果网络的参数,并利用KL距离对学习结果进行评价。算法比较和实验结果表明,ILPSA算法的学习结果明显好于随机选择扰动结点和无扰动情况下的方法,特别在样本较小的情况下优势更明显。     

混合局部因果结构学习

局部因果结构学习是发现和学习给定一个目标变量的直接原因和直接结果而无需学习一个完整因果网络的过程。目前已有算法通常由两个步骤完成:步骤1使用约束类算法利用独立性测试学习目标变量的马尔科夫毯(MB)或父子节点集(PC),但是该步骤由于受到有限的数据样本量等因素影响使得独立性测试存在一定的错误性,而导致该步骤精度通常不是很高;步骤2利用V结构及Meek规则来进行边的定向,但是该步骤由于极其依赖于V结构的发现且同样受到有限样本的影响,使得算法精度相对不是很高。基于上述问题,提出利用打分和限制相结合的混合方式来缓减有限样本问题且提高算法精度。步骤1通过在基于限制的算法中加入打分思想来提高数据有效性,进而提出SIAPC算法;步骤2通过利用PC算法得到的定向结果和对部分数据集打分得到的定向结果的交集来确定边的方向,以此来降低对V结构的依赖性且缓减有限样本问题,之后使用独立性测试修正边的定向结果来进一步提高算法精度,进而提出HLCS算法。在标准贝叶斯网络上,实验验证了该算法相对于已有算法在精度方面具有更好的性能且能够有效缓减数据效率问题。     

基于典型因果推断算法的无线网络性能优化

现有的无线网络性能优化方法主要基于指标间的相关关系分析,无法有效指导网络优化等干预行为。为此,提出典型因果推断（CCI）算法,并将其应用于无线网络性能优化。首先,针对无线网络性能由大量相关指标体现这一特性,采用典型相关分析（CCA）方法,提取指标中蕴含的原子事件;然后再采用因果推断方法,构建原子事件间的因果关系网络。通过上述两个阶段反复迭代,确定原子事件间的因果关系网络,为无线网络性能优化提出一个较为可靠和有效的依据。最后通过模拟实验验证了CCI算法的有效性,在某城市3万多个移动基站数据上发现了一批有意义的无线网络指标间的因果关系。