一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

基于加性噪声模型的缺失数据因果推断 *

推断数据间存在的因果关系是很多科学领域中的一个基础问题.然而现在暂时还没有快速有效的方法对缺失数据进行因果推断。为此,文中提出一种基于加性噪声模型下适应缺失数据的因果推断算法.该算法是基于加性噪声模型下利用最大似然估计法结合加权样本修复数据的思想构造以似然函数形式的模型评分函数,并以此度量模型相对于缺失数据集的优劣程度,通过迭代学习确定因果方向.每次迭代学习包括使用参数修复数据和在修复后的完整数据集下估计参数.该方法既解决了加性噪声模型中映射函数的参数学习困难性问题,又避免了现有学习方法所存在的主要问题。实验表明,在数据缺失比例扩大的情况下该算法仍具有较高识别能力.     

基于互信息的适用于高维数据的因果推断算法

推断数据间存在的因果关系是很多科学领域中的一个基础问题。然而现在暂时还没有快速有效的方法对高维数据进行因果推断。为此,提出了一种基于互信息的适应于高维数据的因果推断算法,该算法采取将高维网络结构学习问题分解成每一个节点的因果网络结构学习问题的策略。在第一阶段,利用基于互信息的条件独立性测试算法寻找目标节点的父子节点;在第二阶段,利用一种混合的方向识别算法对目标节点与其父子节点之间的方向进行判别,所有节点迭代完后得到一个完整的因果网络。数据实验表明,该算法在高维数据的情况下要优于目前其他的算法。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

基于因果自回归流模型的因果结构学习算法

因果自回归流模型已经在非独立噪声等场景的因果方向推断问题上取得了一定的进展,但在多个结点的场景下仍存在全局结构搜索带来的准确度低和计算时间复杂度高的问题。面向非时序观察数据设计一种两阶段因果结构学习算法。在第一阶段,基于观测数据的条件独立性,对完全无向图通过条件独立性检验得到基本的因果骨架;在第二阶段,基于因果自回归流模型,通过标准化流的方法计算骨架中每条无向边在不同方向上的边缘似然概率,进而通过比较边缘似然概率进行因果方向推断。实验结果表明：该算法在多组不同参数生成的仿真因果结构数据集上均有较好的表现,与现有的主流因果结构学习算法相比,F1值平均提升15%～28%;在真实因果结构数据集实验中,该算法能够较为完整准确地学习到变量间的因果关系,与主流的因果结构学习算法相比,F1值平均提升28%～48%,具有更强的鲁棒性。     

混合加噪声模型与条件独立性检测的因果方向推断算法

从可观测的变量中推导出潜在的因果关系是人工智能领域的热点研究之一。传统的基于独立性检测的方法是通过检测V结构来确定一组马尔科夫等价类而非最终的因果关系;而加噪声模型算法却只能适应于低维度的因果网络结构。为此,提出一种采取分治策略的混合加噪声模型与条件独立性检测的因果方向推断方法。首先是将一个n维因果网络分解成n个诱导子网络,分别归入三种基本结构（单度结构、非三角结构和存在三角的结构）中的一种,从理论上分别证明其有效性;其次对每个诱导子网络进行基于加噪声模型算法与条件独立性检测相结合的方向推断;最后把所有子网络合并起来构建成完整的因果关系网络。实验表明,该方法比传统的因果关系推断方法更加有效。     

基于条件独立性的LiNGAM模型剪枝算法

如何根据观察数据来推断因果网络结构是统计学和机器学习领域的重要问题。近年来学者们取得了许多研究成果,Li NGAM算法是其中一种经典的线性因果推断算法。但Li NGAM算法采用的剪枝策略时间复杂度较高,且在稀疏图上准确率低。为此,提出一种基于条件独立性测试的剪枝算法来解决这个问题。该算法首先将变量根据因果顺序重新排列,再按照该次序采用偏相关系数检验变量之间的条件独立性。大量的实验结果表明,基于条件独立性的剪枝算法在稀疏图上比Li NGAM的剪枝算法获得更高的准确率与执行效率。     

基于混淆因子隐压缩表示模型的因果推断方法

因果推断方法可以用于在观察数据上发现因果关系。在因果结构含混淆因子的数据上进行因果推断时,可能会受混淆因子的影响而得到错误的因果关系。针对上述问题,提出了一种基于混淆因子隐压缩表示（CHCR）模型的因果推断方法。首先,根据CHCR模型,构造含有对原因变量进行压缩表示的中间隐变量的备选模型;其次,利用贝叶斯信息准则（BIC）计算备选模型评分并选出得分最高的最佳模型;最后,根据最佳模型中的压缩情况判断变量间真正的因果关系。理论分析表明,所提出的方法能够识别经典的基于约束的方法所无法正确分辨的、带有混淆因子的因果结构,且在样本量较小等情况下,BIC评分也可以提高所提方法的表现。实验结果表明,在样本数变化时,所提出的方法在准确率指标上相较于极快因果推断算法（RFCI）等经典方法有显著提升,并适用于各种变量可能取值数不同的情况;在混合不同类型的因果结构时,该方法在准确率指标上高于最大最小爬山算法（MMHC）等经典方法;且该方法能够在Abalone数据集上得到正确的因果关系。     

一种基于高阶累积量的因果结构学习算法

从观测数据中学习因果结构具有重要的应用价值。目前,一类学习因果结构的方法是基于函数因果模型假设,通过检验噪声与原因变量的独立性来学习因果结构。然而,该类方法涉及高计算复杂度的独立性检验过程,影响结构学习算法的实用性和鲁棒性。为此,提出了一种在线性非高斯模型下,利用高阶累积量作为独立性评估的因果结构学习算法。该算法主要分为两个步骤,第一个步骤是利用基于条件独立性约束的方法学习到因果结构的马尔可夫等价类,第二个步骤是定义了一种基于高阶累积量的得分,该得分可以判别两个随机变量的独立性,从而可以从马尔可夫等价类中搜索到最佳独立性得分的因果结构作为算法的输出。该算法的优势在于：a)相比基于核方法的独立性检验,该方法有较低的计算复杂度;b)基于得分搜索的方法,可以得到一个最匹配数据生成过程的模型,提高学习方法的鲁棒性。实验结果表明,基于高阶累积量的因果结构学习方法在合成数据中F₁得分提高了5%,并在真实数据中学习到更多的因果方向。     

一种基于因果强度的局部因果结构主动学习方法

因果结构学习是贝叶斯网络学习中一种重要的结构学习方法,因果关系揭示了系统要素作用的本质。由于 仅利用观测数据很难准确地发现变量间的因果关系,且通常人们仅关心网络中关于某一变量的局部因果关系,因此针 对难以从观测数据中仅获取所感兴趣的变量的局部因果结构的问题,提出了一种局部结构学习方法,即一种基于因果 强度的局部因果结构主动学习方法(CSI-I_CS工力。CSI一工CSI方法融合了马尔可夫毯的结构划分能力和扰动学习的因 果发现能力,并且引入了因果强度进行扰动结点的选择。利用HITON MI3算法寻找目标结点的马尔可夫毯,生成关 于目标结点的局部模型;然后,利用不对称信息墒对局部模型中的每一结点进行因果强度分析,选取因果强度值较大 的结点进行扰动,生成扰动数据;进而,联合扰动数据和观测数据利用准确方法(exact method)学习边的后验概率,从 而获得一个关于目标结点的局部因果网络。利用结构信息嫡对CSI-LCSL方法的学习结果进行评估。在标准网络上 的实验结果证实了CSI一LCSI、算法的有效性。     

面向多元时间序列的群体因果关系发现算法

从多元时间序列观测数据中学习多个变量之间的因果关系是许多专业领域中的重要基本问题。现有的多元时间序列因果关系发现方法通常从每个个体的观测数据中学习个体因果关系,没有考虑部分个体之间可能存在相同的因果关系,导致样本利用不足。提出一种面向多元时间序列的群体因果关系发现算法。该算法分为2个阶段：第一阶段基于因果关系对个体之间的相似性进行度量,并把多个个体划分成多个群体,且无须指定群体的个数;第二阶段基于变分推断方法充分利用每个群体内的所有个体数据,从而学习群体因果关系。实验结果表明,该算法在多组不同参数生成的仿真数据上均具有较好的表现,与对比算法相比,AUC评分提升了5%～20%。在真实数据集中,该算法能够较好地区分具有不同因果关系的群体,并且能够学习到不同群体之间不同的因果关系,表明算法不仅具有因果关系发现能力,而且还具有多元时间序列聚类能力。     

基于SIR模型的隐蔽信道数据安全检测仿真

隐蔽信道数据分布散乱,对数据检测造成阻碍。针对传统的隐蔽信道数据检测方法存在检测速度慢、有效性差等问题,提出一种基于SIR模型的隐蔽信道数据安全检测方法。构建SIR隐蔽信道模型,使用在线检测模型进行隐蔽信道数据编码处理,使用密度聚类算法对隐蔽信道编码数据进行搜索聚类,划分密度区域,通过判断各密度区域数据有效性,完成隐蔽信道数据的密度聚类。利用决策树对聚类完成的数据进行特征属性提取,引入特征属性获取新的信息递增率,通过数据间差异性计算完成隐蔽信道数据安全检测。实验结果表明,所提方法能有效完成隐蔽信道数据检测,精准度、效率和稳定性均优于传统方法,且检测耗时少,具有显著优势。     

A Simple Constraint-Based Algorithm for Efficiently Mining Observational Databases for Causal Relationships

This paper presents a simple, efficient computer-based method for discovering causal relationships from databases that contain observational data. Observational data is passively observed, as contrasted with experimental data. Most of the databases available for data mining are observational. There is great potential for mining such databases to discover causal relationships. We illustrate how observational data can constrain the causal relationships among measured variables, sometimes to the point that we can conclude that one variable is causing another variable. The presentation here is based on a constraint-based approach to causal discovery. A primary purpose of this paper is to present the constraint-based causal discovery method in the simplest possible fashion in order to (1) readily convey the basic ideas that underlie more complex constraint-based causal discovery techniques, and (2) permit interested readers to rapidly program and apply the method to their own databases, as a start toward using more elaborate causal discovery algorithms.     

面向用户偏好发现的隐变量模型构建与推理

电子商务应用中产生了大量用户评分数据,而这些数据中富含了用户观点和偏好信息,为了能够从这些数据中准确地推断出用户偏好,提出一种面向评分数据中用户偏好发现的隐变量模型（即含隐变量的贝叶斯网）构建和推理的方法。首先,针对评分数据的稀疏性,使用带偏置的矩阵分解（BMF）模型对其进行填补;其次,用隐变量表示用户偏好,给出了基于互信息（MI）、最大半团和期望最大化（EM）算法的隐变量模型构建方法;最后,给出了基于Gibbs采样的隐变量模型概率推理和用户偏好发现方法。实验结果表明,与协同过滤的方法相比,该方法能有效地描述评分数据中相关属性之间的依赖关系及其不确定性,从而能够更准确地推断出用户偏好。     

基于事件动作方向的隐式因果关系抽取方法

抽取事件之间的因果关系能够应用于自动问答、知识提取、常识推理等方面.隐式因果关系由于缺乏明显的词汇特征和中文复杂的句法结构,使得其抽取极为困难,已成为当前研究的难点.相比而言,显示因果关系的抽取比较容易、准确率高,且因果关系事件之间的逻辑关系稳定.为此,文中提出了一种原创的方法,首先通过对抽取的显示因果事件对进行事件动...