局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

基于逐步条件相关性分析的因果关系发现方法

从数据中发现与一个变量有直接因果关系的其它变量是一种非常有价值的技术.本文针对回归分析中的逐步回归算法和贝叶斯网络学习中的SGS算法、PC算法应用于变量选择的不足,提出了一种新的因果关系发现算法STEPCARD,并将其与STEPWISE算法和SGS算法进行了实验比较分析.实验表明,STEPCARD算法能够和SGS算法一样从初始自变量集合中找出与因变量有因果相邻关系的变量,而STEPWISE算法只能找出与因变量显著相关的变量.其次,当初始自变量集合较大,而最后输出的自变量集合较小时,STEPCARD算法的计算量比SGS算法的计算量小得多.而且,当初始自变量个数接近或大于事例个数时,SGS算法将无法应用,而STEPCARD算法依然可以得到可信的结果.     

面向测量误差模型的外生变量估计方法

从观察数据中发现因果关系在近年来得到了越来越多学者的关注,其中外生变量在理解因果机制中扮演者重要的角色。然而,现有的因果发现方法大多假设观察变量就是真实发生的因(果)变量,忽略了测量误差带来的影响。为此,提出了一种解决测量模型下的外生变量估计方法。通过引入triad约束,根据此约束来找出与其余所有相关成对变量都满足triad约束的变量,即外生变量。该算法不仅能够解决含有测量误差数据的估计问题,而且对于没有测量误差的数据仍然适用。实验将该算法应用于真实网络产生的数据中,结果表明,无论变量是否含有测量误差,提出方法均优于现有的其他算法。同时,基于移动基站的真实数据实验也验证了算法的有效性。     

面向多元时间序列的群体因果关系发现算法

从多元时间序列观测数据中学习多个变量之间的因果关系是许多专业领域中的重要基本问题。现有的多元时间序列因果关系发现方法通常从每个个体的观测数据中学习个体因果关系,没有考虑部分个体之间可能存在相同的因果关系,导致样本利用不足。提出一种面向多元时间序列的群体因果关系发现算法。该算法分为2个阶段：第一阶段基于因果关系对个体之间的相似性进行度量,并把多个个体划分成多个群体,且无须指定群体的个数;第二阶段基于变分推断方法充分利用每个群体内的所有个体数据,从而学习群体因果关系。实验结果表明,该算法在多组不同参数生成的仿真数据上均具有较好的表现,与对比算法相比,AUC评分提升了5%～20%。在真实数据集中,该算法能够较好地区分具有不同因果关系的群体,并且能够学习到不同群体之间不同的因果关系,表明算法不仅具有因果关系发现能力,而且还具有多元时间序列聚类能力。     

ICIC_Prediction:基于因果关系全局动态特性的预测方法

因果关系的预测是因果关系研究的重要内容和主要应用。现有的很多预测方法以寻找最优预测方程或最小特征变量集合为目的,以简化计算。提出一种新的可用于处理政策干预的因果关系预测方法ICIC_Prediction,不局限于利用马尔科夫毯等特征变量集合,而是从因果关系网络结构出发,利用因果关系系统及其采样数据的动态全局特性,预测目标变量在当前采样中的取值。通过在NIPS 2008"因果与预测"的评测会议上发布的四个不同类型的数据集上的对比实验,分析并展示了ICIC_Prediction方法的优势和特点。     

基于最大信息传递熵的ICS因果关系建模

针对传统因果关系算法难以准确分析含大量噪声的非线性数据的问题进行了研究,提出基于最大信息传递熵的因果关系建模算法。首先,利用最大信息系数对非线性数据的时序趋势间的关联度进行检测,弱化噪声对变量间相关性的影响;然后根据筛选因子剔除弱相关变量,并通过随机经验估值计算强关联变量间的传递熵,以减少传递熵的计算量;最后,传递熵确定因果关系方向,形成支持链路溯源的单向因果网络。利用经典化工过程数据集对该算法进行测试分析,实验结果表明,相比于现有的因果关系建模算法,该算法可定位异常变量,对12维以上的高维数据建模的稳定性高于85%,因果关系的准确率可达83.33%,实际建模效果优于对比算法,可用于工业控制系统异常检测定位。     

基于条件独立性检验的非稳态因果发现方法

非稳态时间序列数据之间的因果关系发现是非常重要但极具挑战的问题。现有的工作主要假设观察数据随着时间或领域发生变化。上述假设使得相关方法需要引入时间或领域作为先验知识,无法应用于分段稳态的非稳态场景。因此,提出了一种基于条件独立性检验的非稳态因果关系发现算法。首先使用变化点检测方法来识别非稳态变化的时间点,然后将上一步的时间点进行区间划分,用基于条件独立性检验的时序因果关系发现算法推断局部稳态因果结构。在仿真和真实世界数据上的实验证明了该方法的有效性。     

基于时序隐变量模型的因果关系发现算法

为在基于隐变量模型的因果关系发现算法中综合考虑隐变量之间的瞬时性和延时性因果效应,构建以动态贝叶斯网络为基础的时序隐变量模型,提出对应的因果关系发现算法。使用因子分析的方法估计测量模型中的因子载荷矩阵,应用结构向量自回归模型估计自回归矩阵,利用数据的非高斯性依次学习模型中隐变量之间的瞬时效应矩阵与延时效应矩阵,构建时序隐变量模型的因果网络结构。实验结果验证了算法的有效性。     

基于Granger因果关系的多变量时间序列预测模型

时间序列数据包含内在的时序结构,而传统的针对多变量时间序列的预测方法没有考虑变量序列的历史观察值的影响。为此,提出一种基于Granger因果关系挖掘的多变量时间序列预测模型。通过选择有效的因变量并加入其滞后观测期来提高支持向量回归对目标序列的预测,同时也提供了较好的因果解释性。理论推导和实验结果表明,该方法不仅能获得比传统方法更精确的预测效果,而且减少了参与运算的变量时间序列。     

基于干预规则挖掘因果关系与分段干预事件及对比不等式

为揭示亚复杂系统(SCS)在干预下的特殊行为,提出了对比不等式概念,提出并实现了分段干预规则的挖掘算法;通过在亚复杂系统中施加扰动式干预并分析其动力学效应,提出并实现了基于扰动因果关系挖掘算法。在真实数据上的实验表明,分段干预规则发现了传统挖掘方法难以发现的新干预事件,因果挖掘算法发现了传统方法难以发现的因果关系。     

基于因果关系挖掘的概率基因调控网络的构建

科学的基因聚类方法是构建基因调控网络的前提,但仅以聚类作为构建网络的主要手段只能找到共同调控的基因,不能精确反映基因之间的相互作用过程。贝叶斯网络模型通过基于图的方式求得多变量之间条件独立的概率因果关系,但因其计算复杂性受到应用层面的限制。该文综合考虑几方面因素,在对基因进行聚类基础上,通过对调控关系的预测获得对目标基因的调控基因组,再利用LCD(local causal relation discovery)方法通过限制搜索条件发现基因间的独立关系,进而获得基因调控网络。实验结果表明了该方法的可行性和有效性。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

基于神经网络的混合数据的因果发现

因果推理正在成为机器学习领域一个越来越受关注的研究热点,现阶段的因果发现主要是在研究某一种假设条件下,基于纯粹的观测数据推断变量之间的因果方向。然而在现实世界中观察到的数据往往是由一些假设生成,使得传统因果推断方法的识别率不高、稳定性较差。针对当前的问题,提出了一种基于神经网络来解决混合数据因果推断的方法。该方法在混合加性噪声模型(ANM-MM)的假设下,使用梯度下降法最优化改进的损失函数得到混合数据的抽象因果分布参数,然后将分布参数看作是原因变量和结果变量之间的隐变量,通过比较原因变量和分布参数之间的HilberSchmidt独立性来确定二元变量的因果方向。在理论上证明了该方法的可行性,并通过实验表明该算法在人工数据和真实数据的表现较传统的IGCI,ANM,PNL,LiNGAM,SLOPE方法具有较好的准确率和稳定性。     

A novel multiset integrated canonical correlation analysis framework and its application in feature fusion

Multiset canonical correlation analysis (MCCA) is difficult to effectively express the integrated correlation among multiple feature vectors in feature fusion. Thus, this paper firstly presents a novel multiset integrated canonical correlation analysis (MICCA) framework. The MICCA establishes a discriminant correlation criterion function of multi-group variables based on generalized correlation coefficient. The criterion function can clearly depict the integrated correlation among multiple feature vectors. Then the paper presents a multiple feature fusion theory and algorithm using the MICCA method. The detailed process of the algorithm is as follows: firstly, extract multiple feature vectors from the same patterns by using different feature extraction methods; then extract multiset integrated canonical correlation features using MICCA; finally form effective discriminant feature vectors through two given feature fusion strategies for pattern classification. The multi-group feature fusion method based on MICCA not only achieves the aim of feature fusion, but also removes the redundancy between features. The experiment results on CENPARMI handwritten Arabic numerals and UCI multiple features database show that the MICCA method has better recognition rates and robustness than the fusion methods based on canonical correlation analysis (CCA) and MCCA.     

面向社交媒体的直接因果网络发现算法

高维时序因果网络发现是社交媒体因果关系发现的重要问题。然而,现有的时序因果关系发现方法不能发现直接因果以致因果网络推断结果不准确。针对此问题提出了一种直接因果网络发现方法。该方法考虑了时序因果模型的因果延迟、滞后期数量和条件节点集等因素,更准确地发现直接因果关系;另外,采用结合置换检验的因果关系检验方法,解决传递熵阈值难以设定的问题。实验结果表明,该方法在因果网络推断中优于现有方法,有效提升时序上直接因果网络推断的准确率,适用于发现潜在社交媒体因果关系网络。     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

基于混淆因子隐压缩表示模型的因果推断方法

因果推断方法可以用于在观察数据上发现因果关系。在因果结构含混淆因子的数据上进行因果推断时,可能会受混淆因子的影响而得到错误的因果关系。针对上述问题,提出了一种基于混淆因子隐压缩表示（CHCR）模型的因果推断方法。首先,根据CHCR模型,构造含有对原因变量进行压缩表示的中间隐变量的备选模型;其次,利用贝叶斯信息准则（BIC）计算备选模型评分并选出得分最高的最佳模型;最后,根据最佳模型中的压缩情况判断变量间真正的因果关系。理论分析表明,所提出的方法能够识别经典的基于约束的方法所无法正确分辨的、带有混淆因子的因果结构,且在样本量较小等情况下,BIC评分也可以提高所提方法的表现。实验结果表明,在样本数变化时,所提出的方法在准确率指标上相较于极快因果推断算法（RFCI）等经典方法有显著提升,并适用于各种变量可能取值数不同的情况;在混合不同类型的因果结构时,该方法在准确率指标上高于最大最小爬山算法（MMHC）等经典方法;且该方法能够在Abalone数据集上得到正确的因果关系。