基于神经网络的混合数据的因果发现

因果推理正在成为机器学习领域一个越来越受关注的研究热点,现阶段的因果发现主要是在研究某一种假设条件下,基于纯粹的观测数据推断变量之间的因果方向。然而在现实世界中观察到的数据往往是由一些假设生成,使得传统因果推断方法的识别率不高、稳定性较差。针对当前的问题,提出了一种基于神经网络来解决混合数据因果推断的方法。该方法在混合加性噪声模型(ANM-MM)的假设下,使用梯度下降法最优化改进的损失函数得到混合数据的抽象因果分布参数,然后将分布参数看作是原因变量和结果变量之间的隐变量,通过比较原因变量和分布参数之间的HilberSchmidt独立性来确定二元变量的因果方向。在理论上证明了该方法的可行性,并通过实验表明该算法在人工数据和真实数据的表现较传统的IGCI,ANM,PNL,LiNGAM,SLOPE方法具有较好的准确率和稳定性。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

融合先验约束的拓扑霍克斯过程格兰杰因果发现算法

离散时序数据的格兰杰因果关系发现算法具有重要应用价值。现有方法主要采用霍克斯过程建模,无法适用于非独立同分布数据和带有时间误差的数据。为此,提出了一种融合先验约束的拓扑霍克斯过程格兰杰因果关系发现算法（PTHP）。首先,使用基于约束的方法筛选出一批显著性水平较高的因果边,提升算法对故障发生时间误差的容忍性;随后,将上一步获取的边作为先验约束融合到拓扑霍克斯过程中,解决序列间的非独立同分布问题。模拟数据和真实数据的实验证明了该方法的有效性,并获得了PCIC 2021因果推理大赛第一名。     

基于时序隐变量模型的因果关系发现算法

为在基于隐变量模型的因果关系发现算法中综合考虑隐变量之间的瞬时性和延时性因果效应,构建以动态贝叶斯网络为基础的时序隐变量模型,提出对应的因果关系发现算法。使用因子分析的方法估计测量模型中的因子载荷矩阵,应用结构向量自回归模型估计自回归矩阵,利用数据的非高斯性依次学习模型中隐变量之间的瞬时效应矩阵与延时效应矩阵,构建时序隐变量模型的因果网络结构。实验结果验证了算法的有效性。     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

基于递归分解的因果结构学习算法

在高维小样本场景下，针对现有基于约束的因果结构学习方法存在因果结构学习效率低、马尔可夫等价类的问题，以非线性非高斯的高维小样本为研究对象，提出一种基于递归分解的因果结构学习算法CADR。在高维小样本的因果结构学习效率方面，结合递归分解的思想，将高维变量集递归分解为多个更小的子集，直到无法再分解或子集的大小达到阈值为止。在该过程中，变量集的减少缩减了条件独立性检验的条件候选集的搜索空间，从而提高学习效率。同时，为进一步识别马尔可夫等价类，根据非线性非高斯模型的因果方向的不可逆性，通过判断拟合噪声项与原因变量是否独立来识别马尔可夫等价类的因果方向。在仿真数据和真实因果结构数据上的实验结果表明，CADR不仅提高条件独立性检验的效率，而且能有效地区分马尔可夫等价类，学习到更精确的因果结构，其中，在真实因果结构实验中，与现有Xie＿rec、PC＿ANM和Notear＿Sob方法相比，F1评分提高5%～12%。     

基于成对约束的判别型半监督聚类分析

现有一些典型的半监督聚类方法一方面难以有效地解决成对约束的违反问题,另一方面未能同时处理高维数据.通过提出一种基于成对约束的判别型半监督聚类分析方法来同时解决上述问题.该方法有效地利用了监督信息集成数据降维和聚类,即在投影空间中使用基于成对约束的K均值算法对数据聚类,再利用聚类结果选择投影空间.同时,该算法降低了基于约束的半监督聚类算法的计算复杂度,并解决了聚类过程中成对约束的违反问题.在一组真实数据集上的实验结果表明,与现有相关半监督聚类算法相比,新方法不仅能够处理高维数据,还有效地提高了聚类性能.     

基于混淆因子隐压缩表示模型的因果推断方法

因果推断方法可以用于在观察数据上发现因果关系。在因果结构含混淆因子的数据上进行因果推断时,可能会受混淆因子的影响而得到错误的因果关系。针对上述问题,提出了一种基于混淆因子隐压缩表示（CHCR）模型的因果推断方法。首先,根据CHCR模型,构造含有对原因变量进行压缩表示的中间隐变量的备选模型;其次,利用贝叶斯信息准则（BIC）计算备选模型评分并选出得分最高的最佳模型;最后,根据最佳模型中的压缩情况判断变量间真正的因果关系。理论分析表明,所提出的方法能够识别经典的基于约束的方法所无法正确分辨的、带有混淆因子的因果结构,且在样本量较小等情况下,BIC评分也可以提高所提方法的表现。实验结果表明,在样本数变化时,所提出的方法在准确率指标上相较于极快因果推断算法（RFCI）等经典方法有显著提升,并适用于各种变量可能取值数不同的情况;在混合不同类型的因果结构时,该方法在准确率指标上高于最大最小爬山算法（MMHC）等经典方法;且该方法能够在Abalone数据集上得到正确的因果关系。     

一种基于高阶累积量的因果结构学习算法

从观测数据中学习因果结构具有重要的应用价值。目前,一类学习因果结构的方法是基于函数因果模型假设,通过检验噪声与原因变量的独立性来学习因果结构。然而,该类方法涉及高计算复杂度的独立性检验过程,影响结构学习算法的实用性和鲁棒性。为此,提出了一种在线性非高斯模型下,利用高阶累积量作为独立性评估的因果结构学习算法。该算法主要分为两个步骤,第一个步骤是利用基于条件独立性约束的方法学习到因果结构的马尔可夫等价类,第二个步骤是定义了一种基于高阶累积量的得分,该得分可以判别两个随机变量的独立性,从而可以从马尔可夫等价类中搜索到最佳独立性得分的因果结构作为算法的输出。该算法的优势在于：a)相比基于核方法的独立性检验,该方法有较低的计算复杂度;b)基于得分搜索的方法,可以得到一个最匹配数据生成过程的模型,提高学习方法的鲁棒性。实验结果表明,基于高阶累积量的因果结构学习方法在合成数据中F₁得分提高了5%,并在真实数据中学习到更多的因果方向。     

结合分支定界法和线性规划的摄像机位姿估计

介绍了一种新的利用对应点估计摄像机位姿的算法。通常情况下,摄像机位姿估计可以转化为一个最优化问题,现有算法将问题转换成一个序列二阶锥规划问题,通过对旋转矩阵所在空间进行分支定界搜索来求取全局最优解。对现有算法进行改进,通过将二阶锥约束松弛为线性约束,提出了一种结合分支定界法和线性规划方法的全局优化算法。该算法不仅能够求得全局最优解,而且算法速度较现有算法提高了一倍以上。最后通过模拟数据和真实数据对该算法进行了验证,结果表明了该算法的准确性和高效性。     

基于多组典型相关变量的因果关系发现算法

现有的因果关系发现算法主要基于单个观察变量本身之间的因果关系,无法适用于多组观察变量,为此提出了一种多组典型相关变量的因果关系发现算法。首先,引入多组典型相关变量建立多组典型相关变量的线性非高斯无环模型并提出对应的目标函数;然后,采用梯度上升的方法求解目标函数,构建多组典型相关变量的因果关系网络。模拟实验验证了该算法的有效性,并在移动基站数据上发现了一批有价值的多组无线网络性能指标间的因果关系。     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

混合局部因果结构学习

局部因果结构学习是发现和学习给定一个目标变量的直接原因和直接结果而无需学习一个完整因果网络的过程。目前已有算法通常由两个步骤完成:步骤1使用约束类算法利用独立性测试学习目标变量的马尔科夫毯(MB)或父子节点集(PC),但是该步骤由于受到有限的数据样本量等因素影响使得独立性测试存在一定的错误性,而导致该步骤精度通常不是很高;步骤2利用V结构及Meek规则来进行边的定向,但是该步骤由于极其依赖于V结构的发现且同样受到有限样本的影响,使得算法精度相对不是很高。基于上述问题,提出利用打分和限制相结合的混合方式来缓减有限样本问题且提高算法精度。步骤1通过在基于限制的算法中加入打分思想来提高数据有效性,进而提出SIAPC算法;步骤2通过利用PC算法得到的定向结果和对部分数据集打分得到的定向结果的交集来确定边的方向,以此来降低对V结构的依赖性且缓减有限样本问题,之后使用独立性测试修正边的定向结果来进一步提高算法精度,进而提出HLCS算法。在标准贝叶斯网络上,实验验证了该算法相对于已有算法在精度方面具有更好的性能且能够有效缓减数据效率问题。     

面向多元时间序列的群体因果关系发现算法

从多元时间序列观测数据中学习多个变量之间的因果关系是许多专业领域中的重要基本问题。现有的多元时间序列因果关系发现方法通常从每个个体的观测数据中学习个体因果关系,没有考虑部分个体之间可能存在相同的因果关系,导致样本利用不足。提出一种面向多元时间序列的群体因果关系发现算法。该算法分为2个阶段：第一阶段基于因果关系对个体之间的相似性进行度量,并把多个个体划分成多个群体,且无须指定群体的个数;第二阶段基于变分推断方法充分利用每个群体内的所有个体数据,从而学习群体因果关系。实验结果表明,该算法在多组不同参数生成的仿真数据上均具有较好的表现,与对比算法相比,AUC评分提升了5%～20%。在真实数据集中,该算法能够较好地区分具有不同因果关系的群体,并且能够学习到不同群体之间不同的因果关系,表明算法不仅具有因果关系发现能力,而且还具有多元时间序列聚类能力。     

High-speed train fault detection with unsupervised causality-based feature extraction methods

With the development of smart sensors, large amount of operating data collected from a complex system as a high-speed train providing opportunities in efficient and effective fault detection and diagnosis (FDD). The data brings also challenges in the FDD modelling process, since the various signals may be redundant, useless and noisy for the FDD modelling of a specific sub-system. The data-driven methods suffer also from the curse of dimensionality. Feature dimension reduction can reduce the dimension of the monitoring dataset and eliminate the useless information. Different from the classical methods based on the correlation among variables, recent studies have shown that causality-based methods can make the FDD model more explanatory and robust. From the adjacency matrix of the causal network diagram, three unsupervised causality-based feature extraction methods for FDD in the braking system of a high-speed train are proposed in this paper. By constructing the causal network diagram among the raw monitoring feature variables through the causal discovery algorithm, the proposed methods extract informative features based on the causal adjacency matrix or the full causal adjacency matrix proposed in this work. These methods are adopted for fault detection with real dataset collected from the braking system in a high-speed train to verify their effectiveness. The experimental results show that the proposed causality-based feature extraction methods are effective and have certain advantages in comparison with the classical correlation-based methods. Especially, the feature extraction method based on the correlation matrix constructed from full causal adjacency matrix achieves better and stable results than the benchmark methods in the experiment.     

Input selection and shrinkage in multiresponse linear regression

The regression problem of modeling several response variables using the same set of input variables is considered. The model is linearly parameterized and the parameters are estimated by minimizing the error sum of squares subject to a sparsity constraint. The constraint has the effect of eliminating useless inputs and constraining the parameters of the remaining inputs in the model. Two algorithms for solving the resulting convex cone programming problem are proposed. The first algorithm gives a pointwise solution, while the second one computes the entire path of solutions as a function of the constraint parameter. Based on experiments with real data sets, the proposed method has a similar performance to existing methods. In simulation experiments, the proposed method is competitive both in terms of prediction accuracy and correctness of input selection. The advantages become more apparent when many correlated inputs are available for model construction.