基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

基于因果自回归流模型的因果结构学习算法

因果自回归流模型已经在非独立噪声等场景的因果方向推断问题上取得了一定的进展,但在多个结点的场景下仍存在全局结构搜索带来的准确度低和计算时间复杂度高的问题。面向非时序观察数据设计一种两阶段因果结构学习算法。在第一阶段,基于观测数据的条件独立性,对完全无向图通过条件独立性检验得到基本的因果骨架;在第二阶段,基于因果自回归流模型,通过标准化流的方法计算骨架中每条无向边在不同方向上的边缘似然概率,进而通过比较边缘似然概率进行因果方向推断。实验结果表明：该算法在多组不同参数生成的仿真因果结构数据集上均有较好的表现,与现有的主流因果结构学习算法相比,F1值平均提升15%～28%;在真实因果结构数据集实验中,该算法能够较为完整准确地学习到变量间的因果关系,与主流的因果结构学习算法相比,F1值平均提升28%～48%,具有更强的鲁棒性。     

基于加性协同的离散贝叶斯网络参数学习

针对小数据集条件下离散BN参数学习的问题,为了将加性协同约束融入到BN参数学习过程中,通过借鉴经典保序回归算法的思想,提出四种处理加性协同约束的方法,进而利用经典的草地湿润模型对改进算法进行仿真,并与最大似然估计算法进行对比,仿真结果表明,改进算法在精度上有一定优势,能够很好的对最大似然估计算法进行修正,得到相对准确的参数,然而时效性则劣于最大似然估计算法.进一步将改进算法应用到弹道导弹突防模型的参数学习中,通过推理分析验证算法的有效性.     

基于神经网络的混合数据的因果发现

因果推理正在成为机器学习领域一个越来越受关注的研究热点,现阶段的因果发现主要是在研究某一种假设条件下,基于纯粹的观测数据推断变量之间的因果方向。然而在现实世界中观察到的数据往往是由一些假设生成,使得传统因果推断方法的识别率不高、稳定性较差。针对当前的问题,提出了一种基于神经网络来解决混合数据因果推断的方法。该方法在混合加性噪声模型(ANM-MM)的假设下,使用梯度下降法最优化改进的损失函数得到混合数据的抽象因果分布参数,然后将分布参数看作是原因变量和结果变量之间的隐变量,通过比较原因变量和分布参数之间的HilberSchmidt独立性来确定二元变量的因果方向。在理论上证明了该方法的可行性,并通过实验表明该算法在人工数据和真实数据的表现较传统的IGCI,ANM,PNL,LiNGAM,SLOPE方法具有较好的准确率和稳定性。     

嵌套删失数据期望最大化的高斯混合聚类算法

针对聚类问题中的非随机性缺失数据, 本文基于高斯混合聚类模型, 分析了删失型数据期望最大化算法的有效性, 并揭示了删失数据似然函数对模型算法的作用机制. 从赤池弘次信息准则、信息散度等指标, 比较了所提出方法与标准的期望最大化算法的优劣性. 通过删失数据划分及指示变量, 推导了聚类模型参数后验概率及似然函数, 调整了参数截尾正态函数的一阶和二阶估计量. 并根据估计算法的有效性理论, 通过关于得分向量期望的方程得出算法估计的最优参数. 对于同一删失数据集, 所提出的聚类算法对数据聚类中心估计更精准. 实验结果证实了所提出算法在高斯混合聚类的性能上优于标准的随机性缺失数据期望最大化算法.     

并行的贝叶斯网络参数学习算法

针对大样本条件下EM算法学习贝叶斯网络参数的计算问题,提出一种并行EM算法(Parallel EM,PL-EM)提高大样本条件下复杂贝叶斯网络参数学习的速度.PL-EM算法在E步并行计算隐变量的后验概率和期望充分统计因子;在M步,利用贝叶斯网络的条件独立性和完整数据集下的似然函数可分解性,并行计算各个局部似然函数.实验结果表明PL-EM为解决大样本条件下贝叶斯网络参数学习提供了一种有效的方法.     

EM算法研究与应用

引入了可处理缺失数据的EM算法.EM算法是一种迭代算法,每一次迭代都能保证似然函数值增加,并且收敛到一个局部极大值.对EM算法的基本原理和实施步骤进行了分析.算法的命名,是因为算法的每一迭代包括两步:第一步求期望(Expectation Step),称为E步;第二步求极大值(Maximization Step),称为M步.EM算法主要用来计算基于不完全数据的极大似然估计.在此基础上,把EM算法融合到状态空间模型的参数估计问题.给出了基于Kalman平滑和算法的线性状态空问模型参数估计方法.     

稀疏性正则化的图像泊松恢复模型及分裂Bregman迭代算法

生物医学、天文等成像系统通常会受到泊松噪声的干扰, 基于图像在过完备字典下的稀疏表示, 在贝叶斯最大后验概率估计框架下, 建立了针对泊松噪声的稀疏性正则化图像恢复凸变分模型, 采用负log的泊松似然函数作为数据保真项, 模型中非光滑的正则项约束图像表示系数的稀疏性, 并附加恢复图像的非负性约束. 进一步, 基于分裂Bregman方法, 提出了求解该模型的多步迭代快速算法, 通过引入辅助变量与Bregman距离, 可将原问题转化为两个简单子问题的迭代求解, 大幅度降低了计算复杂性. 实验结果验证了本文模型与数值算法的有效性.     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

结合似然关系模型和用户等级的协同过滤推荐算法

针对传统协同过滤推荐算法的稀疏性、扩展性问题,提出了结合似然关系模型和用户等级的协同过滤推荐算法.首先,定义了用户等级函数,采用基于用户等级的协同过滤方法,在不影响推荐质量的前提下有效提高了推荐效率,从而解决扩展性问题;然后,将其与似然关系模型相结合,使之能够综合利用用户信息、项目信息、用户对项目的评分数据,对不同用户给出不同的推荐策略,从而解决稀疏性问题,提高推荐质量.在MovieLens数据集上的实验结果表明,该算法比单纯使用基于似然关系模型或传统协同过滤技术的推荐算法,不仅推荐质量有所提高,推荐速度比传统协同过滤算法明显加快.     

灵敏性分析下的因果网络参数的扰动学习研究

联合观察数据和扰动数据学习因果网络是一种基于扰动的机器学习方法,通过扰动学习可以利用少量样本发现网络中的因果关系,扰动对于因果关系的影响主要体现在网络参数方面。提出了一种基于灵敏性分析的因果网络参数的扰动学习算法(intervention learning of parameter sensitivity analysis,ILPSA)。对于给定的先验网络,ILPSA算法利用联合树推理算法生成灵敏性函数,通过对灵敏性函数的参数重要性分析提出扰动结点的一种主动选取方法;对扰动结点的主动干扰产生扰动数据,然后联合观察数据和扰动数据,利用最大似然估计(maximum likelihood estimation,MLE)方法学习因果网络的参数,并利用KL距离对学习结果进行评价。算法比较和实验结果表明,ILPSA算法的学习结果明显好于随机选择扰动结点和无扰动情况下的方法,特别在样本较小的情况下优势更明显。     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

丢失数据下的条件极大似然辨识

针对仿射结构形式在丢失数据下的条件极大似然辨识问题, 首先引入交换矩阵将原随机矢量分解成观测和丢失部分; 然后确定出观测数据在丢失数据下的条件均值和条件方差, 以此建立条件似然函数; 进而从理论上给出了条件极大似然函数关于未知参数矢量、未知白噪声方差值和丢失数据的求导公式, 并从工程上给出一种可分离的优化算法; 最后通过仿真算例验证了该辨识方法的有效性.     

Automatic spectral analysis with missing data

The current computational power and some recently developed algorithms allow a new automatic spectral analysis method for randomly missing data. Accurate spectra and autocorrelation functions are computed from the estimated parameters of time series models, without user interaction. If only a few data are missing, the accuracy is almost the same as when all observations were available. For larger missing fractions, low-order time series models can still be estimated with a good accuracy if the total observation time is long enough. Autoregressive models are best estimated with the maximum likelihood method if data are missing. Maximum likelihood estimates of moving average and of autoregressive moving average models are not very useful with missing data. Those models are found most accurately if they are derived from the estimated parameters of an intermediate autoregressive model. With statistical criteria for the selection of model order and model type, a completely automatic and numerically reliable algorithm is developed that estimates the spectrum and the autocorrelation function in randomly missing data problems. The accuracy was better than what can be obtained with other methods, including the famous expectation–maximization (EM) algorithm.     

基于粒子群算法的Logistic回归模型参数估计

针对Logistic回归模型中的参数估计计算复杂难题,提出一种基于粒子群优化算法（PSO）的估计方法。以最大似然准则作为粒子群优化算法的适应度函数,建立了Logistic回归模型中的参数估算模型。数值仿真分析表明,粒子群优化算法可以更精确地计算出相关参数。     

基于贝叶斯网络的时间序列因果关系学习

贝叶斯网络是研究变量之间因果关系的有力工具,基于贝叶斯网络的因果关系学习包括结构学习与参数学习两部分,其中,结构学习是核心.目前,贝叶斯网络主要用于发现非时间序列数据中所蕴含的因果关系（非时间序列因果关系）,从数据中学习得到的也均是一般变量之间的因果关系.针对这些情况,结合时间序列预处理、时间序列变量排序、转换数据集构建和局部贪婪打分-搜索等进行时间序列的因果关系学习;再将包括分段在内的时间序列预处理、时间序列段的因果关系结构学习、因果关系结构数据集构建、因果关系变量排序和局部贪婪打分-搜索等相结合,来进行元因果关系（因果关系变量之间的因果关系）学习,从而实现两个层次的时间序列因果关系学习,为进一步的量化因果分析奠定了基础.分别使用模拟、UCI和金融时间序列数据进行实验与分析,实验结果显示,基于贝叶斯网络能够有效地进行时间序列的因果关系和元因果关系学习.     

A new causal discovery heuristic

Probabilistic methods for causal discovery are based on the detection of patterns of correlation between variables. They are based on statistical theory and have revolutionised the study of causality. However, when correlation itself is unreliable, so are probabilistic methods: unusual data can lead to spurious causal links, while nonmonotonic functional relationships between variables can prevent the detection of causal links. We describe a new heuristic method for inferring causality between two continuous variables, based on randomness and unimodality tests and making few assumptions about the data. We evaluate the method against probabilistic and additive noise algorithms on real and artificial datasets, and show that it performs competitively.