基于互信息的适用于高维数据的因果推断算法

推断数据间存在的因果关系是很多科学领域中的一个基础问题。然而现在暂时还没有快速有效的方法对高维数据进行因果推断。为此,提出了一种基于互信息的适应于高维数据的因果推断算法,该算法采取将高维网络结构学习问题分解成每一个节点的因果网络结构学习问题的策略。在第一阶段,利用基于互信息的条件独立性测试算法寻找目标节点的父子节点;在第二阶段,利用一种混合的方向识别算法对目标节点与其父子节点之间的方向进行判别,所有节点迭代完后得到一个完整的因果网络。数据实验表明,该算法在高维数据的情况下要优于目前其他的算法。     

基于偏相关性测试的递归式因果推断算法

因果推断是挖掘事物间联系的一种重要方式,但在高维数据场景下,利用因果推断算法进行条件独立性（CI）测试存在冗余测试多和测试效率低的问题,这限制了因果推断在高维数据集上的应用。提出一种基于偏相关性测试的递归式因果推断算法。采用“分治”的方法对变量集进行递归式因果分割,得到更易于处理的低维子数据集,提高对数据集的处理效率。在每个子数据集上进行局部因果推断,减少每次因果推断的计算量并提升算法的运行速度。在此基础上,通过比较显著性值的合并策略整合所有子结果并得到完整的因果关系,保证总体因果结构的准确性。在“分治”过程中,采用高效的偏相关性测试避免高复杂度的核密度估算,进一步提升算法效率。基于10个经典数据集的实验结果表明,在准确率与经典推断算法CAPA持平的情况下,该算法的运算速度提升了2~10倍,且在样本量越大的数据集中提升效果越明显,证明递归式因果推断算法可以有效处理高维数据集,在保证准确率的同时提高运算效率。     

基于混淆因子隐压缩表示模型的因果推断方法

因果推断方法可以用于在观察数据上发现因果关系。在因果结构含混淆因子的数据上进行因果推断时,可能会受混淆因子的影响而得到错误的因果关系。针对上述问题,提出了一种基于混淆因子隐压缩表示（CHCR）模型的因果推断方法。首先,根据CHCR模型,构造含有对原因变量进行压缩表示的中间隐变量的备选模型;其次,利用贝叶斯信息准则（BIC）计算备选模型评分并选出得分最高的最佳模型;最后,根据最佳模型中的压缩情况判断变量间真正的因果关系。理论分析表明,所提出的方法能够识别经典的基于约束的方法所无法正确分辨的、带有混淆因子的因果结构,且在样本量较小等情况下,BIC评分也可以提高所提方法的表现。实验结果表明,在样本数变化时,所提出的方法在准确率指标上相较于极快因果推断算法（RFCI）等经典方法有显著提升,并适用于各种变量可能取值数不同的情况;在混合不同类型的因果结构时,该方法在准确率指标上高于最大最小爬山算法（MMHC）等经典方法;且该方法能够在Abalone数据集上得到正确的因果关系。     

基于典型因果推断算法的无线网络性能优化

现有的无线网络性能优化方法主要基于指标间的相关关系分析,无法有效指导网络优化等干预行为。为此,提出典型因果推断（CCI）算法,并将其应用于无线网络性能优化。首先,针对无线网络性能由大量相关指标体现这一特性,采用典型相关分析（CCA）方法,提取指标中蕴含的原子事件;然后再采用因果推断方法,构建原子事件间的因果关系网络。通过上述两个阶段反复迭代,确定原子事件间的因果关系网络,为无线网络性能优化提出一个较为可靠和有效的依据。最后通过模拟实验验证了CCI算法的有效性,在某城市3万多个移动基站数据上发现了一批有意义的无线网络指标间的因果关系。     

基于因果贝叶斯网络的急性肾损伤患者死亡风险预测

为了及早发现重症监护室中的急性肾损伤高危患者,为其提供适当的护理,实现医疗资源的合理利用,研究建立因果贝叶斯网络模型进行急性肾损伤高危患者死亡风险预测。从重症监护医学信息市场(Medical Information Mart for Intensive CareⅢ, MIMIC-Ⅲ)数据库中筛选了25个研究变量和3 870条患者数据,使用因果发现算法进行特征降维。通过NO TEARS算法构建因果图并建立因果贝叶斯网络进行实验,通过机器学习算法验证重要特征的合理性,并对网络结构进行因果效应估计,模型具有最高的受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic, AUROC)分数,为81.7%,优于逻辑回归(Logistic Regression, LR)、随机森林(Random Forest, RF)和极端梯度提升树(eXtreme Gradient Boosting, XGBoost)。此外,模型的重要特征预测能力在各种建模中都很稳健,构建的因果贝叶斯网络具有更好的预测效果并具备良好的解释能力。     

深度学习在肺癌患者生存预测中的应用研究

肺癌是一种严重威胁患者生命的恶性肿瘤。通过对肺癌病人进行生存预测分析并制定针对性治疗方案,对提高病人生存率具有重要意义。提出一种基于病理学图像的肺癌患者生存预测分析方法。首先采用深度学习方法对病理学图片进行肺癌细胞自动检测,并对检测出的肺癌细胞进行特征提取。在特征选取中,引入了反映肺癌细胞间关系和分布特性的拓扑特征的提取方法,将提取的拓扑特征作为生存分析的预测因素。最后采用Cox-Lasso方法对肺癌患者进行生存预测分析。实验结果表明,该方法能够提高细胞检测的效率和准确性,并具有较高的肺癌患者生存预测分析能力。     

基于时间动态因果图的复杂工业过程故障预测方法

故障预测技术有力地保证了生产过程的平稳有序和人员安全.但在实际操作过程中,过程数据的定性与定量信息并存,模型较为复杂.此外,在生产过程中,利用在线收集的数据进行故障预测时存在时序延迟问题.对此,建立一种基于时间动态因果图(TDCD)的故障预测模型.在模型建立过程中,提出参数的延迟时间间隔学习算法,即移动搜索最大信息系数(MIC)算法,充分考虑了时序方面的延迟问题.在推理过程中,加入趋势分析和延时信息排序以优化推理过程,减少因延迟时间造成的故障误报率.最后,使用某浮选过程因果图网络进行算法验证,并将所提出的策略应用于湿法冶金浸出过程,与单值/多值不确定动态因果图进行对比,以表明故障预测策略的先进性和有效性.     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

基于神经网络的混合数据的因果发现

因果推理正在成为机器学习领域一个越来越受关注的研究热点,现阶段的因果发现主要是在研究某一种假设条件下,基于纯粹的观测数据推断变量之间的因果方向。然而在现实世界中观察到的数据往往是由一些假设生成,使得传统因果推断方法的识别率不高、稳定性较差。针对当前的问题,提出了一种基于神经网络来解决混合数据因果推断的方法。该方法在混合加性噪声模型(ANM-MM)的假设下,使用梯度下降法最优化改进的损失函数得到混合数据的抽象因果分布参数,然后将分布参数看作是原因变量和结果变量之间的隐变量,通过比较原因变量和分布参数之间的HilberSchmidt独立性来确定二元变量的因果方向。在理论上证明了该方法的可行性,并通过实验表明该算法在人工数据和真实数据的表现较传统的IGCI,ANM,PNL,LiNGAM,SLOPE方法具有较好的准确率和稳定性。     

基于因果发现的神经网络集成方法

现有的神经网络集成方法主要通过扰动训练数据来产生精确且差异度较大的个体网络,从而获得较强的泛化能力.利用因果发现技术,在取样结果中找出类别属性的祖先属性,然后使用仅包含这些属性的数据生成个体网络,从而有效地将扰动训练数据与扰动输入属性结合起来,以产生精确度高且差异度大的个体.实验结果表明,该方法的泛化能力与当前一些流行的集成方法相当或更好.     

基于周期性建模的时间序列预测方法及电价预测研究

时间序列数据广泛存在于人类的生产生活中, 通常具有复杂的非线性动态和一定的周期性. 与传统的时间序列分析方法相比, 基于深度学习的方法更能捕捉数据的深层特性, 对具有复杂非线性的时间序列有较好的建模效果. 为了在神经网络中显式地建模时间序列数据的周期性和趋势性, 本文在循环神经网络的基础上引入了周期损失和趋势损失, 建立了基于周期性建模和多任务学习的时间序列预测模型. 将模型应用到欧洲能源交易所法国市场的能源市场价格预测中, 结果表明周期损失和趋势损失能够提高神经网络的泛化能力, 并提高预测时间序列趋势的精度.     

基于加性噪声模型的缺失数据因果推断 *

推断数据间存在的因果关系是很多科学领域中的一个基础问题.然而现在暂时还没有快速有效的方法对缺失数据进行因果推断。为此,文中提出一种基于加性噪声模型下适应缺失数据的因果推断算法.该算法是基于加性噪声模型下利用最大似然估计法结合加权样本修复数据的思想构造以似然函数形式的模型评分函数,并以此度量模型相对于缺失数据集的优劣程度,通过迭代学习确定因果方向.每次迭代学习包括使用参数修复数据和在修复后的完整数据集下估计参数.该方法既解决了加性噪声模型中映射函数的参数学习困难性问题,又避免了现有学习方法所存在的主要问题。实验表明,在数据缺失比例扩大的情况下该算法仍具有较高识别能力.     

基于深度神经网络的因果形式语音增强模型

传统的基于深度神经网络(DNN)的语音增强方法由于采用非因果形式的输入,在处理过程中具有固定延时,不适用于实时性要求较高的场合。针对这一问题,从网络结构角度展开研究,通过实验对不同网络结构在不同输入形式下的语音增强性能进行对比,寻找适用于因果形式输入的网络结构,在此基础上,结合卷积神经网络和长短期记忆网络建立一个能充分利用先前帧信息的因果语音增强模型。实验结果表明,该模型在提高基于DNN的语音增强方法实时性的同时,保证了语音增强性能,其PESQ与STOI得分分别为2.25和0.76。     

时间序列预测方法综述

时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势,而时间序列预测方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出估计。针对时间序列预测方法,着重介绍了传统的时间序列预测方法、基于机器学习的时间序列预测方法和基于参数模型的在线时间序列预测方法,并对未来的研究方向进行了进一步的展望。     

基于时空图卷积网络的多变量时间序列预测方法

为了扩大时空图卷积网络的预测范围,将它应用在关联关系未知场景下的多变量时间序列预测问题,提出一种附加图学习层的时空图卷积网络预测方法（GLB-STGCN）。图学习层借助余弦相似度从时间序列中学习图邻接矩阵,通过图卷积网络捕捉多变量之间的相互影响,最后通过多核时间卷积网络捕捉时间序列的周期性特征,实现对多变量的精准预测。为验证GLB-STGCN的有效性,使用天文、电力、交通和经济四个领域的公共数据集和一个工业场景生产数据集进行预测实验,结果表明GLB-STGCN优于对比方法,在天文数据集上的表现尤为出色,预测误差分别降低了6.02%、8.01%、6.72%和5.31%。实验结果证明GLB-STGCN适用范围更广,预测效果更好,尤其适合自然周期明显的时间序列预测问题。     

一种基于因果强度的局部因果结构主动学习方法

因果结构学习是贝叶斯网络学习中一种重要的结构学习方法,因果关系揭示了系统要素作用的本质。由于 仅利用观测数据很难准确地发现变量间的因果关系,且通常人们仅关心网络中关于某一变量的局部因果关系,因此针 对难以从观测数据中仅获取所感兴趣的变量的局部因果结构的问题,提出了一种局部结构学习方法,即一种基于因果 强度的局部因果结构主动学习方法(CSI-I_CS工力。CSI一工CSI方法融合了马尔可夫毯的结构划分能力和扰动学习的因 果发现能力,并且引入了因果强度进行扰动结点的选择。利用HITON MI3算法寻找目标结点的马尔可夫毯,生成关 于目标结点的局部模型;然后,利用不对称信息墒对局部模型中的每一结点进行因果强度分析,选取因果强度值较大 的结点进行扰动,生成扰动数据;进而,联合扰动数据和观测数据利用准确方法(exact method)学习边的后验概率,从 而获得一个关于目标结点的局部因果网络。利用结构信息嫡对CSI-LCSL方法的学习结果进行评估。在标准网络上 的实验结果证实了CSI一LCSI、算法的有效性。     

基于边缘计算的分支神经网络模型推断延迟优化

针对云服务器上深度神经网络（DNN）模型推断任务延迟过高的问题,提出基于边缘计算的分支神经网络部署模型。分析了边缘计算场景中深度神经网络的分布式部署问题,证明该问题是NP-难的。设计了一种基于分支定界思想的部署算法（DBB）,选择合适的边缘计算节点部署模型以减少推断任务的延迟。设计并实现了选择节点退出（SNE）算法,为不同任务选择合适的边缘计算节点来退出推断任务。仿真实验结果表明,与在云端部署神经网络模型的方法相比,基于边缘计算的分支神经网络模型的推断延迟平均降低了36%。     

基于神经网络集成学习算法的金融时间序列预测

本文在传统神经网络(NN)、循环神经网络(RNN)、长短时记忆网络(LSTM)与门控循环单元(GRU)等神经网络时间预测模型基础上, 进一步构建集成学习(EL)时间序列预测模型, 研究神经网络类模型、集成学习模型和传统时间序列模型在股票指数预测上的表现. 本文以16只A股和国际股票市场指数为样本, 比较模型在不同预测期间和不同国家和地区股票市场上的表现.本文主要结论如下: 第一, 神经网络类时间序列预测模型和神经网络集成学习时间序列预测模型在表现上显著稳健优于传统金融时间序列预测模型, 预测性能提高大约35%; 第二, 神经网络类模型和神经网络集成学习模型在中国和美国股票市场上的表现优于其他发达国家和地区的股票市场.     

基于神经网络的深度学习方法研究

在机器学习算法中深度学习已成为现今最热门的一种算法,在全局环境下能够得出较优的解,这种算法的出现得到个社会各界的广泛关注,在不同领域中获得了大量的应用.深度学习是在神经网络的基础上应运而生,采用多层隐藏层对参数进行调优并进行逐层优化,而改变了原有的神经网络过拟合和参数难调等问题.现今,诸多领域,例如:文本挖掘、推荐系统一级智能机器人等,都开始应用深度学习的.