一种面向反馈网络的因果特征选择算法及其应用

针对2种主流的基于马尔科夫毯（Markov Blanket）和基于信息理论（Information-theoretic）的特征选择策略无法有效解决具有反馈机制的多层网络下的问题,提出一种面向反馈多层网络的因果特征选择方法。该方法首先利用D-separation准则找到目标节点T的邻居节点,即邻居特征Ne(T),然后对目标节点与其余特征求互信息,找出互信息靠前的且不被集合Ne(T)中元素D-separation的特征集合R,最后合并Ne(T)和R即为目标节点对应的特征。该方法有效地避免了基于马尔科夫毯的在反馈网络下特征选择错误和多层网络下最大互信息的特征选择错误的问题。与2种经典的策略在大型电力营销系统中典型告警预测进行对比,相较于主流的特征选择方案,实验结果均表明该方法对于电力营销系统的预测告警特征选择更加有效。     

混合局部因果结构学习

局部因果结构学习是发现和学习给定一个目标变量的直接原因和直接结果而无需学习一个完整因果网络的过程.目前已有算法通常由两个步骤完成:步骤1使用约束类算法利用独立性测试学习目标变量的马尔科夫毯(MB)或父子节点集(PC),但是该步骤由于受到有限的数据样本量等因素影响使得独立性测试存在一定的错误性,而导致该步骤精度通常不是很...     

基于改进马尔科夫特征的图像拼接检测研究

针对传统马尔科夫特征拼接检测准确率不高的问题,提出了一种有效的马尔科夫特征提取方法。与传统马尔科夫特征的计算过程不同,只计算水平和垂直两个方向的转移概率矩阵,选择四个转移概率矩阵中对应位置求和后的值作为最终特征。求和操作不仅降低了特征维度,而且使真实图像与拼接图像之间的概率分布区分更加明显。所提出的算法的特征维度与数据集无关。该方法在哥伦比亚彩色拼接检测图库、CASIA V1. 0和CASIA V2. 0数据集上测试的准确率分别为94. 38%、99. 19%、96. 02%。     

一种基于因果强度的局部因果结构主动学习方法

因果结构学习是贝叶斯网络学习中一种重要的结构学习方法,因果关系揭示了系统要素作用的本质。由于 仅利用观测数据很难准确地发现变量间的因果关系,且通常人们仅关心网络中关于某一变量的局部因果关系,因此针 对难以从观测数据中仅获取所感兴趣的变量的局部因果结构的问题,提出了一种局部结构学习方法,即一种基于因果 强度的局部因果结构主动学习方法(CSI-I_CS工力。CSI一工CSI方法融合了马尔可夫毯的结构划分能力和扰动学习的因 果发现能力,并且引入了因果强度进行扰动结点的选择。利用HITON MI3算法寻找目标结点的马尔可夫毯,生成关 于目标结点的局部模型;然后,利用不对称信息墒对局部模型中的每一结点进行因果强度分析,选取因果强度值较大 的结点进行扰动,生成扰动数据;进而,联合扰动数据和观测数据利用准确方法(exact method)学习边的后验概率,从 而获得一个关于目标结点的局部因果网络。利用结构信息嫡对CSI-LCSL方法的学习结果进行评估。在标准网络上 的实验结果证实了CSI一LCSI、算法的有效性。     

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

一种融合近似马尔科夫毯的随机森林优化算法

特征的相关和冗余，会直接影响随机森林随机抽取特征的质量，导致随机森林的收敛性减弱，降低随机森林模型的准确度、泛化能力及性能。基于此，提出一种融合近似马尔科夫毯的随机森林优化算法，该算法利用近似马尔科夫毯构建相似特征组，再从每个相似组中按比例抽取特征形成单棵决策树的特征子集，重复上述过程直至达到随机森林规模。该算法可以在保证随机森林特征的多样性前提下，利用近似马尔科夫毯消除特征间的相关性和冗余性，提高随机抽取特征的质量。通过在12组不同维度UCI数据集实验对比表明：融合近似马尔科夫毯的随机森林在一定程度上可以消除特征相关性和冗余性，提高模型的各项评价指标，泛化能力增强，更适用于高维数据。     

针对高维数据的马尔科夫毯特征选择

针对不满足忠实分布的高维数据分类问题,一种新的基于粒子群算法的马尔科夫毯特征选择方法被提出。它通过有效地提取相关特征和剔除冗余特征,能够产生更好的分类结果。在特征预处理阶段,该算法通过最大信息系数衡量标准对特征的相关度和冗余性进行分析得到类属性的马尔科夫毯代表集和次最优特征子集;在搜索评价阶段,采用新的适应度函数通过粒子群算法选出最优特征子集;用此模型对测试集进行预测。实验结果表明,该算法在12个数据集上具有一定的优势。     

基于最大决策边界的局部在线流特征选择

现有的在线流特征选择算法通常选择一个最优的全局特征子集,并假设该子集适用于样本空间的所有区域.但是,样本空间的每个区域都使用独有的特征子集进行准确描述,这些特征子集的特征和大小可能有所不同.因此,文中提出基于最大决策边界的局部在线流特征选择算法.引入局部特征选择,在充分利用局部信息的基础上,设计基于最大决策边界的特征衡量标准,尽可能分开同类样本和不同类样本.同时,使用最大化平均决策边界、最大化决策边界和最小化冗余3种策略选择合适的特征.针对局部区域选择最优的特征子集,然后使用类相似度测量方法进行分类.在14个数据集上的实验结果和统计假设检验验证文中算法的分类有效性和稳定性.     

面向网络论坛的高质量主题发现

提出了一种通用的高质量主题发现框架.在该框架下,利用特征抽取技术提取内容特征,利用结构特征去发现高质量主题.提出了一种基于遗传算法、禁忌搜索与机器学习的特征选择算法,用来评价被抽取特征的重要性.在腾讯论坛数据集上进行了大量的实验.实验结果表明,该框架能够很好地发现高质量主题.提出的特征抽取算法、特征选择算法以及高质量主题发现框架能够在很多Web2.0领域得到应用,例如,博客、社会网络平台等.     

基于互信息的适用于高维数据的因果推断算法

推断数据间存在的因果关系是很多科学领域中的一个基础问题。然而现在暂时还没有快速有效的方法对高维数据进行因果推断。为此,提出了一种基于互信息的适应于高维数据的因果推断算法,该算法采取将高维网络结构学习问题分解成每一个节点的因果网络结构学习问题的策略。在第一阶段,利用基于互信息的条件独立性测试算法寻找目标节点的父子节点;在第二阶段,利用一种混合的方向识别算法对目标节点与其父子节点之间的方向进行判别,所有节点迭代完后得到一个完整的因果网络。数据实验表明,该算法在高维数据的情况下要优于目前其他的算法。     

基于最大信息系数和近似马尔科夫毯的特征选择方法

最大信息系数（Maximum information coefficient,MIC）可以对变量间的线性和非线性关系,以及非函数依赖关系进行有效度量.本文首先根据最大信息系数理论,提出了一种评价各维特征间以及每维特征与类别间相关性的度量标准,然后提出了基于新度量标准的近似马尔科夫毯特征选择方法,删除冗余特征.在此基础上提出了基于特征排序和近似马尔科夫毯的两阶段特征选择方法,分别对特征的相关性和冗余性进行分析,选择有效的特征子集.在UCI和ASU上的多个公开数据集上的对比实验表明,本文提出的方法总体优于快速相关滤波（Fast correlation-based filter,FCBF）方法,与ReliefF,FAST,Lasso和RFS方法相比也具有优势.     

结合边界的小波域马尔科夫模型的图像分割算法

针对基于马尔科夫随机场(MRF)的分割算法常存在边界块效应,且对整幅图像进行建模运行效率低等问题,提出了结合边界的小波域马尔科夫模型的图像分割算法,把影像的特征场建立在一系列小波域提取的边界上,并建立相应的边界标号场MRF模型,借助贝叶斯框架和SMAP准则实现分割。利用Matlab GUI实现了分割系统,通过医学图像检验,结果表明:相比于小波域分层随机场模型(WMSRF),该算法在有效区分不同区域的同时很好地保留了边界信息,提高了运行效率。     

基于稀疏组lasso-granger因果关系特征的脑电信号情感识别

针对目前基于单一脑区功能性网络层面的特征提取,文中提出稀疏组lasso-granger因果关系方法.首先从效应性脑网络层面提取不同脑区之间的因果关系作为脑电特征,分别提取受试者α,β,γ脑电波段的granger因果特征值.然后引用稀疏组lasso算法对获取的granger因果特征值进行特征筛选,获得高相关性特征子集作为情感分类特征.最后使用SVM分类器进行情感分类.此外,为了减少计算时间复杂度,使用过滤特征选择(ReliefF)算法,选取有效的脑电信号通道.实验表明,文中方法在Valence-Arousal二维情感模型上获得较高的平均情感分类准确率,分类效果优于对比的脑电特征,提取的情感脑电特征可以有效识别受试者的不同情感状态.     

一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

基于扰动数据的因果网络结构的学习

因果网络是一种把节点间的有向边解释成因果关系的贝叶斯网络,它可以用来为现实中的黑盒系统建模。由于存在多个贝叶斯网络可以表述相同的条件独立声明,所以这些网络统计上是不可区分的,它们被称为是马尔科夫等价网络。这意味着,即使知道两个网络节点是相关的,也不能区分谁是原因,谁是结果。为了解决这个问题,提出一种基于扰动数据的因果网络结构的学习算法,通过引入扰动数据,改动传统的打分方式,在此基础上进行马尔科夫链—蒙特卡罗搜索最好得分。实验结果表明,这种方法有效地找到了可信的因果网络结构。     

基于结构化多视图稀疏限定的 监督特征选择算法研究

为了有效利用多视图数据信息提升监督特征选择的性能,构建了一种结构化多视 图稀疏限定,并基于该稀疏限定提出了一种监督特征选择方法,即结构化多视图监督特征选择 方法(SMSFS)。该方法在特征选择过程中能够同时考虑不同视图特征的重要性以及同一视图中 不同特征的重要性,从而有效的结合多视图数据信息,提升监督特征选择的性能。SMSFS 目标 函数是非凸的,设计了一个有效的迭代算法对目标函数进行求解。将所提结构化多视图监督特 征选择方法 SMSFS 应用到了图像标注任务,在 NUS-WIDE 和 MSRA-MM2.0 图像数据库上进 行了实验,并与其他特征选择算法进行了比较,实验结果表明该算法能够有效结合多视图数据 信息,提升特征选择性能。     

面向跨领域情感分类的特征选择方法

数据标记的难以获取使得跨领域适应成为一种有效的途径.然而情感分类具有较强的领域依赖性,利用传统的特征选择方法在原始领域构建的特征空间不能体现领域间的共性,难以适用于目标领域.为此,提出一种面向跨领域情感分类的特征选择方法(LLRTF),利用对数似然比选取在原始领域富有判别力的特征,并通过对照两个领域的统计信息,选出其中在目标领域影响较大的特征.基于该方法构建的公共特征空间,能减少领域间数据分布的差异.实验结果表明,LLRTF优于基准算法.     

基于因果贝叶斯网络的急性肾损伤患者死亡风险预测

为了及早发现重症监护室中的急性肾损伤高危患者,为其提供适当的护理,实现医疗资源的合理利用,研究建立因果贝叶斯网络模型进行急性肾损伤高危患者死亡风险预测。从重症监护医学信息市场(Medical Information Mart for Intensive CareⅢ, MIMIC-Ⅲ)数据库中筛选了25个研究变量和3 870条患者数据,使用因果发现算法进行特征降维。通过NO TEARS算法构建因果图并建立因果贝叶斯网络进行实验,通过机器学习算法验证重要特征的合理性,并对网络结构进行因果效应估计,模型具有最高的受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic, AUROC)分数,为81.7%,优于逻辑回归(Logistic Regression, LR)、随机森林(Random Forest, RF)和极端梯度提升树(eXtreme Gradient Boosting, XGBoost)。此外,模型的重要特征预测能力在各种建模中都很稳健,构建的因果贝叶斯网络具有更好的预测效果并具备良好的解释能力。     

融合多特征与时间序列的人群行为识别模型

人群行为识别在公共安全等领域具有重要的应用价值.现有研究分别考虑了人群情绪、人群类型、人群密度以及人群社会文化环境等因素对于人群行为的影响,但少有综合考虑这些因素的模型,导致模型性能受限.本文综合考虑人群的物理特征、社交特征、情绪人格特征和文化背景特征之间的相关性,以及相结合之后对人群行为的影响,提出一种融合多特征与时间序列的人群行为识别模型.模型采用两个并行的网络层分别处理多特征相关性和时间序列依赖性对于人群行为的影响,同时为提高模型可解释性,网络层采用融合结构因果模型(SCM)与图神经网络(GNN)的因果图网络(CGN).通过在运动情感数据集(MED)上进行实验并与其他方法模型进行对比,证明了本文方法能够成功识别人群行为,并且优于目前最先进的方法.     

基于贝叶斯网络的马尔科夫毯预测学习

研究变量之间的预测能力在许多领域都有重要意义,通过这种研究,能够揭示变量之间的制约机制,贝叶斯网络是研究变量之间预测能力的有力工具.本文使用依赖分析方法建立基于贝叶斯网络的马尔科夫毯预测,其核心问题是贝叶斯网络结构学习.目前,基于依赖分析的贝叶斯网络结构学习方法主要存在三个问题:(1)需要进行大量的高维条件概率计算,(2)容易丢失弱联合依赖边,(3)对边的方向的确定具有局限性.针对这些问题,本文提出了首先进行递推条件独立性检验,然后进行因果语义定向,最后进行冗余边检验的贝叶斯网络结构学习方法.该方法能够有效地避免这些问题,更准确地建立马尔科夫毯预测.