知识发现中的因果关联规则挖掘研究

因果关联规则是知识库中一类重要的知识类型,具有重要的应用价值。首先对因果关系的特殊性质进行了分析,然后基于语言场和广义归纳逻辑因果模型,从表示、挖掘、评价和应用几方面,对因果关联规则的研究进行了详细论述。并在此基础上提出了隐含因果关联规则的概念。通过语言场和推理机制的运用,使因果关联规则这一重要知识形式的挖掘和评价过程具有良好的逻辑性和扩张性。     

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

一种改进的Conf-H-Mine算法

对关联规则和约束关联规则的算法进行了研究和分析,基于候选集的约束算法需要反复扫描数据库,并产生大量的候选集,在挖掘低支持度、长模式的规则时效率低下。针对算法的缺陷,该文提出了一种Conf-H-Mine算法,采用Conf-H-Struct结构存储事务集合,不产生候选集,优化了关联规则的挖掘。实验结果证明了该算法的有效性。     

多目标桥梁劣化因果分析方法

以云南省桥梁为例,建立了多目标桥梁劣化因果分析方法.该算法在关联规则挖掘算法的基础上引入遗传算法和灰色关联分析方法解决了关联规则挖掘算法中支持度和置信度取值大小影响规则质量问题.评估了云南省亚热带地区桥梁的劣化因果关系.实验结果表明建成年限、下穿通道类型、桥梁的构造形式及构造材料、降雨量等因素对桥梁劣化产生较大影响.     

关联规则挖掘与因果关系发现的比较研究

关于关联规则挖掘和因果关系发现之间的关系,较为全面地分析比较结果目前尚不多见.本文在说明关联规则与因果规则各自特点的基础上,从方向性、对人类行为的指导意义以及如何将他们联系起来三个方面进行了理论上的分析比较.分析结果表明因果发现能够找出事物间的内在机制性联系,并且可以据此对关联规则进行推理和检验.最后,将两种数据挖掘方法应用于一个人口统计数据集,并比较了挖掘结果,从而进一步验证理论分析的结论.     

一种基于信息瓶颈的因果关系挖掘方法

观测数据因果关系挖掘是很多学科的基础问题.然而基于约束与因果函数等的现有方法对数据的因果机制具有较强的假设,一般适用于低维数据,并不能很好地适用于存在隐变量的场景.为此,提出了一种基于信息瓶颈的因果关系挖掘方法,称为因果信息瓶颈方法.该方法将因果机制划分为压缩与提取两阶段,在压缩阶段,假设存在一个经过压缩的中间隐变量,...     

网络管理告警数据库中时序规则挖掘的一种新方法

提出一种基于“最小发生的双时间窗口约束”时序规则挖掘新方法。该方法依据“双时间窗口”约束和“最小发生”判据,可判别在一个时间窗内的哪些告警事件导致了另一个时间窗内告警集合事件的产生,快速寻找出不同网络设备告警与其它网络设备告警之间的关联知识。通过对采集某省级IP网的告警数据库进行规则挖掘实验,表明该方法可以准确、快速地挖掘出海量网络告警数据库中大量有意义的时序规则,这些规则可作为选验知识来指导网络智能化故障定位、诊断及预测。     

融合因果关系表征的阅读理解因果关系类选项判断

阅读理解因果关系类选项是指存在因果线索词的选项,此类选项需要根据原文中的因果关系表征进行作答。基于高考阅读理解任务构建因果关系网络,提出融合因果关系表征的因果关系类选项判断方法。采用模式匹配方法抽取原文的因果句对,根据文章因果句对抽取出因果关系词对,并通过点互信息计算因果关系词对之间的因果关联强度,从而构建因果关系网络来表征原文的因果关系。在此基础上,将因果关系表征融入到BERT模型中,预测因果关系选项和原文是否一致。同时,根据高考阅读理解大纲结合语料库发现错误类型分为因果颠倒、强加因果、偷换原因或结果、其他类型等4类,根据每一种错误类型的特点结合预测结果确定选项的错误类型,并提供一个错误解释,以增强方法的可解释性。选用近15年全国高考试题及模拟题中的4 071个科技类阅读理解因果选项进行实验,结果显示F1值达到62.09%,验证了该方法的有效性。     

ICIC_Prediction:基于因果关系全局动态特性的预测方法

因果关系的预测是因果关系研究的重要内容和主要应用。现有的很多预测方法以寻找最优预测方程或最小特征变量集合为目的,以简化计算。提出一种新的可用于处理政策干预的因果关系预测方法ICIC_Prediction,不局限于利用马尔科夫毯等特征变量集合,而是从因果关系网络结构出发,利用因果关系系统及其采样数据的动态全局特性,预测目标变量在当前采样中的取值。通过在NIPS 2008"因果与预测"的评测会议上发布的四个不同类型的数据集上的对比实验,分析并展示了ICIC_Prediction方法的优势和特点。     

基于Fisher Score与最大信息系数的齿轮箱故障特征选择方法

因果网络定向问题实质是一个“多对多”因果关系发现过程,传统的V-结构定向方法只能确定一组马尔可夫等价类而非最终的因果关系.为解决该问题,从柯氏复杂度的因果推断原理视角出发,利用贝叶斯链式法则推导出局部网络因果定向规则,并在此基础上提出高维全局网络因果定向方法.同时,将前者运用于改进基于局部条件独立信息搜索学习马尔可夫毯典型算法,后者运用于改进基于约束的因果网络结构学习典型算法.实验结果表明,改进后算法在保证较高准确率的同时可有效提升执行效率.     

基于有向图链式存储的关联规则改进算法

在关联规则数据挖掘领域中,Apriori算法是这个方面的经典算法,但它仍存在许多弊端,为此在Apriori算法的基础上提出了一种基于有向图链式存储的改进算法,此算法根据数据结构中有向图链式存储的结构,将所有事务全部存入链表,无需多次扫描数据库,只在事务链表中完成候选集和频繁集的寻找工作.此方法能够迅速得到候选集的支持度...     

基于空间布局约束的拓扑关联规则挖掘

在空间拓扑关联挖掘中,为提取包含指定空间布局关系的拓扑关联规则,提出一种基于空间布局约束的拓扑关联规则挖掘算法,该算法能够在多空间关系模式下,挖掘包含空间布局约束的拓扑关联规则,将空间关系事务转换成整数,通过空间布局约束重构非目标空间对象类的权值向量,用重构权位值递减构建候选频繁项,并用布尔运算计算其支持数。实验结果表明,与传统挖掘算法相比,该算法的挖掘速度更快、更有效。     

基于数据仓库的高效关联规则的挖掘

提出在基于数据仓库的关联规则发现中生成最小关联规则集来代替完全关联规则集，最小关联规则集必须具备两个条件：（1）最小关联规则集是最小、最简单的关联规则集合；（2）最小关联规则集与完全关联规则集有相同的置信度。通过最小关联规则集，可以有效地剪除弱关联规则，大幅度减少候选频繁项目集，从而提高规则发现效率。是后，在传统经典算法Apriori基础上设计了一个相应的高效算法。     

因果信息在不同粒度上的迁移性

知识与粒度相关,在不同粒度上对现象的解释不同,而因果性描述的是现象的本质特征。因果性与粒度之间存在着怎样的关联,一个粒度上的因果关系是否可移植到其他不同粒度上,是目前人工智能研究亟待解决的问题。针对由观测数据构成的信息系统,从数据中直接抽取因果变量所需满足的基本图形结构,估算变量间的因果关系;再通过向系统中添加新属性以及合并多个信息系统,改变原系统中信息的粒度,研究所识别的因果关系在新系统中的可迁移性。若新属性作用于结果变量,则原系统中的因果关系不可迁移至新系统;若新属性对结果变量无影响,则原系统中的因果关系可移植至新系统。     

基于互信息的直接因果搜索算法

因果关系挖掘是数据挖掘领域一个新的研究方向,具有很大的实用意义,但理论建模的困难阻碍了它的发展。20世纪90年代,在因果建模研究成果的基础上,国外开始针对此方向进行研究,目前已得到了一些理论算法。该文针对已有算法鲁棒性、实用性差,不适合大规模数据挖掘应用的缺点,提出了一种基于互信息的因果数据挖掘算法———直接因果搜索算法;仿真试验表明,该算法能很好地搜索出目标变量的直接因果,与其他算法相比,对于数据、门限的变化更具鲁棒性。     

一种基于主属性判定的关联规则挖掘约简算法

关联规则挖掘是经典的数据挖掘方法,越来越多的企业都把它看作是必不可少的战略分析工具。当前关联规则挖掘方法得到的规则过多,令用户在运用时难以理解,因此研究关联规则集的约简方法具有应用价值。研究了数据库模式中关键字包含的主属性对基于Apriori算法的关联规则挖掘产生的关联规则的影响,即部分函数依赖会导致关联规则挖掘的数据集中冗余信息的频繁出现,并产生没有实际价值的关联规则,识别并消除这样的规则就能实现规则集的约简。求全部主属性如同求所有候选关键字问题都是NP难题,因此提出了一种基于一个候选关键字进行验证的算法来判定主属性,从而完成基于主属性判定的关联规则挖掘约简算法的设计与实现,并在最后的实验中验证了该算法的有效性。      

基于频繁项挖掘的贝叶斯网络结构学习算法BNSL-FIM

贝叶斯网络能够表示不确定知识并进行推理计算表达,但由于实际样本数据存在噪声和大小限制以及网络空间搜索的复杂性,贝叶斯网络结构学习始终会存在一定的误差。为了提高贝叶斯网络结构学习的准确度,提出了以最大频繁项集和关联规则分析结果为先验知识的贝叶斯网络结构学习算法BNSL-FIM 。首先从数据中挖掘出最大频繁项集并对该项集进行结构学习,之后使用关联规则分析结果对其进行校正,从而确定基于频繁项挖掘和关联规则分析的先验知识。然后提出一种融合先验知识的BDeu评分算法进行贝叶斯网络结构学习。最后在6个公开标准的数据集上开展了实验,并对比引入先验/不引入先验的结构与原始网络结构的汉明距离,结果表明所提算法与未引入先验的BDeu评分算法相比显著提高了贝叶斯网络结构学习的准确度。     

基于业务路径和频度矩阵的关联规则挖掘算法

关联规则挖掘为分析机载网络关联故障及提高排故效率提供了重要方法。分析了经典Apriori算法的局限性,结合机载网络领域知识、矩阵运算和频繁项集性质,提出一种高效的关联规则挖掘算法。应用机载网络故障具有的基于业务路径的关联特征,提出分块挖掘策略,从而实现挖掘过程的噪声隔离。提出频度矩阵和特征向量,结合矩阵特点和频繁项集性质,设计5个扫描策略,从而减少了循环次数和对比运算。与Apriori算法 相比,新算法能有效提高频繁项集的搜索速率。     

基于事件动作方向的隐式因果关系抽取方法

抽取事件之间的因果关系能够应用于自动问答、知识提取、常识推理等方面.隐式因果关系由于缺乏明显的词汇特征和中文复杂的句法结构,使得其抽取极为困难,已成为当前研究的难点.相比而言,显示因果关系的抽取比较容易、准确率高,且因果关系事件之间的逻辑关系稳定.为此,文中提出了一种原创的方法,首先通过对抽取的显示因果事件对进行事件动...