亚复杂系统中动力学干预规则挖掘技术研究进展

亚复杂系统干预规则挖掘是数据挖掘领域的新内容。综述了亚复杂系统干预规则研究背景和典型问题,通过实例,描述了干预规则挖掘领域一些基本概念和术语,如干预相关度、传递相关度、干预分型和干预代数等;介绍了在亚复杂系统干预规则挖掘的初步探索和成果,包括关于朴素干预规则和数值型干预规则挖掘算法,以及基于密度的数据流干预分析模型及相关结果。     

干预规则挖掘的任务分类和三项技术进展

介绍了亚复杂系统中干预规则的基本概念和挖掘方法,提出了干预规则挖掘技术的分类准则,综述了三项干预规则挖掘技术的最新进展,包括疾病状态干预技术、基于数据流的未知干预发现技术和基于并行事件序列的干预规则挖掘。在实践基础上分析了干预规则挖掘的难点,展望了进一步的研究工作。     

基于扰动的亚复杂动力系统因果关系挖掘

传统因果分析方法主要是基于具有分布预设的概率模型,但动力系统通常是存在反馈的非线性系统,不适合采用概率方法进行分析.针对这一问题,该文提出了基于扰动的亚复杂动力系统因果分析方法,主要工作包括:(1)采用基因表达式编程的函数拟合方法对动力系统时间序列进行差分方程拟合,减免了关于数据分布模型的预设;(2)基于得到的拟合函数,通过对自变量的扰动来计算因变量的相应波动,提出了根据扰动和波动的数值关系来判断自变量和因变量之间因果关系的判断准则,并基于该准则提出了因果关系挖掘算法和挖掘结果可信度验证方法;(3)在合成数据和真实数据上进行了翔实实验,结果表明该文所提出的算法能挖掘出合理因果关系,在不同数据规模情况下能得到一致挖掘结果.与两种基于概率统计的因果分析方法进行了对比实验,结果表明当系统要素多于两个时,该文的算法仍然能够得到多个要素间正确的因果关系,而两种基于概率统计的方法则无法挖掘出正确的因果关系.     

出生缺陷监测数据中的朴素干预规则挖掘

出生缺陷干预规则挖掘是目前医学界和数据挖掘界共同关注的课题。以出生缺陷数据为背景,研究了朴素干预规则建模,并试图发现某些出生缺陷的可能致因。提出了朴素干预规则模型以及朴素干预规则挖掘算法。实验表明,提出的算法能有效挖掘出围产儿缺陷的致因,并为出生缺陷干预工程的政策制定提供致病因素的最佳状态调整方向。     

中国出生缺陷数据挖掘系统HealthyBaby

在国家"十一五"科技支撑计划"出生缺陷干预效果评价系统"和国家自然科学基金"亚复杂系统中干预规则挖掘"支持下,中国出生缺陷数据挖掘系统HealthyBaby的测试版本已经在具有30年数据的全国出生缺陷数据仓库运行.介绍并演示HealthyBaby特色技术,包括中国出生缺陷数据仓库的列存储方式,可视化的OLAP查询,出生缺陷地理信息分析BD-GIS技术,面向出生缺陷数据的关联、分类、聚类知识发现,干预规则挖掘,亚复杂系统等.     

一种数据流中的频繁模式挖掘算法

时序数据流的无限性、流动性和不规则性使得传统的频繁模式挖掘算法难以适用。针对时序数据流的特点,提出了一类特殊非规则数据流频繁模式挖掘的新算法。新算法采用时序数据分段的思想,逐段挖掘局部频繁模式,然后依据局部频繁模式有效地挖掘出所有的全局频繁模式。将新算法应用于电信领域的收入保障项目之中,结果表明,新算法具有良好的性能,能有效发现挖掘时序数据流中的频繁模式。     

一种基于确定性方法的关联规则挖掘算法

传统关联规则挖掘得到的原始规则集包含大量的、杂乱的规则,其中很多是冗余的,这样的规则集难以被用户理解和应用.针对这一问题,提出了一种基于确定性方法的关联规则挖掘新算法.该算法将专家系统中常用的确定性因子作为关联规则挖掘中的一个评价标准,并综合考虑了规则前件对后件的支持程度.实验结果表明,算法可发现规模较小的关联规则,并且提高了挖掘结果的可理解性.     

干预规则挖掘的概念、任务与研究进展

干预规则挖掘是近年从干预实践中提出的新型数据挖掘任务,旨在利用数据挖掘技术探测干预事件,发现最佳干预时机和力度,提供促进事物向期待状态转化的决策支持.文中以四年的研究实践为背景,介绍干预规则挖掘的研究沿革和现状,给出了干预规则挖掘的任务分类.从三个角度,即干预效果预测、干预方法发现和未知干预探测三方面,介绍干预规则挖掘...     

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

数量关联规则挖掘及其典型算法分析

关联规则的发现是数据挖掘的一个重要方面,而数量关联规则的发现不同于传统的布尔型关联规则。介绍了数量型关联规则挖掘的方法、步骤以及存在的问题,分析了几种具有代表性的数量型关联规则挖掘算法,提出了IQAM算法,并对数量型关联规则的挖掘进行了展望。     

融合先验约束的拓扑霍克斯过程格兰杰因果发现算法

离散时序数据的格兰杰因果关系发现算法具有重要应用价值。现有方法主要采用霍克斯过程建模,无法适用于非独立同分布数据和带有时间误差的数据。为此,提出了一种融合先验约束的拓扑霍克斯过程格兰杰因果关系发现算法（PTHP）。首先,使用基于约束的方法筛选出一批显著性水平较高的因果边,提升算法对故障发生时间误差的容忍性;随后,将上一步获取的边作为先验约束融合到拓扑霍克斯过程中,解决序列间的非独立同分布问题。模拟数据和真实数据的实验证明了该方法的有效性,并获得了PCIC 2021因果推理大赛第一名。     

面向故障间格兰杰因果发现的霍克斯过程研究

现有因果关系建模方法应用于故障事件序列时,难以有效引入因果先验,使得算法结果过于稠密,同时在稀疏、时间精度低的数据上因果关系可靠性较差。将不同故障类型事件的因果关系建模为基于霍克斯过程的格兰杰因果关系,提出一种面向故障序列的格兰杰因果发现的霍克斯过程模型。将霍克斯过程拓展到离散时间域,解决低时间精度数据的建模问题,并通过构造基于贝叶斯信息准则的目标函数,保证因果结构稀疏性,进而利用基于EM算法与爬山法的迭代优化算法引入因果先验,提高模型的可靠性。实验结果表明,该方法在由不同参数生成的模拟数据上均表现突出,且在两个通信网络的真实数据集中,F1评分相比ADM4、MLE-SGL、TSSO和PCMCI算法提升15.18%以上。而通过引入根因标注和因果依赖性先验,算法的F1评分进一步提升22.43%以上,验证了引入先验的有效性。     

挖掘空间关联规则的前缀树算法设计与实现

空间关联规则挖掘是在空间数据库中进行知识发现的一类重要问题．为此提出了挖掘空间关联规则的二阶段策略，通过多轮次单层布尔型关联规则挖掘，自顶向下逐步细化空间谓词的粒度，从而空间谓词的计算量大大减少．同时，设计了一种基于前缀树的单层布尔型关联规则挖掘算法(FPT-Generate)，不需要反复扫描数据库，不产生候选模式集，并在关键优化技术上取得了突破．实验表明，以FPT-Generate为挖掘引擎的空间关联规则发现系统的时间效率与空间可伸缩性远远优于以经典算法Apriori为引擎的系统。     

基于事件动作方向的隐式因果关系抽取方法

抽取事件之间的因果关系能够应用于自动问答、知识提取、常识推理等方面.隐式因果关系由于缺乏明显的词汇特征和中文复杂的句法结构,使得其抽取极为困难,已成为当前研究的难点.相比而言,显示因果关系的抽取比较容易、准确率高,且因果关系事件之间的逻辑关系稳定.为此,文中提出了一种原创的方法,首先通过对抽取的显示因果事件对进行事件动...     

灵敏性分析下的因果网络参数的扰动学习研究

联合观察数据和扰动数据学习因果网络是一种基于扰动的机器学习方法,通过扰动学习可以利用少量样本发现网络中的因果关系,扰动对于因果关系的影响主要体现在网络参数方面。提出了一种基于灵敏性分析的因果网络参数的扰动学习算法(intervention learning of parameter sensitivity analysis,ILPSA)。对于给定的先验网络,ILPSA算法利用联合树推理算法生成灵敏性函数,通过对灵敏性函数的参数重要性分析提出扰动结点的一种主动选取方法;对扰动结点的主动干扰产生扰动数据,然后联合观察数据和扰动数据,利用最大似然估计(maximum likelihood estimation,MLE)方法学习因果网络的参数,并利用KL距离对学习结果进行评价。算法比较和实验结果表明,ILPSA算法的学习结果明显好于随机选择扰动结点和无扰动情况下的方法,特别在样本较小的情况下优势更明显。     

煤矿安全监控信息特征快速发现方法研究

针对煤矿安全监控历史数据及监测参数特点,提出了一种煤矿安全监控信息特征快速发现方法。该方法采用基于误差带的历史数据压缩算法分析采样数据,发现并存储包含重要特征的信息片段,分析该信息片段的含义,并进行主题抽取和关联分析,研究瓦斯序列的相关分析,从而可得出煤矿安全监控系统重要数据的信息特征。该方法对完善煤矿科学管理、挖掘煤矿多传感器信息和煤矿瓦斯涌出规律有一定参考价值。     

基于线图与PSO的网络重叠社区发现

从优化模块度的角度出发,引入线图理论,给出线图的硬划分与原 图的有重叠划分相对应的理论证明, 提出了一种基于线图与粒子群优化技术的网络重叠社区发现算法(Communities discovery based on line graph and particle swarm optimization, LGPSO), 该方法通过粒子群优化 (Particle swarm optimization, PSO)算法寻找网络对应线图的最优划分来发现网络重叠社区, 实验结果显示,该方法能够在无先验信息的条件下快速有效地揭示网络的重叠社区结构.     

物理网络拓扑发现算法的研究和系统实现

根据交换机通用地址转发表信息，提出了一种适应存在共享网段的物理网络拓扑发现算法，证明了该算法的正确性．该算法克服了地址完整性限制的要求，能发现物理网络中交换机端口与交换机端口、交换机与Hub、交换机与主机、主机与Hub的连接．NocView系统应用了该拓扑发现算法进行拓扑发现，其结果也验证了算法的正确性和实用性．     

Subgroup Discovery Algorithms: A Survey and Empirical Evaluation

Subgroup discovery is a data mining technique that discovers interesting associations among different variables with respect to a property of interest. Existing subgroup discovery methods employ different strategies for searching, pruning and ranking subgroups. It is very crucial to learn which features of a subgroup discovery algorithm should be considered for generating quality subgroups. In this regard, a number of reviews have been conducted on subgroup discovery. Although they provide a broad overview on some popular subgroup discovery methods, they employ few datasets and measures for subgroup evaluation. In the light of the existing measures, the subgroups cannot be appraised from all perspectives. Our work performs an extensive analysis on some popular subgroup discovery methods by using a wide range of datasets and by defining new measures for subgroup evaluation. The analysis result will help with understanding the major subgroup discovery methods, uncovering the gaps for further improvement and selecting the suitable category of algorithms for specific application domains.