基于概念格的频繁闭项集增量挖掘算法研究

近年的研究表明，概念格可以应用于解决频繁闭项集的挖掘问题．针对已有渐进式概念格构造算法中存在的问题，提出了一种基于概念格的频繁闭项集增量挖掘新算法——FIPT-I算法．新算法利用模式树对概念格进行组织，并利用模式树压缩数据库中的事务，在渐进式构造概念格的同时实现了事务的批处理，减少了概念格的调整操作时间．实验结果表明，与其他同类算法相比，FIPT-I算法对于增量挖掘频繁闭项集来说具有更高的效率．     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价 ,用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式 ,但数量上却可以小几个数量级 ,从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述 ,以及关键问题的分析 ,针对频繁模式树 (FP- tree)和最大频繁模式的特点 ,给出了基于频繁模式树的最大频繁模式挖掘算法 (MMFP) ,采取先挖掘候选最大频繁模式再判断子集的方法 ,经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数 ,对算法的性能提高起到了关键作用。     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价，用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式，但数量上却可以小几个数量级，从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述，以及关键问题的分析，针对频繁模式树(FP-tree)和最大频繁模式的特点，给出了基于频繁模式树的最大频繁模式挖掘算法(MMFP)，采取先挖掘候选最大频繁模式再判断子集的方法，经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数，对算法的性能提高起到了关键作用。     

Web日志增量挖掘研究及应用

针对动态变化的Web日志数据库,研究一种基于概念格的从最大频繁项集产生所有页面强规则的Web日志增量挖掘方法,对Web日志挖掘模式库的更新具有重要意义。     

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。     

小波滤波在时间序列频繁模式挖掘中的应用

与布尔型数据的频繁模式挖掘相比,时间序列的频繁模式挖掘是一个相对复杂的问题,目前对此类问题还缺少深入的研究.通过对小波滤波的研究,提出了一种时间序列的频繁模式挖掘算法,Frequent-Wavelet算法.该算法的特点是采用多孔平滑滤波器组对时间序列做低通平滑处理,用得到的多个尺度序列表示原序列,较好地解决了时间序列的平凡相似问题和时间轴伸缩问题.实验表明,Frequent-Wavelet算法对于时间序列的频繁模式挖掘具有较好的效果.     

一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。     

带禁忌约束的频繁模式并行挖掘研究

频繁模式挖掘技术在关联规则发现方面运用得十分普遍,已逐渐成为数据挖掘领域的研究热点之一。研究人员发现传统的频繁模式挖掘算法在挖掘过程中会产生大量的中间数据和用户不感兴趣的结果数据。这些数据在计算和存储方面的开销,对如今迅猛发展的海量数据挖掘来说无疑是一个挑战,严重影响了挖掘效率和准确性。针对这个问题,文章结合当下流行的Hadoop技术,对传统频繁模式挖掘算法进行分析和研究,提出一个带禁忌约束的频繁模式云挖掘算法模型。该算法模型利用Hadoop框架技术,对频繁模式挖掘过程中的模式长度和属性进行禁忌约束,分布并行地完成挖掘任务。实验结果显示,该算法模型在海量数据挖掘方面比传统算法更有优势。     

通信网告警相关性分析中有效的关联规则挖掘算法

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,使得在通信网环境下挖掘关联规则的难度非常大。针对上述问题,提出了一种基于分层频繁模式树的LFPTDP算法,采用分层模式树的方法产生频繁项集,从而避免了产生大量的条件模式树,并用动态剪枝的方法删除大量的非频繁项。算法分析及仿真表明,LFPTDP算法具有较好的时间和空间效率,是一种适合于通信网告警相关性分析的关联规则挖掘算法。     

时序关系下的闭合序列模式挖掘算法

序列挖掘算法产生冗余序列,造成其运行时间过长.对此,提出了一种新的闭合序列挖掘算法——时序关系下的闭合序列模式挖掘算法.依据闭合序列模式的性质,通过比较频繁序列与每个1-项频繁序列之间的时序关系,推断频繁序列模式是否可扩展.基于IBM公司的合成数据,将其与闭合序列模式挖掘算法进行比较,实验结果表明,这种新的闭合序列挖掘算法可以有效降低运行时间且不易受到属性值个数的影响.     

互斥关系模式挖掘算法研究

序列模式挖掘是数据挖掘的一个重要领域,在序列挖掘的基础上有了结构关系模式的概念,重点研究结构关系模式的一个重要分支——互斥关系模式.首先给出互斥关系模式的定义,然后讨论什么是负关联规则挖掘及其与互斥关系模式之间的联系与区别,从而得到互斥关系模式挖掘的过程;给出互斥关系模式挖掘过程采用的主要算法,并针对算法进行设计与实现,实验证明算法正确有效.     

序列模式挖掘在网络告警分析中的应用

序列模式挖掘可以用来有效地发现网络系统中的告警关联知识.论文研究了序列模式挖掘在网络告警分析中的具体应用.首先,将挖掘过程分成了特定设备告警序列挖掘、同类设备告警序列挖掘和互联设备告警序列挖掘等3类,根据不同的用户意图来有效地确定挖掘范围,避免对无关数据的访问.为了进一步提高挖掘算法的执行效率,又提出了用于描述网络拓扑信息的拓扑约束,并设计了基于拓扑约束的互联设备告警序列模式挖掘算法.     

基于关联图的频繁闭模式挖掘

将关联图的数据挖掘思想应用到频繁闭模式的挖掘中,使用位向量的技术简化项集支持度的计算,构造关联图表示项集间的频繁关系.在此基础上,提出一种频繁闭模式挖掘算法,针对频繁闭模式的特点,结合剪枝策略、子集检测策略、搜索策略等技术手段,优化算法性能.实验结果表明,该算法在时间性能上优于经典的频繁闭模式算法CLOSET.     

一种有效的通信网络告警分析方法

以往大多告警分析研究都是假设通信网络中所有告警是平等的,考虑此假设的不合理性,提出了一种加权告警分析方法。首先,根据告警对网络的影响程度,采用熵值法为不同的告警分配不同的权值,并将其转换成适合于数据挖掘的序列数据集;然后,设计了一种加权告警序列模式挖掘算法,并采用了一种新颖的剪枝策略来缩减需要挖掘的数据集大小以提高算法的效率;最后,利用该算法挖掘告警数据中的时序关系。实验结果表明,这种加权告警分析方法在剪枝效果、挖掘重要告警序列模式和执行效率方面具有很好的性能。     

基于关联图的频繁闭模式挖掘

将关联图的数据挖掘思想应用到频繁闭模式的挖掘中,使用位向量的技术简化项集支持度的计算,构造关联图表示项集间的频繁关系。在此基础上,提出一种频繁闭模式挖掘算法,针对频繁闭模式的特点,结合剪枝策略、子集检测策略、搜索策略等技术手段,优化算法性能。实验结果表明,该算法在时间性能上优于经典的频繁闭模式算法CLOSET。     

带特征指标约束描述的设计模式分类挖掘

为解决设计模式挖掘正确率较低的问题, 提出一种带特征指标约束描述的设计模式分类挖掘方法。归纳了47种特征指标, 给出了设计模式约束定义, 对设计模式特征进行了描述, 以Adapter模式、Command模式、Factory Method模式为例, 分结构型、行为型与创建型3类挖掘设计模式, 设计了3个基准系统与4个经典系统的设计模式挖掘试验。试验结果表明, 本研究方法对基准系统的Adapter模式、Command模式、Factory Method模式挖掘正确率为96.13%、91.67%、72.23%, 对经典系统挖掘正确率分别为84.3%、81.26%、73.17%, 与传统方法比较, 本研究方法取得了较好的效果。     

带特征指标约束描述的设计模式分类挖掘

为解决设计模式挖掘正确率较低的问题, 提出一种带特征指标约束描述的设计模式分类挖掘方法。归纳了47种特征指标, 给出了设计模式约束定义, 对设计模式特征进行了描述, 以Adapter模式、Command模式、Factory Method模式为例, 分结构型、行为型与创建型3类挖掘设计模式, 设计了3个基准系统与4个经典系统的设计模式挖掘试验。试验结果表明, 本研究方法对基准系统的Adapter模式、Command模式、Factory Method模式挖掘正确率为96.13%、91.67%、72.23%, 对经典系统挖掘正确率分别为84.3%、81.26%、73.17%, 与传统方法比较, 本研究方法取得了较好的效果。     

一种改进的适于安全审计数据分析的关联算法

为了提高挖掘用户频繁行为模式的速度和FP-树空间利用率,从而显著提高安全审计数据分析的效率,本文在FP-growth算法的基础上提出了一种改进的适于安全审计数据分析的挖掘频繁模式算法。与FP-growth算法相比,改进算法在挖掘频繁模式时不生成条件FP-树,挖掘速度提高了1倍以上,所需的存储空间减少了一半。     

面向移动对象的松散型传染模式挖掘方法

针对现有研究方案中对病毒或病菌的传染模式定义过于严格,可能丢失重要且正确的传染事件的问题,提出面向移动对象的松散型传染模式挖掘算法. 给出松散型传染事件的模式定义;提出基于滑动窗口的松散型传染模式挖掘算法(LIPMA),按照传染事件发生的时间先后顺序,从初始传染源开始,利用滑动窗口机制,依次对每一个待检测对象进行分析处理,进而挖掘所有传染事件;提出基于R-tree索引的优化挖掘算法LIPMA+,该优化算法在每一轮的处理过程中,通过降低每一轮待检测对象的规模,实现挖掘效率的提升. 实验结果表明,所提出的传染模式挖掘算法能够对松散型传染事件进行高效、正确的挖掘,且能够挖掘更多潜在的传染事件;优化算法的挖掘效率显著提升,LIPMA+的平均挖掘时间仅占LIPMA的2%.