基于静态IS-树的频繁模式挖掘

提出一种基于静态IS-树的频繁模式挖掘有效算法IS-mine,并与经典的Apriori算法和FP-growth算法进行了实验比较.算法直接构造频繁项集,不进行Apriori算法采用的代价较高的候选集产生与测试操作.算法采用深度优先,模式增长的策略,挖掘任务只在一棵静态的IS-树上进行,避免了FP-growth算法所采用的代价较高的动态树的构建.针对不同特征数据集算法采取不同的过滤技术来缩小搜索空间.实验与理论分析表明,对于稠密和稀疏数据两类数据集,算法都具有较好的时空效率.     

最大目标频繁模式挖掘算法研究

传统的频繁模式挖掘算法往往会得到成百上千的结果模式,面对繁多的频繁模式用户通常要经过“二次挖掘”才能得到有用的目标模式。怎样根据用户需求直接挖掘用户感兴趣的目标模式是该文的研究目标。文章在FP-树的基础上设计了紧缩的、非冗余的TFP-树,它能有效过滤与目标模式无关的项和事务,而仅保留与目标模式相关的信息,缩小TFP-树的大小规模。同时根据TFP-树的规律和特点,笔者设计了最大目标频繁模式挖掘算法,算法的结果模式具有以下两个特点:(1)满足用户需求的目标模式;(2)最大模式。该实验结果验证了TFP-树算法是有效的,而且显著改善了FP-树算法的性能。     

在FP-树中挖掘频繁模式而不生成条件FP-树

FP-growth算法是目前已发表的最有效的频繁模式挖掘算法之一．然而，由于在挖掘频繁模式时需要递归地生成大量的条件FP-树，其时空效率仍然不够高．改进了FP-树结构，提出了一种基于被约束子树挖掘频繁项集的有效算法．改进的FP-树是单向的，每个结点只保留指向父结点的指针，这大约节省了三分之一的树空间．通过引入被约束子树(可以用3个很小的数组表示)，算法在挖掘频繁模式时不生成条件FP-树，从而大大提高了频繁模式挖掘的时空效率．实验表明，与FP-growth算法相比，算法的挖掘速度提高了1倍以上，而所需的存储空间减少了一半．此外，随着数据库规模的增大，算法具有很好的可伸缩性．对于稠密数据集，算法也具有良好的性能．     

基于逆向FP-树的频繁模式挖掘算法

提出了一种称为逆向FP 合并的算法,该算法逆向构造FP 树并通过在其中寻找频繁扩展项集与合并子树来挖掘频繁模式。新算法在时空效率方面均优于FP 增长算法,其中时间效率提高了2倍以上。此外,新算法还具有良好的伸缩性。     

不产生候选的快速投影频繁模式树挖掘算法

1.概述近年来,对事务数据库、时序数据库和各种其它类型数据库中的频繁模式挖掘的研究越来越普及。许多先前的研究都是采用Apriori或类似的候选产生—检查迭代算法,使用候选项集来找频繁项集。这些算法都基于一种重要的反单调的Apriori性质:任何非频繁的(k—1)-项集都不可能是频繁k-项集的子集。因此,如果一个候选k-项集的(k—1)-子集不在频繁(k—1)-项集中,则该候选也不可能是频繁的,从而可     

基于SQL的频繁模式挖掘的研究与实现

频繁模式挖掘是多种数据挖掘应用中的关键问题。以一种高效的频繁模式挖掘算法FP-gowth算法为例,利用关系数据库中的表来存储频繁模式村FP-tree,通过标准SQL语言硬Oracle数据库PL/SQL编程技术实现了这种基于SQL的频繁模式挖掘方法．并给出了该方法较为详细的实现步骤。     

基于行为模式挖掘的骨干网攻击检测算法

针对Internet骨干网面临的主要攻击行为,提出一种基于攻击行为模式的建模方法。基于行为模式挖掘设计一种快速检测算法,提出一种基于双页表结构的攻击信息树的构建算法。实验结果证明该检测方法能够实时地检测骨干网中已知或未知的攻击,定位报告受害源。     

快速挖掘最大频繁模式算法

文章针对挖掘最大频繁项目集问题,提出了一个基于FP-树的快速算法DMFP,该算法引入了FP-树最大深度和非频繁2-项集,采用自顶向下和自底向上的双向搜索策略来预先对候选集进行有效剪枝,该算法的执行效率较其它同类算法有明显改进。     

扩充的频繁模式挖掘算法在拒绝服务攻击入侵检测中的应用

提出了一种可直接用于快速频繁模式挖掘的频繁项目表的概念,并实现了具体的频繁模式增量挖掘方法.在对拒绝服务攻击的入侵检测中证明:与类Apriori方法不同,该方法无需再生成候选集,频繁模式的搜索仅需对频繁项目表上特定项目的支持数进行加法操作,同时每个生成的频繁项目表的容量很小并适于在内存中处理,从而能有效改进算法性能.     

基于频繁模式树的频繁连通闭图集挖掘算法

随着频繁模式挖掘的深入研究,图模型被广泛地应用于为各种事务建模,因此图挖掘的研究显得越来越重要.文中针对唯一标识的有向连通图模型,基于频繁模式树结构,改进了频繁模式增长算法挖掘频繁连通闭合子图.使用生物代谢路径数据集的实验证明,这种算法能有效地挖掘出唯一标识的有向连通图集中的频繁闭图集,一次运算可以挖掘出多个阈值的最大频繁子图集.这种算法适用于以唯一标识的有向连通图建模的网络或图集,可以应用到基于图简化模型的生物网络的子图挖掘任务中.     

采用映射哈希表的频繁模式挖掘方法

大多数对频繁模式挖掘算法的研究都着眼于逻辑层面算法过程的改进,而对数据在计算机内存中的物理存储方式的探索相对较少。以FP-Tree存储结构和FP-Growth算法为基础,提出了FP-Tree头表的顺序存储方式,并在此基础上,利用基于频繁项ID映射的哈希表对FP-Tree的存储方式进行了改进,提出了与之相对应的频繁模式挖掘算法。实验结果表明该算法是快速和有效的。     

基于数据集稀疏度的频繁项集挖掘算法性能分析

频繁项集挖掘（FIM）是最基础的数据挖掘任务之一,被挖掘数据集的特征对FIM算法的性能有着显著影响。数据集稀疏度是体现数据集本质特征的属性之一,不同类型的FIM算法对数据集稀疏度的可扩展性有着很大的不同。针对如何量化度量数据集稀疏度及稀疏度对不同类型FIM算法性能影响等问题,首先回顾并讨论了已有的度量方法,然后提出两种新的量化度量数据集稀疏度的方法（基于事务差异度的度量方法和基于FP-Tree的度量方法）。这两种度量方法均考虑了FIM任务背景下最小支持度对数据集稀疏度的影响,反映的是事务频繁项集之间的差异度。最后通过实验验证了不同类型FIM算法对数据集稀疏度的可扩展性。实验结果表明,数据集稀疏度与最小支持度成反比,基于垂直格式的FIM算法在三类典型FIM算法中具有最佳的稀疏度可扩展性。     

A fast ensemble pruning algorithm based on pattern mining process

Ensemble pruning deals with the reduction of base classifiers prior to combination in order to improve generalization and prediction efficiency. Existing ensemble pruning algorithms require much pruning time. This paper presents a fast pruning approach: pattern mining based ensemble pruning (PMEP). In this algorithm, the prediction results of all base classifiers are organized as a transaction database, and FP-Tree structure is used to compact the prediction results. Then a greedy pattern mining method is explored to find the ensemble of size k. After obtaining the ensembles of all possible sizes, the one with the best accuracy is outputted. Compared with Bagging, GASEN, and Forward Selection, experimental results show that PMEP achieves the best prediction accuracy and keeps the size of the final ensemble small, more importantly, its pruning time is much less than other ensemble pruning algorithms.     

关联规则中基于降维的最大频繁模式挖掘算法

基于FP-tree的最大频繁模式挖掘算法是目前较为高效的频繁模式挖掘算法,针对这些算法需要递归生成条件FP-tree、产生大量候选最大频繁项集等问题,在分析FPMax、DMFIA算法的基础上,提出基于降维的最大频繁模式挖掘算法(BDRFI)。该算法改传统的FP-tree为数字频繁模式树DFP-tree,提高了超集检验的效率;采用的预测剪枝策略减少了挖掘的次数;基于降低项集维度的挖掘方式,减少了候选项的数目,避免了递归地产生条件频繁模式树,提高了算法的效率。实验结果表明,BDRFI的效率是同类算法的2~8倍。     

基于模式增长的不确定数据的频繁模式挖掘算法

为提高不确定数据频繁模式(FP)挖掘算法的时空效率,提出了基于最大概率的不确定频繁模式挖掘(UFPM-MP)算法。首先,利用事务项集中的最大概率值预估期望支持数;然后,使用该期望支持数与最小期望支持数阈值进行比较,以确定某一项集是否为候选频繁项集,并对候选项集建立子树以递归挖掘频繁模式。实验中,UFPM-MP算法与AT-Mine算法进行了对比,并在6个典型的数据集上进行实验验证。实验结果表明,UFPM-MP算法的时空效率得到了提高,稀疏数据集上提高约30%,稠密数据集上的效率提高更为明显(约3~4倍)。预估期望支持数的策略有效地减少了子树和头表项的数量,从而提高了算法的时空效率;且最小期望支持数越小,或需要挖掘的频繁模式越多的时候,算法的时间效率提高越多。     

基于间隔链表改进的频繁项集挖掘算法

针对PrePost算法中需要建立复杂的前序和后序编码树(PPC-tree)和节点链表(N-list)的问题,提出一种基于间隔链表(I-list)改进的高效频繁项集挖掘算法。首先,该算法采用了比频繁模模式树(FP-tree)更加压缩的数据存储结构间隔编码的频繁模式树(IFP-tree),无需迭代地建立条件FP-tree;其次,该算法利用更简洁的I-list代替了PrePost中复杂的N-list,从而提高了建树和挖掘速度;最后,对于单分支路径的情况,该算法通过组合的方法,直接求得某些频繁项集,以提高算法的时间性能。实验结果表明:一方面,对于同一数据集在相同支持数下挖掘的结果相同,验证了改进算法的正确性;另一方面,无论在时间还是空间上改进算法的整体性能均比PrePost算法提高约10%;且对于稀疏型数据库或密集型数据库的挖掘都有较好的应用。     

基于有序FP-tree的最大长度频繁项集挖掘算法

频繁项集的挖掘受到大量候选频繁项集和较高计算花费的限制,只挖掘最大长度频繁项集已满足很多应用。提出一种基于有序FP-tree结构挖掘最大长度频繁项集的算法。即对有序FP-tree的头表进行改造,增加一个max-level域,记录该项在有序FP-tree中的最大高度。挖掘时仅对max-level 大于等于已有最大长度频繁项集长度的项进行遍历,不产生条件模式基,无需递归构造条件FP-tree,且计算出最大长度频繁项集的支持度。实验结果表明该算法挖掘效率高、速度快。     

基于MFP方法的Web用户访问模式的模式发现

针对Web用户访问模式问题，采用最大频繁访问路径（MFP）方法可以挖掘出更有普遍意义的模式。给出一种新的用户访问模式树WUAP tree结构，并采用E OEM模型，综合考虑了页面拓扑结构及用户浏览路径等多个数据源，进一步提出了一种Web访问模式挖掘算法WUAP mine。该算法不用产生候选集和递归，只对事务数据库进行一次扫描，对WUAP tree结构进行深度优先遍历一次，就可从WUAP tree结构上直接查询出Web用户频繁访问模式。最后，从理论和实践上推导和验证了它的有效性和高效性。     

关联规则中FP-tree的最大频繁模式非检验挖掘算法

基于FP-tree的最大频繁模式挖掘算法是目前较为高效的频繁模式挖掘算法,针对这些算法需要递归生成条件FP-tree、做超集检验等问题,在分析DMFIA-1算法的基础上,提出了最大频繁模式的非检验挖掘算法NCMFP。该算法改进了FP-tree的结构,使挖掘过程中不需要生成条件频繁模式树也不需要超集检验。算法采用的预测剪枝策略减少了挖掘的次数,采用的求取公共交集的方式保证了挖掘结果的完整性。实验结果表明在支持度相对较小情况下,NCMFP的效率是同类算法的2~5倍。     

改进的基于频繁模式树的最大频繁项集挖掘算法——FP-MFIA

针对最大频繁项目集挖掘算法(DMFIA)当候选项目集维数高而最大频繁项目集维数较低的情况下要产生大量的候选项目集的缺点,提出了一种改进的基于频繁模式树(FP-tree)结构的最大频繁项目集挖掘算法--FP-MFIA。该算法根据FP-tree的项目头表,采用自底向上的搜索策略逐层挖掘最大频繁项目集,从而加速每次对候选集计数的操作。在挖掘时根据每层的条件模式基产生维数较低的非频繁项目集,尽早对候选项目集进行剪枝和降维,可大量减少候选项目集的数量。同时在挖掘时充分利用最大频繁项集的性质,减少搜索空间。通过算法在不同支持度下挖掘时间的对比可知,算法FP-MFIA在最小支持度较低的情况下时间效率是DMFIA以及基于降维的最大频繁模式挖掘算法(BDRFI)的2倍以上,说明FP-MFIA在候选集维数较高的时候优势明显。