一种结合完全连接的改进Apriori算法

基于Apriori算法原理，提出一种有效的完全连接条件，在频繁2k-项集的集合L2k进行自身Apriori连接得频繁(2k+1)-项集的同时，自身完全连接产生未剪枝的候选4k-项集；对频繁(2k+1)-项集的集合L2k+1，直接对其项集进行完全连接产生未剪枝的候选(4k+2)-项集。改进的算法减少了连接的比较次数、迭代运算次数。实验表明该算法在保证无遗漏的情况下有效地提高了Apriori算法的挖掘速度。     

基于向量和矩阵的频繁项集挖掘算法研究

为了能快速、高效地从事务数据库中挖掘所有的频繁项集,提出了一种基于向量和矩阵的VMA高效算法.该算法只需扫描数据库一次,将事物数据库转化到布尔向量中,对频繁1-项集按支持度大小进行非递减排序,排序后在很大程度上减少了用于扩展的k-项集(k＞2),生成一个2-项集支持度矩阵,由频繁k-项集(k≥2)扩展生成频繁(k+1)-项集.大量实验结果表明,VMA算法的性能不但明显优于Apriori算法,而且适应于大型事务数据库中频繁项集挖掘.     

基于排序索引矩阵的频繁项集挖掘算法

针对Apriori算法产生候选项集的问题,提出一种基于排序索引矩阵(SIM)的频繁项集挖掘算法.将频繁1-项集形成的1-项集向量依次与对应矩阵相乘,生成频繁2-项集.从频繁3-项集开始,对每次生成的频繁k-项集建立SIM,借助SIM结构实现项集的跨越式搜索和连接.整个过程只需扫描一次数据库,不会产生候选项集.实验结果表明,该算法能提高频繁项集的挖掘效率.     

基于前缀的Apriori算法

通过对Apriori算法的研究和分析,结合算法存在的缺陷,利用"桶"技术及压缩组合项集技术,对频繁项集提出了前缀概念,并提出了基于前缀的频繁项集挖掘算法。该算法将具有同一前缀的频繁项集的子集合作为一个节点,由频繁k-项集的子集合直接产生候选(k+1)-项集,从而省略了连接步中判断I1、I2是否能连接。同时,该算法使得整个程序中节点数目减少,这样不仅减少了内存消耗,而且提高了查找Ck和Lk的速度,尤其便于大型数据库的分布式处理。经实验证实,改进后的算法是可行的。     

一种具有跳跃式前进的Apriori算法

根据Apriori算法的原理,提出一种具有跳跃式前进与回退补齐的改进算法J_Apriori。计算频繁K项集后,求出未剪枝的候选2K项集。在满足跳跃式前进策略的条件下先求出频繁2K项集,则2K项集的所有(K+1)至(2K-1)项子集不需要再扫描庞大的数据集,可以直接加入到频繁项集中,然后再回退补齐那些不是2K项集的子集的频繁项集。改进的算法减少了扫描数据集的次数。实验表明改进的算法有效地提高了Apriori算法的效率。     

频繁项集挖掘中的两种哈希树构建方法

1 引言从大型数据库中发现频繁项集/模式的研究作为关联规则、序贯模式、因果关系、最大模式、多维模式等挖掘问题的核心,已经成为近年数据挖掘领域的研究热点,并有不少有效的挖掘算法被提出。在这些挖掘算法中,它们大多数都采用了类似于Apriori算法的方法进行频繁项集的挖掘与更新。类Apriori算法的共同特点是:为了找出库中所有包含k(k>1)个项的频繁k-项集,首先产生包含频     

基于改进Apriori算法的关联规则挖掘研究

关联规则挖掘研究是数据挖掘研究的一项重要的内容。经典的关联规则提取算法——Apriori算法及其改进算法存在着一些不足，一是会产生大量的候选项目集，二是在扫描数据库时需要很大的I／O负载。通过对关联规则产生过程的实际实验分析发现，可以采取利用频繁k-1项集Lk-1对候选k项集Ck进行预先剪枝、及在扫描数据库过程中忽略对频繁项集的产生无贡献的交易记录的方法来改进关联规则提取的效率。     

基于改进Apriori算法的关联规则挖掘研究

关联规则挖掘研究是数据挖掘研究的一项重要的内容。经典的关联规则提取算法———Apriori算法及其改进算法存在着一些不足,一是会产生大量的候选项目集,二是在扫描数据库时需要很大的I/O负载。通过对关联规则产生过程的实际实验分析发现,可以采取利用频繁k-1项集Lk-1对候选k项集Ck进行预先剪枝、及在扫描数据库过程中忽略对频繁项集的产生无贡献的交易记录的方法来改进关联规则提取的效率。     

一种基于单事务项集组合的频繁项集挖掘算法

Apriori是挖掘频繁项集的基本算法,目前该算法及其优化变种都没有解决候选项及重复扫描事务数据库的问题.文章通过对Apriori及其优化算法的深入探究,提出了一种基于单事务组合项集的挖掘算法,该算法在一个事务内部对"数据项"进行组合,在事务数据库中对所有相同"项集"进行计数.不经过迭代过程,不产生候选项集,所有频繁项集的挖掘过程只需对事务数据库一次扫描,提高了频繁项集挖掘效率.     

基于频繁2项集支持矩阵的Apriori改进算法

捕要：Apriori算法在关联规则挖掘过程中需要多次扫描事务数据库,产生大量候选项目集,导致计算量过大。为解决该问题,提出一种基于频繁2项集支持矩阵的Apriori改进算法,通过分析频繁k＋1项集的生成机制,将支持矩阵与频繁2项集矩阵相结合实现快速剪枝,并大幅减少频繁k项集验证的计算量。实验结果表明,与Apriori算法和ABTM算法相比,改进算法明显提高了频繁项集的挖掘效率。     

FP-growth算法的实现方法研究

事务数据库中频繁模式的挖掘研究作为关联规则等许多数据挖掘问题的核心工作,已经研究了许多年。早期算法大都是Apriori型算法,即首先产生候选集,然后在候选集的基础上找出频繁模式,候选集的产生往往是耗时的,特别是挖掘富模式或长模式时。JianweiHan等人提出了一种新颖的数据结构FP-tree及基于其上的FP-growth算法,用于有效的富模式与长模式挖掘。由于不同的实现方法可能会导致不同的挖掘效率,该文在讨论FP-growth算法的基础上,采用了几种不同的方法来实现它,并用几个数据库对它们的性能进行了比较。     

基于SQL的不产生候选集的频繁模式挖掘

频繁模式挖掘是数据库挖掘中的一个十分重要的组成部分，然而以前的许多研究都是基于Apriori的产生候选集的测试迭代方法。这些方法普遍存在需要多次扫描数据库，对产生的大量候选集进行迭代测试的缺陷，尤其是对于挖掘长模式时这种缺陷就尤为突出。FP-growth方法采用分而治之的策略，只需对数据库进行二次扫描，而且避免了产生大量候选集的问题。文中的基于SQL的频繁模式挖掘方法既是在此基础上提出的，采用子查询及DBMS扩展技术(如用户定义函数等)对该方法进行了改进。     

基于有限个条件FP_树中挖掘频繁模式

在数据挖掘中发现关联规则是一个基本问题,而关联规则发现中最昂贵的步骤便是寻找频繁模式。FP_growth(FrequentPatern growth)方法在产生长短频繁项集时不产生候选项集,从而大大提高了挖掘的效率,但是FP_growth在挖掘频繁模式时候产生大量的条件FP树从而占用大量空间,对FP_growth进行研究并提出一种改进算法,该算法不仅利用FP_growth算法所有优点而且避免了FP_growth的缺陷。主要通过建立有限棵条件FP树(数目为事务数据库的属性个数)来挖据长短频繁模式,大大节省了FP_growth算法所需要空间,实验证明该文算法是有效的。     

基于SQL的频繁模式挖掘的研究与实现

频繁模式挖掘是多种数据挖掘应用中的关键问题。以一种高效的频繁模式挖掘算法FP-gowth算法为例，利用关系数据库中的表来存储频繁模式村FP-tree，通过标准SQL语言硬Oracle数据库PL/SQL编程技术实现了这种基于SQL的频繁模式挖掘方法．并给出了该方法较为详细的实现步骤。     

Mining Frequent Patterns without Candidate Generation: A Frequent-Pattern Tree Approach

Mining frequent patterns in transaction databases, time-series databases, and many other kinds of databases has been studied popularly in data mining research. Most of the previous studies adopt an Apriori-like candidate set generation-and-test approach. However, candidate set generation is still costly, especially when there exist a large number of patterns and/or long patterns.In this study, we propose a novel frequent-pattern tree (FP-tree) structure, which is an extended prefix-tree structure for storing compressed, crucial information about frequent patterns, and develop an efficient FP-tree-based mining method, FP-growth, for mining the complete set of frequent patterns by pattern fragment growth. Efficiency of mining is achieved with three techniques: (1) a large database is compressed into a condensed, smaller data structure, FP-tree which avoids costly, repeated database scans, (2) our FP-tree-based mining adopts a pattern-fragment growth method to avoid the costly generation of a large number of candidate sets, and (3) a partitioning-based, divide-and-conquer method is used to decompose the mining task into a set of smaller tasks for mining confined patterns in conditional databases, which dramatically reduces the search space. Our performance study shows that the FP-growth method is efficient and scalable for mining both long and short frequent patterns, and is about an order of magnitude faster than the Apriori algorithm and also faster than some recently reported new frequent-pattern mining methods.     

Efficient single-pass frequent pattern mining using a prefix-tree

The FP-growth algorithm using the FP-tree has been widely studied for frequent pattern mining because it can dramatically improve performance compared to the candidate generation-and-test paradigm of Apriori. However, it still requires two database scans, which are not consistent with efficient data stream processing. In this paper, we present a novel tree structure, called CP-tree (compact pattern tree), that captures database information with one scan (insertion phase) and provides the same mining performance as the FP-growth method (restructuring phase). The CP-tree introduces the concept of dynamic tree restructuring to produce a highly compact frequency-descending tree structure at runtime. An efficient tree restructuring method, called the branch sorting method, that restructures a prefix-tree branch-by-branch, is also proposed in this paper. Moreover, the CP-tree provides full functionality for interactive and incremental mining. Extensive experimental results show that the CP-tree is efficient for frequent pattern mining, interactive, and incremental mining with a single database scan.     

基于FP-参考树／表的频繁模式挖掘算法

通分析FP-growth算法中包含的冗余操作，引入数据结构FP参考树／表，改变FPgrowth算法中条件模式基的存储和生成方式，提出了新的FPRSG算法，高效地解决了频繁模式挖掘问题。理论分析与实验结果表明，FPRSG算法优于FPgrowth算法。     

一种直接在Trans-树中挖掘频繁模式的新算法

Frequent pattern mining plays an essential role in many important data mining tasks. FP-growth is a very efficient algorithm for frequent pattern mining. However, it still suffers from creating conditional FP-tree separately and recursively during the mining process. In this paper, we propose a new algorithm, called Least-Item-First Pat-tern Growth (LIFPG), for mining frequent patterns. LIFPG mines frequent patterns directly in Trans-tree withoutusing any additional data structures. The key idea is that least items are always considered first when the current pat-tern growth. By this way, conditional sub-tree can be created directly in Trans-tree by adjusting node-links and re-counting counts of some nodes. Experiments show that, in comparison with FP-Growth, our algorithm is about fourtimes faster and saves half of memory;it also has good time and space scalability with the number of transactions,and has an excellent performance in dense dataset mining as well.     

Sliding window-based frequent pattern mining over data streams

Finding frequent patterns in a continuous stream of transactions is critical for many applications such as retail market data analysis, network monitoring, web usage mining, and stock market prediction. Even though numerous frequent pattern mining algorithms have been developed over the past decade, new solutions for handling stream data are still required due to the continuous, unbounded, and ordered sequence of data elements generated at a rapid rate in a data stream. Therefore, extracting frequent patterns from more recent data can enhance the analysis of stream data. In this paper, we propose an efficient technique to discover the complete set of recent frequent patterns from a high-speed data stream over a sliding window. We develop a Compact Pattern Stream tree (CPS-tree) to capture the recent stream data content and efficiently remove the obsolete, old stream data content. We also introduce the concept of dynamic tree restructuring in our CPS-tree to produce a highly compact frequency-descending tree structure at runtime. The complete set of recent frequent patterns is obtained from the CPS-tree of the current window using an FP-growth mining technique. Extensive experimental analyses show that our CPS-tree is highly efficient in terms of memory and time complexity when finding recent frequent patterns from a high-speed data stream.     

基于FP-Tree的最大频繁项目集挖掘及更新算法

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题,之前的很多研究都是采用Apriori类的候选项目集生成-检验方法.然而,候选项目集产生的代价是很高的,尤其是在存在大量强模式和/或长模式的时候.提出了一种快速的基于频繁模式树(FP-tree)的最大频繁项目集挖掘DMFIA(discover maximum frequent itemsets algorithm)及其更新算法UMFIA(update maximum frequent itemsets algorithm).算法UMFIA将充分利用以前的挖掘结果来减少在更新的数据库中发现新的最大频繁项目集的费用.