基于改进Apriori算法的评教系统应用研究

指出了Apriroi算法的不足,并提出改进算法:在剪枝侯选项目集的时候,采用生成频繁项目集和删除具有非频繁子集候选同时进行的方法来减少多余子项目集的生成。这样,既提高了扫描数据库过程中的信息获取率,又及时删除超集不是频繁项目集的项集,进一步缩减项集的潜在规模,提高了频繁项目集即关联规则生成的效率。讨论了如何利用改进的Apriori算法对评教系统数据进行关联规则挖掘。     

基于分解事务矩阵的关联规则挖掘算法

Apriori算法是数据挖掘领域挖掘关联规则频繁项目集的经典算法,但该算法存在产生大量的候选项目集及需要多次扫描数据库的缺陷。为此提出一种新的挖掘关联规则频繁项目集算法（ CApriori算法）：利用分解事务矩阵来压缩存放数据库的相关信息,进而对分解事务矩阵进行关联规则挖掘;优化了由频繁k -1项目集生成频繁k项目集的连接过程;提出了一种不需要扫描数据库,利用行集“与运算”快速计算支持数的方法,改进算法挖掘所有的频繁项目集只需扫描数据库两次。实验结果表明,改进算法在最小支持度较小时效率高于Apriori算法。     

一种更新频繁项目集的快速算法

数据库的更新会引起数据库中的关联规则的更新,找出更新后的所有的频繁项目集,也就能生成更新后的关联规则,因此关联规则的更新就转化为频繁项目集的更新。UWEP算法 利用以前的挖掘结果来减少挖掘新的频繁项目集的开销,采用了一些优化技术来减少数据库的扫描次数和候选项目集的数量,但UWEP算法只能处理增加新事务的情况。本文提出 的UWEP2算法是UWEP算法的扩展,能处理数据库中事务的增加、删除、修改等情况。我们将它与另一种更新频繁项目集的算法FUP2比较,实验显示,UWEP2算法比FUP2算法生成的候选项目集要少,性能要高。     

基于频繁链表的完全加权项频繁集挖掘算法

频繁项集的挖掘是关联规则挖掘中一个关键的问题,典型的关联规则挖掘算法都是以数据库的多次扫描来实现的,而且不能即时反映数据库的变化,且其频繁项集的产生都只考虑了项目在数据库中出现的频度而没有考虑项目的重要性。本文提出了一种基于频繁链表的完全加权项频繁集的挖掘算法,该算法不但能动态反映数据库的变化,而且在频繁集的挖掘中只需扫描一次数据库,并根据项目的重要性程度对项目赋予了一定的权值,用以挖掘人们更感兴趣的关联规则。     

采用频繁项目链表变换的频繁项目集挖掘算法

频繁项目集的产生是关联规则挖掘的关键问题,经典的关联规则挖掘算法是通过对事务数据库的多次扫描实现的.最新的研究已经开始探索合适的数据结构以支持进行极少次数的事务数据库的扫描,进而减少关联规则挖掘过程中巨大的I/O开销以获得更高的效率.文中利用频繁项目链表的数据结构,给出了一种仅需扫描两次事务数据库的关联规则挖掘算法 ,称为FILLT算法.该算法采取分而治之策略,对频繁项目链表实施分割、变换来进行关联规则挖掘.文中最后对这一算法的效率进行了理论分析和实验验证.     

基于频繁链表的频繁集的挖掘算法

自从1989年提出KDD以来,关联规则的挖掘一直是人工智能及数据库领域关注的焦点,尤其是项目决策者渴求的制胜法宝。挖掘关联规则的前提是频繁集的挖掘,目前典型的频繁集挖掘算法以Appriori算法为代表。在Appriori算法的基础上提出了一些可行的方法,所有这些算法不外乎达到两个目的:①在穷举的基础上,设法删除对关联规则不太有效的频繁集,减少候选频繁集的数量,达到提高挖掘算法性能的目的。②直接挖掘最大频繁集,以最大频繁集为基础挖掘感兴趣     

一种基于倒排索引树的增量更新关联挖掘算法

增量更新关联规则挖掘主要解决事务数据库中交易记录不断更新和最小支持度发生变化时关联规则的维护问题。针对目前诸多增量更新关联规则挖掘算法存在效率低、计算成本高、规则难以维护等问题,提出一种基于倒排索引树的增量更新关联挖掘算法。该算法有效地将倒排索引技术与树型结构相结合,使得交易数据库中的数据不断更新和最小支持度随应用环境不同而不断改变时,以实现无需扫描原始交易数据库和不产生候选项集的情况下生成频繁项集。实验结果表明,该算法只需占用较小的存储空间、且检索项集的效率较高,能高效地解决增量更新关联规则难以维护的问题。     

交易数据库的加权关联规则增量更新算法

针对文献犤1犦提出的加权关联规则挖掘算法,文章提出了交易数据库的加权关联规则增量更新算法(DWARIUA算法)。该算法充分利用已存在的频繁项目集,因此,算法是有效而可行的。     

一种基于多数组的频繁模式挖掘算法

提出了一种新颖的频繁模式挖掘算法,该算法与现有的挖掘算法相比具有明显的优点,首先,该算法不需要产生候选项集,其次该算法具有更少的数据库扫描次数,该算法在中小型数据库上挖掘关联规则只需要扫描交易数据库一次,对于大型交易数据库的关联规则挖掘最多也只需要扫描交易数据库两次。因而,该算法与现有的频繁模式挖掘算法相比具有更高的效率。     

分段扫描生成频繁项目序列集的挖掘算法

关联规则挖掘是数据挖掘研究的重要分支。发现频繁项目序列集又是关联规则挖掘中的一个关键阶段。十几年来,许多发现频繁项目集的算法已经被提出。近几年来,人们更关注于在大型数据集中高效发现频繁项目集的算法研究,特别是在减少数据库的扫描次数、提高内存利用率等方面。该文提出一个称为DFISP的算法,它是基于数据分段扫描策略的,并且只需两次数据库扫描即可完成频繁项目序列集的生成。实验表明,DFISP算法是稳定而高效的。     

一种基于矩阵的强关联规则生成算法*

针对Apriori算法扫描数据库的I/O代价和候选项集数目较多等问题,提出一种基于矩阵的强关联规则生成算法,算法通过将事务数据库转化为0-1矩阵后对项集按照支持度计数非递减顺序排列,从而减少候选项集的产生,同时实现置信度的高效计算。通过对实例和大数据量数据库的分析表明,该方法是有效的。     

挖掘正相关的频繁项集

在由频繁项集产生关联规则时，利用提升度判断规则前、后件之间的正相关性可以避免产生一些无意义的关联。但是，这并不能保证规则前、后件中的项是正相关的，也不能减少挖掘频繁项集的时间开销。当规则的前件或后件存在负相关的项时，仍然可能产生无意义的关联规则。针对以上问题，基于数学期望，提出了正相关的频繁项集的概念，并改进了一种直接在FP-树中挖掘频繁项集的算法，挖掘出正相关的频繁项集，从而有效地解决以上问题。实验表明，该算法可以大幅度地减少所产生的频繁项集数量，显著地降低了挖掘频繁项集的时间开销。对于大型数据集，尤其是稠密型数据集，该算法具有良好的性能。     

一种改进的模糊关联算法及其在IDS中的应用

关联规则的发现是数据挖掘中的一个重要问题,但只是对离散型数据进行处理。为解决连续数量值属性的划分出现的“尖锐边界”问题,采用模糊划分,实现数据平滑过渡。由于入侵检测系统(IDS)对训练数据要求不高,文中提出了一种使用哈希链表改进模糊关联规则挖掘的新算法,且在挖掘过程中使用了等价类快速查找频繁项集,避免了反复扫描数据库及大量重复计算检验步骤。通过一个入侵检测系统的算例显示了其优越性,来提高对入侵数据的识别能力。     

关联规则挖掘在证券业中的应用

基于证券业急需一种能帮助其提高个性化服务质量的系统,该文提出了一种适用干证券业单交易项交易数据库挖掘的频繁模式链表 关联规则挖掘算法,它采用共享前缀交易项树和频繁模式链表结构,无须产生候选项集,FPL-growth算法通过直接排列出链路中的频项组 合,就可得到完整的频繁模式集,且支持多阈值挖掘,挖掘到的关联规则带有时间段属性,特别适用于证券业的个性化信息需求获取。     

关联规则挖掘在证券业个性化服务中的应用

提出了一种适用于证券业交易数据库挖掘的频繁模式链表关联规则挖掘算法，它采用共享前缀交易项树和频繁模式链表结构，无须产生候选项集，FPL-growth算法通过直接排列出链路中的频项组合，就可得到完整的频繁模式集，且支持多阈值挖掘，挖掘到的关联规则带有时间段属性，特别适用于证券业的个性化信息需求获取。     

Hardware-Enhanced Association Rule Mining with Hashing and Pipelining

Generally speaking, to implement Apriori-based association rule mining in hardware, one has to load candidate itemsets and a database into the hardware. Since the capacity of the hardware architecture is fixed, if the number of candidate itemsets or the number of items in the database is larger than the hardware capacity, the items are loaded into the hardware separately. The time complexity of those steps that need to load candidate itemsets or database items into the hardware is in proportion to the number of candidate itemsets multiplied by the number of items in the database. Too many candidate itemsets and a large database would create a performance bottleneck. In this paper, we propose a HAsh-based and Pipelined (abbreviated as HAPPI) architecture for hardware- enhanced association rule mining. We apply the pipeline methodology in the HAPPI architecture to compare itemsets with the database and collect useful information for reducing the number of candidate itemsets and items in the database simultaneously. When the database is fed into the hardware, candidate itemsets are compared with the items in the database to find frequent itemsets. At the same time, trimming information is collected from each transaction. In addition, itemsets are generated from transactions and hashed into a hash table. The useful trimming information and the hash table enable us to reduce the number of items in the database and the number of candidate itemsets. Therefore, we can effectively reduce the frequency of loading the database into the hardware. As such, HAPPI solves the bottleneck problem in a priori-based hardware schemes. We also derive some properties to investigate the performance of this hardware implementation. As shown by the experiment results, HAPPI significantly outperforms the previous hardware approach and the software algorithm in terms of execution time.     

一种改进的关联规则挖掘算法在入侵检测中的应用研究

为了解决网络入侵检测领域使用Apriori算法挖掘频繁模式效率不高、精度不够的问题,引入自适应步长跃进、动态修剪候选频繁项集的概念,提出一种新的改进关联规则挖掘算法,该算法较Apriori算法有比较明显的优势,可以广泛应用于大规模入侵检测数据库的关联规则挖掘中.     

数据挖掘中关联规则的一种高效Apriori算法

在数据挖掘中关联规则的频繁项集计算时，通过一种改进的Apriori算法，即用升序替代原来的按字母次序对项集进行排序，可大大精简候选频繁集，而且能保持频繁集的完整性，减少计算开销。     

A lattice-based approach for I/O efficient association rule mining

Most algorithms for association rule mining are variants of the basic Apriori algorithm (Agarwal and Srikant, Fast algorithms for mining association rules in databases, in: Proceedings of the 20th International Conference on Very Large Data Bases (VLDB’94), Santiago, Chile, 1994, pp. 487–499). One characteristic of these Apriori-based algorithms is that candidate itemsets are generated in rounds, with the size of the itemsets incremented by one per round. The number of database scans required by Apriori-based algorithms thus depends on the size of the biggest frequent itemsets. In this paper, we devise a more general candidate set generation algorithm, LGen, which generates candidate itemsets of multiple sizes during each database scan. We present an algorithm FindLarge which uses LGen to find frequent itemsets. We show that, given a reasonable set of suggested frequent itemsets, FindLarge can significantly reduce the number of I/O passes required. In the best cases, only two passes are sufficient to discover all the frequent itemsets irrespective of the size of the biggest ones.Two I/O-saving algorithms, namely DIC and Pincher-Search, are compared with FindLarge in a series of experiments. We discuss the conditions under which FindLarge significantly outperforms the others in terms of I/O efficiency.     

基于改进的关联规则挖掘算法的研究

A priori算法是经典的关联规则挖掘算法,它利用逐层搜索的迭代方法完成频繁模式的挖掘工作,反复进行连接剪枝操作,思路简单易操作,但也伴随着产生庞大候选集,多次扫描数据库产生巨大I/O开销的问题,提出一种改进算法:基于矩阵的关联规则挖掘算法,同A priori算法比较,该算法只需扫描一遍数据库,就可直接查找k-频繁项集,尤其是当频繁项集较高的时候,该算法具有更高的执行效率,在大数据量的情况下更具有可行性。