基于存储改进的分区并行关联规则挖掘算法

针对现有算法存储结构简单、生成大量冗余的候选集、时间和空间复杂度高,挖掘效率不理想的情况,为了进一步提高关联规则算法挖掘频繁集的速度,优化算法的执行性能,提出基于内存结构改进的关联规则挖掘算法。该算法基于Spark分布式框架,分区并行挖掘出频繁集,提出在挖掘过程中利用布隆过滤器进行项目存储,并对事务集和候选集进行精简化操作,进而达到优化挖掘频繁集的速度、节省计算资源的目的。算法在占用较少内存的条件下,相比于YAFIM和MR-Apriori算法,在挖掘频繁集效率上有明显的提升,不但能较好地提升挖掘速度,降低内存的压力,而且具有很好的可扩展性,使得算法可以应用到更大规模的数据集和集群,从而达到优化算法性能的目的。     

一种基于FP-tree的最大频繁项目集挖掘算法

挖掘关联规则是数据挖掘领域中的重要研究内容,其中挖掘最大频繁项目集是挖掘关联规则中的关键问题之一,以前的许多挖掘最大频繁项目集算法是先生成候选,再进行检验,然而候选项目集产生的代价是很高的,尤其是存在大量长模式的时候。文中改进了FP 树结构,提出了一种基于FP tree的快速挖掘最大频繁项目集的算法DMFIA 1,该算法不需要生成最大频繁候选项目集,比DMFIA算法挖掘最大频繁项目集的效率更高。改进的FP 树是单向的,每个结点只保留指向父结点的指针,这大约节省了三分之一的树空间。     

一种基于线性链表的关联规则挖掘算法

关联规则挖掘是数据挖掘的一个重要研究方向,其算法主要有Apriori算法和FP—growth算法,它们需要多次扫描事务数据库,严重影响算法的效率。为了减少扫描事务数据库的次数,本文提出一种基于线性链表（LinearLinker）的LL算法,它只需扫描事务数据库一次,把事务数据库转换为线性链表LL,进而对LL进行关联规则挖掘。实验表明,LL算法的时间开销明显优于Apriori算法和FP—growth算法,且LL算法通过定义备用候选频繁项目集,有效地支持了关联规则的更新挖掘。     

浅论Apriori算法的改进

本文介绍了关联规则挖掘的基本概念．分析了经典的Apriori算法．提出一种改进的关联规则挖掘算法．解决了挖掘课程相关性关联规则的问题。改进算法的基本思想：①采用位图数据格式：②系统中会永久保留支持度为0的候选1项集和候选2项集．当系统需要运行时．首先采用数据库的过滤技术．可以很快得到频繁2项集。突破了这一瓶颈．系统运行速度将得到较大的提升。将设算法应用于课程相关性分析。实验结果表明改进的算法性能优于Apriori算法。     

基于图的关联规则改进算法

关联规则挖掘是数据挖掘研究的最重要课题之一。基于图的关联规则挖掘DLG算法通过一次扫描数据库构建关联图,然后遍历该关联图产生频繁项集,有效地提高了关联规则挖掘的性能。在分析该算法基本原理基础上,提出了一种改进的算法—DLG#。改进算法在关联图构造同时构造项集关联矩阵,在候选项集生成时结合关联图和Apriori性质对冗余项集进行剪枝,减少了候选项集数,简化了候选项集的验证。比较实验结果表明,在不同数据集和不同支持度阈值下,改进算法都能更快速的发现频繁项集,当频繁项集平均长度较大时性能提高明显。     

关联规则的快速提取算法

针对基于频繁项集的关联规则挖掘算法效率低,需要多次扫描数据库且生成冗余候选项集问题,该文利用频繁项集的Aprior性质和概念格的基本思想提出一种关联规则提取算法,利用极大频繁项集来进行规则提取,去除了多数冗余的候选项集,提高了提取效率。     

基于互关联后继树的频繁模式挖掘研究

关联规则挖掘是数据挖掘的一个重要的研究内容，而产生频繁模式集是关联规则挖掘的第1步工作。很多传统的频繁模式挖掘算法都需要产生候选模式集，因而效率很低。该文提出了一种不需要产生候选集，而直接构造频繁集的频繁模式挖掘算法——基于互关联后继树的频繁模式挖掘算法。实验证明，该算法具有较好的性能。     

基于分解事务矩阵的关联规则挖掘算法

Apriori算法是数据挖掘领域挖掘关联规则频繁项目集的经典算法,但该算法存在产生大量的候选项目集及需要多次扫描数据库的缺陷。为此提出一种新的挖掘关联规则频繁项目集算法（ CApriori算法）：利用分解事务矩阵来压缩存放数据库的相关信息,进而对分解事务矩阵进行关联规则挖掘;优化了由频繁k -1项目集生成频繁k项目集的连接过程;提出了一种不需要扫描数据库,利用行集“与运算”快速计算支持数的方法,改进算法挖掘所有的频繁项目集只需扫描数据库两次。实验结果表明,改进算法在最小支持度较小时效率高于Apriori算法。     

基于项集优化重组的频繁项集发现算法

发现频繁项集是关联规则挖掘的主要途径,也是关联规则挖掘算法研究的重点。关联规则挖掘的经典Apriori算法及其改进算法大致可以归为基于SQL和基于内存两类。为了提高挖掘效率,在仔细分析了基于内存算法存在效率瓶颈的基础上,提出了一种发现频繁项集的改进算法。该算法使用了一种快速产生和验证候选项集的方法,提高了生成项目集的速度。实验结果显示该算法能有效提高挖掘效率。     

基于Apriori＆Fp—growth的频繁项集发现算法

关联规则挖掘是数据挖掘中功能之一,而高效的关联规则挖掘算法研究引起了许多科研人员的兴趣.其中频繁项集的发现是关联规则挖掘算法中占比重最高、代价最大的步骤.从分析Apriori算法与Fp-growth算法性能的优缺点的基础上,提出了一种新的频繁项集发现算法:FA算法,该算法吸取了Apriori算法与Fp-growth算法的优点,通过实验表明该算法有较高的性能,且内存开销较少.     

关联规则挖掘在证券业个性化服务中的应用

提出了一种适用于证券业交易数据库挖掘的频繁模式链表关联规则挖掘算法，它采用共享前缀交易项树和频繁模式链表结构，无须产生候选项集，FPL-growth算法通过直接排列出链路中的频项组合，就可得到完整的频繁模式集，且支持多阈值挖掘，挖掘到的关联规则带有时间段属性，特别适用于证券业的个性化信息需求获取。     

一种基于倒排索引树的增量更新关联挖掘算法

增量更新关联规则挖掘主要解决事务数据库中交易记录不断更新和最小支持度发生变化时关联规则的维护问题。针对目前诸多增量更新关联规则挖掘算法存在效率低、计算成本高、规则难以维护等问题,提出一种基于倒排索引树的增量更新关联挖掘算法。该算法有效地将倒排索引技术与树型结构相结合,使得交易数据库中的数据不断更新和最小支持度随应用环境不同而不断改变时,以实现无需扫描原始交易数据库和不产生候选项集的情况下生成频繁项集。实验结果表明,该算法只需占用较小的存储空间、且检索项集的效率较高,能高效地解决增量更新关联规则难以维护的问题。     

基于FP-T的多层关联规则并发挖掘

现有的数据挖掘方法大致有两类：有候选项集和无候选项集,有候选项集的挖掘以Apriori算法为代表,其特点是产生大量的候选项集,重复多次扫描数据库,挖掘效率低,不适合大型数据库的挖掘。无候选项集的挖掘以FP-T方法为代表,但它不能同时挖掘多概念层的关联规则,对具有超大项ID的大型数据库,无法生成“树”结构,使用也受到限制。该文将FP-T原理引入多层关联规则的并发挖掘,通过构建一个特殊节点链的指针表,可实现超大规模数据库的并发、多层挖掘。对实现物流系统信息自动化及其它数据挖掘应用领域都具有极其重要的指导意义。     

基于有限个条件FP_树中挖掘频繁模式

在数据挖掘中发现关联规则是一个基本问题,而关联规则发现中最昂贵的步骤便是寻找频繁模式。FP_growth(frequent-patern growth)方法在产生长短频繁项集时不产生候选项集,从而大大提高了挖掘的效率,但是FP_growth在挖掘频繁模式时候产生大量的条件FP树从而占用大量空间,对FP_growth进行研究提出一种改进算法不仅利用FP_growth 算法所有优点,而且避免FP_growth的缺陷。主要通过建立有限棵条件FP树（数目为事务数据库的属性个数）来挖据长短频繁模式,大大节省FP_growth算法所需要空间,实验证明本文算法是有效的。     

关联规则挖掘在证券业中的应用

基于证券业急需一种能帮助其提高个性化服务质量的系统,该文提出了一种适用干证券业单交易项交易数据库挖掘的频繁模式链表 关联规则挖掘算法,它采用共享前缀交易项树和频繁模式链表结构,无须产生候选项集,FPL-growth算法通过直接排列出链路中的频项组 合,就可得到完整的频繁模式集,且支持多阈值挖掘,挖掘到的关联规则带有时间段属性,特别适用于证券业的个性化信息需求获取。     

挖掘空间关联规则的前缀树算法设计与实现

空间关联规则挖掘是在空间数据库中进行知识发现的一类重要问题．为此提出了挖掘空间关联规则的二阶段策略，通过多轮次单层布尔型关联规则挖掘，自顶向下逐步细化空间谓词的粒度，从而空间谓词的计算量大大减少．同时，设计了一种基于前缀树的单层布尔型关联规则挖掘算法(FPT-Generate)，不需要反复扫描数据库，不产生候选模式集，并在关键优化技术上取得了突破．实验表明，以FPT-Generate为挖掘引擎的空间关联规则发现系统的时间效率与空间可伸缩性远远优于以经典算法Apriori为引擎的系统。     

基于文本的关联规则提取方法的研究

随着人们利用信息技术生产和搜集数据的能力的提高,数据资料的规模急速膨胀,从庞大的数据中提取有用的知识和信息是数据挖掘的主要任务,而关联规则的挖掘足数据挖掘领域中的一个重要分支.Fp-gmwth算法是目前最有效的关联规则频繁模式挖掘算法之一,然而,由于在挖掘的过程中需要递归的生成频繁模式树,直接把Fp-growth算法应用在文本中的算法效率并不高.针对文本数据的稀疏性,提出了一个基于频繁模式树即Fp-tree和支持度矩阵相结合的最大频繁项目集挖掘算法,缩小了搜索空间,提高了算法的效率.算法分析和实验表明,算法对稀疏型数据集和稠密型数据均适用.     

基于十字链表的Apriori算法的研究与改进

在关联规则挖掘中,主要的问题是如何高效地产生频繁项集。对近年来一些基于十字链表的Apriori算法进行研究和分析,发现它们的候选频繁项集生成方法有很大的改进空间。提出一个基于十字链表的改进算法,优化候选频繁项集的生成方法,减少对事务数据库的扫描,大大提高了挖掘效率。     

应用于入侵检测系统的报警关联的改进Apriori算法

在众多的关联规则挖掘算法中,Apriori算法是最为经典的一个,但Apriori算法有以下缺陷：需要扫描多次数据库、生成大量候选集以及迭代求解频繁项集。提出了一种一步交集操作得到最大频繁项目集的方法。支持度由交集的次数得到而无需再去扫描事务数据库,将其中一些属性进行编号能减少存储空间且方便搜索候选集列表,从而提高算法的效率。最后针对入侵检测系统形成关联规则。实验结果表明,优化后的算法能有效地提高关联规则挖掘的效率。     

一种矩阵和排序索引关联规则数据挖掘算法

在关联规则挖掘算法中,Apriori由于多次对数据库进行扫描会产生较多的候选集,在多次扫描数据库的情况下容易产生I/O开销问题,并引起数据挖掘效率低.矩阵关联规则在数据挖掘过程中没有删除非频繁项集,致使存在较多的无效扫描,对于挖掘效率的提高也不明显.该文提出了一种改进的矩阵和排序索引关联规则数据挖掘算法,首先,删除不需...