基于差集的高效用项集挖掘方法

高效用项集挖掘已成为关联规则中的一个热点研究问题.一些基于垂直结构的算法已用来挖掘高效用项集,此类算法的主要优点是将项集的事务和效用信息存储到效用列表中.在求一个项集的超集所在事务可以通过对它的子集进行一次交集运算得到.这种算法在稀疏数据集中非常的有效.但在稠密数据集中存在一个问题,即列表中存储的事务太多,在计算用于剪枝的效用上界时,需要耗费大量的存储空间,同时也影响运行速度.并且在现有的算法中,缺乏针对稠密数据集的高效用项集挖掘算法,往往需要设置很高的最小效用阈值,影响算法的运行效率.针对此问题,提出一个新的算法D-HUI （mining High Utility Itemsets using Diffsets）以及一个新的数据结构—项集列表,首次在高效用项集挖掘中引入差集的概念.利用事务的差集求项集的效用上界,减少计算量以及存储空间,从而提高算法的运行效率.实验结果表明,提出的算法在稠密数据集中,执行速度更快,内存消耗更少.     

快速挖掘频繁模式算法研究与实现

针对关联规则中频繁模式挖掘的效率问题进行了研究,提出了一种快速挖掘频繁模式的新算法。该算法采用一个动态更新的连接项集对n项频集中的项目进行项目增长的原理,求得所有频繁项集。通过研究分析可以看出:算法只需对数据库一次扫描;增强了产生候选项的针对性和有效性;提高了候选项的支持事务计数的效率;在求解最大频繁项集时,由于求解过程中无需用到大量的中间结果,节省了内存空间。给出了算法的实现。通过对实验结果的性能对比分析,表明算法是可行的,有效的。     

基于单向FP_tree的最大频繁项集挖掘算法研究

频繁项集挖掘算法是数据挖掘的主要研究方向。目前主流的频繁项集挖掘算法有:产生候选频繁项集和不产生候选频繁项集两种,分别是Apriori算法、FP_growth算法。这两种算法各有优缺点。本文在分析现有算法的基础上,充分利用FP_tree信息压缩的优点,设计出一种产生候选项集的最大频繁项集挖掘算法。该算法首先构造一棵单向FP_tree,再利用最大频繁项集特性对候选项集进行剪枝,不需要扫描数据库计算候选项集的支持数。仿真实验表明,与现有算法相比,该算法的时、空效率都有巨大提高。     

一种基于矩阵的Apriori改进算法

Apriori算法是经典的关联规则挖掘算法之一。该算法可以很好地挖掘关联规则,通过连接步和剪枝步从频繁项集中获取候选项集,但产生大量的候选项集,这就需要重复扫描数据库,大大增加算法运行时间。文中提出一种基于矩阵的改进算法,通过事务矩阵和候选项集项目矩阵相乘的矩阵操作来改进频繁扫描数据库的问题。事务数组的建立可以删除不能生成下一频繁项集的事务,删除不必要的项,针对频繁项集的产生过程优化Apriori算法的连接步和修剪步。在不同的数据集下通过实验验证改进算法不仅能准确地挖掘出频繁项集而且大大地缩短挖掘时间。     

应用于音乐节目分类的Apriori挖掘算法设计

传统Apriori挖掘算法需多次扫描数据库、多次连接频繁项集,导致挖掘效率较低,为此对Apriori挖掘算法加以改进,设计一种新的Apriori挖掘算法用于音乐节目分类。改进的Apriori挖掘算法采用莱特准则对音频数据进行野值与噪声平滑处理,改进Apriori挖掘算法的音频数据库映射令两个线性表分别负责音频数据存储和对应项存储,音频数据库扫描次数降为一次;改进Apriori挖掘算法的连接次数无需对不具备交运算能力的元素进行交运算操作,减少频繁项集连接次数。基于改进频繁项集Apriori挖掘算法挖掘频繁项集、生成音频数据关联规则,基于关联规则集构建分类器,实现音乐节目分类。实验结果显示,改进Apriori挖掘算法用于音乐节目分类的效率优势突出,准确度高。     

基于改进的遗传算法的关联规则挖掘

Apriori算法是挖掘关联规则频繁项集的经典算法,但需要对数据库进行多次扫描,在交易量较大的情况下,严重地影响了算法效率。本文将改进的遗传算法应用于求解频繁项集,解决了这一问题。实验表明,该算法具有一定的推广价值。     

基于回溯的最大频繁项集挖掘算法

针对Apriori类算法多次扫描数据库和FP-tree类算法需要构建大量条件模式树的问题,文中提出了挖掘最大频繁项集的GBMFI算法。采用垂直格式存储事务数据库,以枚举树为基础,利用子集非频繁性质和父子节点支持度信息在搜索过程中对枚举树进行剪枝,最终得到最大频繁项集。通过实验对比,结果证明了算法的有效性,尤其适用于稀疏数据集。     

基于FP树的最大频繁项集挖掘

频繁项集的挖掘是数据挖掘中的一个基础和核心问题,具有广泛的应用领域。而频繁项集挖掘可分为完全频繁项集挖掘、频繁闭项集挖掘和最大频繁项集挖掘三类,其中,最大频繁项集的数目最少。频繁项集的挖掘是一个搜索问题,剪枝优化技术是提高频繁项集挖掘效率的一个重要手段。对于最大频繁项集的挖掘可以从宽度优先和深度优先两个角度来考虑,而基于FP树的深度优先算法比宽度优先算法扫描数据集的次数要少很多,因此,具有较好的性能。本文主要分析宽度优先的最大频繁项集挖掘算法和基于FP树的深度优先最大频繁项集挖掘算法。     

基于频繁模式图的多维关联规则挖掘算法研究

关联规则挖掘是数据挖掘领域中重要的研究分支,频繁项集或频繁谓词集的计算是其中的关键问题.本文针对包括多值属性的关系数据库,以多维关联规则挖掘为目标,研究频繁谓词集的计算方法,提出了MPG算法及IMPG增量算法.MPG算法通过构建频繁模式图MP-graph,按照深度优先搜索方法,动态挖掘频繁谓词集,只需扫描数据库一次.此外,该方法至多增加一次数据库扫描,就能扩展为IMPG算法,进行增量关联规则挖掘.文章分析了算法时间和空间性能,用实验说明了算法的有效性.     

逆向索引FP-tree挖掘频繁项集

在对逆向FP-tree的研究基础上提出了逆向索引FP-tree挖掘频繁项集的算法。该算法构造了逆向索引FP-tree,通过寻找扩展频繁项集与合并第一棵子树的方法挖掘频繁项集,给出了逆向索引FP-tree的性质和挖掘算法。     

挖掘关联规则频繁项集的算法研究及其Prolog实现

挖掘事务库中的频繁项集是数据挖掘的重要任务之一。文章对求关联规则中频繁项集算法进行了分析，着重叙述了DHP算法的设计思想，并用Prolog语言实现，试图探讨用逻辑推理方法解决数据挖掘问题。     

基于团的频繁项集挖掘算法

高效地找出所有的频繁项集是关联规则挖掘中的核心问题。通过对已有的基于矩阵的频繁项集挖掘算法的研究,提出一种基于团的频繁项集快速生成算法。该算法采用关联图存储频繁两项集信息,找关联图中团,逐步减少团中项来搜索所有最大频繁项集,并且其扫描数据库仅需一次。通过使用标准数据集进行验证测试并与其他算法进行比较,实验结果表明,该算法具有较快的挖掘速度。     

数据流中频繁闭项集的近似挖掘算法

在数据流中挖掘频繁项集得到了广泛的研究,传统的研究方法大多关注于在数据流中挖掘全部频繁项集.由于挖掘全部频繁项集存在数据和模式冗余问题,所以对算法的时间和空间效率都具有更大的挑战性.因此,近年来人们开始关注在数据流中挖掘频繁闭项集,其中一个典型的工作就是Moment算法.本文提出了一种数据流中频繁闭项集的近似挖掘算法A-Moment.它采用衰减窗口机制、近似计数估计方法和分布式更新信息策略来解决Moment算法中过度依赖于窗口和执行效率低等问题.实验表明,该算法在保证挖掘精度的前提下,可以比Moment获得更好的效率.     

一种新的面向普通用户的多值属性关联规则可视化挖掘方法

针对传统关联规则可视化挖掘方法不利于处理多值属性数据、缺乏展现数据间的频繁模式和关联模式以及效率低下等问题,提出了基于KAF因子和CHF因子的Apriori改进算法进行多值属性关联规则挖掘,实现了一种新的基于概念格的多值属性关联规则可视化方法.运用概念格理论对多值属性数据进行了重新定义和分类,建立了较为完整的挖掘过程参数调整策略,方便用户选择关键属性值进行规则挖掘分析,提高了算法运行速度和挖掘效率.以概念格结构将多值数据组织起来,实现了对频繁项集的可视化展示,以及关联规则的多模式可视化展示.实验结果表明,改进后的挖掘算法具有更好的性能,所提出的可视化形式和已有成果相比具有良好的展现效果.     

FP-growth算法的优化

FP-growth算法是关联规则挖掘中效率较高的算法,以自底向上方式探索树,由FP树产生频繁项集。本文针对FP树构造过程中需多次遍历频繁项列表L的缺点,提出了一种基于散列表的改进算法,实现了项名称关键字到存储地址的映射,进而实现了项名称关键字到其支持度计数的映射。在查找某项的支持度计数时,只需给出其名称关键字,无需从头遍历频繁项列表L,时间复杂度由O（n）提高到O（1）。实验结果表明,改进算法的性能优于原算法,节省了遍历时间,提高了挖掘效率。     

一种基于邻接表的最大频繁项集挖掘算法

针对Apriori算法与FP-Growth算法在最大频繁项集挖掘过程中存在的运行低效、内存消耗大、难以适应稠密数据集的处理、影响大数据价值挖掘时效等问题,该文提出一种基于邻接表的最大频繁项集挖掘算法。该算法只需遍历数据库一次,同时用哈希表对邻接表进行辅助存储,减小了遍历的空间规模。理论分析与实验结果表明,该算法时间与空间复杂度较低,提高了最大频繁项集挖掘速率,尤其在处理稠密数据集时具有较好的优越性。     

一种时间序列频繁模式挖掘算法及其在WSAN行为预测中的应用

该文提出FPM(Frequent Pattern Mining)算法充分考虑频繁模式在时间序列中出现次数和分布。基于这些不同分布的频繁模式扩展MAMC(Mixed memory Aggregation Markov Chain)模型提出FMAMC(Frequent pattern based Mixed memory Aggregation Markov Chain)模型。将FPM和FMAMC应用到实际的智能楼宇项目中,证明和现有算法相比FPM算法具有较好的时间性能,FMAMC模型能够比MAMC模型更准确的预测WSAN节点行为。     

模糊序列模式在网络异常检测中的应用

数据挖掘中的关联原则挖掘和序列模式挖掘常用于网络入侵检测问题。在本文中，我们试图运用模糊集理论将序列挖掘算法进行改进，提出一种模糊序列模式用于网络异常检测，并用初步的实验对该算法进行证明。     

A LFP-tree based method for association rules mining in telecommunication alarm correlation analysis

The mining of association rules is one of the primary methods used in telecommunication alarm correlation analysis,of which the alarm databases are very large.The efficiency of the algorithms plays an important role in tackling with large datasets. The classical frequent pattern growth(FP-growth) algorithm can produce a large number of conditional pattern trees which made it difficult to mine association rules in are telecommunication environment.In this paper,an algorithm based on layered frequent pattern tree(LFP-tree) is proposed for mining frequent patterns. Efficiency of this alagorithm is achieved with following techniques:1) All the frequent patterns are condensed into a layered structure,which can save memory time but also be very useful for updating the alarm databases.2) Each alarm item can be viewed as a triple,in which t is a Boolean vaviable that shows the item frequent or not.3) Deleting infrequent items with dynamic pruning can avoid produce conditional pattern sets. Simulation and analysis of algorithm show that it is a valid method with better time and space efficiency,which is adapted to mine association rules in telecommunication alarm correlation analysis.     

基于Web-log的频繁浏览路径挖掘

利用Web日志文件,采用LossyCounting算法对用户频繁浏览路径进行挖掘。在设计中,根据频繁路径挖掘的实际情况对算法进行了优化和改进。实验表明该方法能快速准确地发现用户频繁浏览路径,且具有较好的可扩展性,适用于电子商务网站的站点优化和个性化服务等。