基于FP树的最大频繁项集挖掘

频繁项集的挖掘是数据挖掘中的一个基础和核心问题,具有广泛的应用领域。而频繁项集挖掘可分为完全频繁项集挖掘、频繁闭项集挖掘和最大频繁项集挖掘三类,其中,最大频繁项集的数目最少。频繁项集的挖掘是一个搜索问题,剪枝优化技术是提高频繁项集挖掘效率的一个重要手段。对于最大频繁项集的挖掘可以从宽度优先和深度优先两个角度来考虑,而基于FP树的深度优先算法比宽度优先算法扫描数据集的次数要少很多,因此,具有较好的性能。本文主要分析宽度优先的最大频繁项集挖掘算法和基于FP树的深度优先最大频繁项集挖掘算法。     

最大频繁项集的高效挖掘

提出了一种基于布尔矩阵的最大频繁项集挖掘算法MBA（Mining Boolean Array for maximal frequent itemsets），通过将FP-tree映射成布尔矩阵和权值表，运用布尔逻辑运算进行矩阵投影操作得到最大频繁项集。运算效率得到很大提高。     

基于团的频繁项集挖掘算法

高效地找出所有的频繁项集是关联规则挖掘中的核心问题。通过对已有的基于矩阵的频繁项集挖掘算法的研究,提出一种基于团的频繁项集快速生成算法。该算法采用关联图存储频繁两项集信息,找关联图中团,逐步减少团中项来搜索所有最大频繁项集,并且其扫描数据库仅需一次。通过使用标准数据集进行验证测试并与其他算法进行比较,实验结果表明,该算法具有较快的挖掘速度。     

吏用FP树挖掘闭频繁项集的方法研究

数据挖掘可以在现有的大量数据中提取有用的信息和知识。数据挖掘包括很多知识提取、模式分析的方法,其中挖掘频繁模式对于分析据之间的关联和其他联系起着重要作用。本文研究讨论了在已有的FP增长策略的基础上增加剪枝的步骤,来挖掘存在的闭频繁模式、从而减少可产生的大量频繁项集,使得挖掘出的闭频繁模式更加有针对性和有效性。     

基于层次的最大频繁项集挖掘算法

关联规则的研究是数据挖掘中的重要问题,如何高效地发现频繁项集是关联规则研究中的关键问题。根据数据库事务的统计性规律,在最大频繁项集发现算法Apriori及其变种算法的基础上,提出一种新的基于层次的最大频繁项集的发现算法。首先从整体上判断候选集的频繁性,然后在发现最大频繁项集的过程中,通过引入整体性策略、排序策略、最小策略有效地减少了候选集与数据库事务之间的比较次数。实验结果表明,采用该算法处理数据库事务数量大的最大频繁项集的发现任务．其效率相比Aoriori算法有显著的提高。     

基于层次的最大频繁项集挖掘算法

关联规则的研究是数据挖掘中的重要问题,如何高效地发现频繁项集是关联规则研究中的关键问题.根据数据库事务的统计性规律,在最大频繁项集发现算法Apriori及其变种算法的基础上,提出一种新的基于层次的最大频繁项集的发现算法.首先从整体上判断候选集的频繁性,然后在发现最大频繁项集的过程中,通过引入整体性策略、排序策略、最小策略有效地减少了候选集与数据库事务之间的比较次数.实验结果表明,采用该算法处理数据库事务数量大的最大频繁项集的发现任务,其效率相比Apriori算法有显著的提高.     

基于矩阵二进制编码遗传算法的频繁项集挖掘

提出一种基于矩阵二进制编码的改进遗传算法MGA (Matrix Genetic Algorithm),应用于挖掘关联规则中的频繁项集。通过对初始种群的编码以及降维保证了合理的初始适应度,并对遗传算法中交叉算子和变异算子生成新个体与筛选的过程进行优化,使算法有优良的全局和局部搜索能力。实验结果显示,MGA算法的整体挖掘效率与质量良好。     

基于差分隐私的频繁项集挖掘研究综述

频繁项集及其真实支持度都可能泄露数据集中的隐私信息。最近提出的差分隐私保护模型比传统隐私保护模型隐私保护效果更好。首先,介绍了差分隐私保护模型的基本理论。其次,介绍了差分隐私下的几种频繁项集挖掘算法,分析了各个算法的优缺点。最后展望了未来的研究方向。     

基于单向FP_tree的最大频繁项集挖掘算法研究

频繁项集挖掘算法是数据挖掘的主要研究方向。目前主流的频繁项集挖掘算法有:产生候选频繁项集和不产生候选频繁项集两种,分别是Apriori算法、FP_growth算法。这两种算法各有优缺点。本文在分析现有算法的基础上,充分利用FP_tree信息压缩的优点,设计出一种产生候选项集的最大频繁项集挖掘算法。该算法首先构造一棵单向FP_tree,再利用最大频繁项集特性对候选项集进行剪枝,不需要扫描数据库计算候选项集的支持数。仿真实验表明,与现有算法相比,该算法的时、空效率都有巨大提高。     

一种基于上三角频繁项集矩阵的频繁模式挖掘算法

提出了一种高效挖掘数据的频繁项目集模式的算法FIA.该算法采用一种二进制符号来表示数据,在仅扫描数据库一次之后,建立起二进制向量与上三角频繁项集矩阵,根据两者来产生出频繁项集.从而有效地缩小了搜索空间,加快了处理速度.通过实验表明,FIA算法比Apriori算法更有效.     

多关系频繁项集的并行获取

现有的多关系频繁项集的挖掘都是在单机系统环境下进行的,存在着一定的效率问题.由此提出了一种并行处理多个表之间关系的算法,将表进行两两合并,在每台单机上只需要处理两张表的结果,提高了挖掘效率,减少了挖掘时间.     

基于回溯的最大频繁项集挖掘算法

针对Apriori类算法多次扫描数据库和FP-tree类算法需要构建大量条件模式树的问题,文中提出了挖掘最大频繁项集的GBMFI算法。采用垂直格式存储事务数据库,以枚举树为基础,利用子集非频繁性质和父子节点支持度信息在搜索过程中对枚举树进行剪枝,最终得到最大频繁项集。通过实验对比,结果证明了算法的有效性,尤其适用于稀疏数据集。     

挖掘最大频繁项集的并行化策略

提出基于因子项集的并行化策略GP以发挥串行算法的剪枝功效。其基本思想是利用因子项集的完全包含关系在处理机之间贪心分配等价类,根据等价类的需要相应地划分和复制数据库记录,使各处理机得以异步计算,达到较好的负载平衡、较高的剪枝效率和较少的数据库记录复制,缩短算法的执行时间。分析和实验表明,基于GP策略的并行算法有较好的可扩展性,其性能优于已有同类算法。     

一种基于邻接表的最大频繁项集挖掘算法

针对Apriori算法与FP-Growth算法在最大频繁项集挖掘过程中存在的运行低效、内存消耗大、难以适应稠密数据集的处理、影响大数据价值挖掘时效等问题,该文提出一种基于邻接表的最大频繁项集挖掘算法。该算法只需遍历数据库一次,同时用哈希表对邻接表进行辅助存储,减小了遍历的空间规模。理论分析与实验结果表明,该算法时间与空间复杂度较低,提高了最大频繁项集挖掘速率,尤其在处理稠密数据集时具有较好的优越性。     

基于频繁项集挖掘的正例文本提取方法

提取合适的正例文本是生成有效过滤模板的重要基础.通常采用的人工评测方法的显著缺点是无法准确判断文本内容并选择切实相关的文本,所以本文在频繁项集挖掘的基础上提出了一种判断给定文本是否相关并提取合适正例文本的方法.实验结果证实了该方法的有效性.     

基于Hadoop的频繁项集挖掘算法在图书借阅数据中的应用

针对挖掘图书借阅记录中蕴含价值的问题,以图书分类号作为图书特征,给出了结合Apriori的频繁项集挖掘算法。针对海量图书借阅记录难以处理的问题,将频繁项集挖掘算法融入Hadoop大数据平台,设计了基于Hadoop的频繁项集挖掘算法,有效解决了数据存储和并行处理的问题。实验结果表明,部分图书之间的关联程度高。     

基于HASH表的多谓词约束下频繁项集挖掘

针对在交易数据库中挖掘出指定顾客相关属性的频繁项集这一问题,提出了基于维约束进行求解的构想.采用模式增长的挖掘方法,但与传统的模式树不同的是将原先每一节点频繁计数值设为在所有可能的谓词约束下该项的计数形成的向量,并利用HASH表进行向量值及项所在层的位置映射,因此,在不同的约束组合下的频繁项集挖掘将不再需要扫描数据库.仿真实验表明该挖掘算法的完备性,通过与先筛选再挖掘的算法进行比较,证明该挖掘算法具有更高的效率.     

云环境下基于二进制编码聚类的并行频繁项集挖掘算法

本文提出了一种云环境下基于二进制编码的并行频繁项集挖掘算法,利用一种特殊的二进制编码的依赖度计量方法对原始数据集合进行编码转换及依赖度聚类,然后将数据集分布部署在云环境中,并采用共享多头表的FP-Growth并行改进算法挖掘频繁项集.实验表明,对于大规模数据集来说,本文算法可以取得良好的性能.