一种针对大型事务数据库的关联规则挖掘算法

为进一步解决对大型数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁问题,给出一种改进的关联规则挖掘算法(ARMAC).该算法引入有向无环图和tidlist结构用以提高频繁项目集的计算效率,并将数据库划分为内存可以满足要求的若干部分,解决了对大型数据库挖掘时磁盘操作频繁的问题,从而有效地适用于大型数据库的关联规则挖掘.该算法吸取连续关联规则挖掘(CARMA)算法的优势,只需扫描两次数据库便可完成挖掘过程.实验结果表明:该算法在大型事务数据库中具有更高的执行效率.     

通信网告警加权关联规则挖掘算法的研究

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,加权算法MINWAL (O)则需要多次扫描数据库,使得在通信网环境下挖掘关联规则的难度非常大。该文提出了一种高效的基于加权频繁模式树的通信网告警关联规则挖掘算法,算法性能测试表明,该算法与已有的加权关联规则挖掘算法相比较,节约了大量的存储空间,提高了算法的挖掘速度,对通信网的故障诊断和故障定位有着积极的意义。     

基于频繁模式树的正负项目集挖掘

传统的基于支持度—置信度框架的关联规则挖掘方法可能会产生大量不相关的、甚至是误导的关联规则,同时也不能区分正负关联规则。在充分考虑用户感兴趣模式的基础上,采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出了一种基于背景知识的包含正负项目集的频繁模式树,给出了针对正负项目集的约束频繁模式树的构造算法NCFP-Construct,从而提高了关联规则挖掘的效率和针对性,实验结果显示该方法是有效的。     

一种多重最小支持度关联规则挖掘算法

针对单一最小支持度挖掘关联规则不能反应不同数据项出现频度与性质的问题,提出了一个基于频繁模式树的多重支持度关联规则挖掘算法MSDMFIA(Multiple minimum Supports for Discover Maximum Fre-quent Item sets Algorithm),根据不同数据项的特点定义多重支持度,通过挖掘数据库中的最大频繁项目集,计算最大频繁候选项目集在数据库中的支持度来发现关联规则.该算法可以解决关联规则挖掘中经常出现的稀少数据项问题,并解决了传统的关联规则挖掘算法中的生成频繁候选集和多次扫描数据库的性能瓶颈.实验结果表明,本文提出的算法在功能和性能方面均优于已有算法.     

独立概率完全加权关联规则的并行挖掘算法

关联规则挖掘主要用于发现隐藏在数据中的知识。加权关联规则挖掘能更有效地挖掘出项目重要性不同的规则。针对人工赋权的方法存在一定的主观随意性,没有充分利用数据本身特征且串行算法无法处理大数据集的问题。提出了独立概率完全加权关联规则的并行挖掘算法,该算法以项在当前数据集中出现概率为依据进行完全加权模型构建,以挖掘出更多用户所期待的关联规则。采用前缀划分、位图存储等技术分别解决加权频繁项集筛选、候选加权频繁项集生成所造成时间代价高的问题。引入分布式并行计算思想,并在Spark框架下编程实现,使算法可以在大数据环境下对加权关联规则进行高效挖掘。利用数值实例对该模型和算法进行了验证,结果表明此算法可在保证算法时间效率优越的同时获得更多隐藏信息。     

一基于串与运算的关联规则挖掘算法

提高频繁项集挖掘算法的效率一直是数据挖掘领域中关联规则挖掘研究的一个重点.针对数据挖掘的现状及关联规则算法的瓶颈问题,提出一种基于串与运算的关联规则挖掘算法,对该算法进行了阐述.最后对该算法的特点进行了总结并对关联规则挖掘的未来研究方向进行了展望.     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤,针对关联规则挖掘中最小支持度发生变化的增量式更新问题,提出了高效发现最大频繁项目集的更新算法.该算法在FP树的基础上增加了记录各项目支持数的表,在头表中增加了域,从而减少了访问事务数据库和FP树的时间,提高了发现最大频繁项目集的效率.     

基于FP-Tree的敏感性关联规则隐藏的研究

敏感性关联规则的隐藏是最大程度地保持原始数据集的其他特征,保证敏感规则不被挖掘出来.针对已有的基于对原始数据集中事务修改的方法产生大量I/O操作的问题,提出了基于频繁模式树(FP-tree)的敏感性关联规则隐藏的方法.该方法首先利用FP-tree存储了与事务数据库相关的全部信息,减少了产生和测试候选集耗费的大量时间;再利用改进的频繁模式树(IFP-tree)是单向的,快速挖掘出最大频繁项目集,确定敏感性关联规则;然后删除敏感关联规则对应的频繁项目集,更新IFP-tree项目集节点和相应的项目头表的计数,对更新的IFP-tree反向挖掘生成新的不包含敏感关联规则的事务数据库.实例和理论分析表明,该方法是正确和高效的.     

一种基于串与运算的关联规则挖掘算法

提高频繁项集挖掘算法的效率一直是数据挖掘领域中关联规则挖掘研究的一个重点。针对数据挖掘的现状及关联规则算法的瓶颈问题，提出一种基于串与运算的关联规则挖掘算法，对该算法进行了阐述。最后对该算法的特点进行了总结并对关联规则挖掘的未来研究方向进行了展望。     

基于数据挖掘的IDS日志算法的改进

提出了一个基于最小完美哈希函数的关联规则的数据挖掘算法。基于Apriori的算法,在综合了传统哈希剪枝技术的同时,利用最小完美哈希函数的优点,保证了静态数据库关联规则挖掘,可以对关联规则的哈希结构数据进行动态的调整。该算法提高了挖掘效率,通过抑制哈希地址冲突提高了算法的稳定性和可用性。     

关联规则挖掘Apriori算法的研究与改进

关联规则挖掘是数据挖掘领域中的重要研究方向，该文在分析关联规则挖掘Apriori算法原理和性能的基础上，指出了该算法存在着两点不足：扫描事务数据库的次数和连接成高维候选项目集时的比较次数太多。并提出了一种效率更高的S-Apriofi算法，该算法通过采用新的数据结构和原理，克服了传统Apriori算法的缺点，从而大大提高了运算效率。     

Apriori算法的改进

针对Apriori算法要多次扫描事务数据库以及生成大量候选集缺陷,在候选集C_1中增加事务标识符列表Tid_list实现只扫描一遍事务数据库,利用频繁项目集的性质来减少生成候选集的数量,提高了算法效率.     

正相关频繁项集的挖掘算法

由频繁项集产生的关联规则往往不能保证规则前、后件中的项是正相关的,因此可能产生无意义的关联规则;当这些关联规则用于分类时,会产生大量无用分类规则,增加了时间开销.因此,基于数学期望提出了正相关的频繁项集的分类算法.该算法在挖掘正相关频繁项集时,利用置信度进行规则选取,生成正相关关联规则组成的分类器对数据集进行分类.实验表明,这种分类算法可以大幅度减少所产生的频繁项集数量,分类准确率达到C4.5和CMAR的水平,且显著减少了算法的时间.     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤，针对关联规则挖掘中最小支持度发生变化的增量式更新问题，提出了高效发现最大频繁项目集的更新算法．该算法在FP树的基础上增加了记录各项目支持数的表，在头表中增加了域，从而减少了访问事务数据库和FP树的时间，提高了发现最大频繁项目集的效率．     

挖掘关联规则Apriori算法的一种改进

本研究在对Apriori算法分析的基础上,提出了改进的Apriori算法。改进后的算法采用矩阵表示数据库,减少了扫描事物数据库的次数;利用向量运算来实现频繁项集的计数,同时及时地去掉不必要的数据,减少了数据运算,从而提高了算法的运行效率。     

海量数据上挖掘关联规则的并行算法

针对目前关联规则挖掘算法中数据库规模很大时算法执行时间太长的问题。指出了并行计算是解决该问题的一个有效方法。利用新提出的可以忽略仅仅在少于1／4的结点机上的局部频繁项集,给出了一种新的并行随机抽样方法,并利用机群并行计算机的自治能力和I／O高度并行的特点,提高了抽样算法对海量数据的处理能力和效率。理论分析和实验数据显示,该算法的加速比接近于处理机的个数p,通信复杂性为处理机的个数p的对数,具有良好的扩展性和海量处理能力,且精确度较高。     

垂直分布下的隐私保护频繁闭合项集挖掘算法

针对垂直分布下的隐私保护关联规则挖掘算法效率低、安全性不高的问题,提出一种隐私保护频繁闭合项集的挖掘算法。算法利用挖掘频繁闭合项集代替频繁项集,IT-Tree作为搜索空间,Diffsets作为压缩结构,采用基于RSA可交换加密算法的隐私保护集合差集协议。实验结果表明,算法具有较好的隐私性、准确性、高效性。     

一种新的Apriori改进算法

Apriori算法是挖掘布尔关联规则频繁项集的最有影响的数据挖掘算法之一,但由于数据挖掘本身决定其面临的是海量数据,因此在许多情况下会产生大量候选项集,从而严重影响挖掘的效率。本文提出一种简单有效的Apriori改进算法。