基于关联图的关联规则挖掘算法研究

在挖掘关联规则的过程中 ,一个关键的步骤是产生频繁项目集 .本文给出一种基于关联图的关联规则挖掘算法 ,并将它与性能比较好的关联规则挖掘算法 DHP进行了比较 ,结果表明 ,本文的算法优于 DHP算法     

IDS日志数据挖掘的改进算法

提出了一个基于最小完美哈希函数的关联规则的挖掘算法。基于Apriori的算法,在综合了传统哈希剪枝技术的同时,利用最小完美哈希函数的优点,保证了静态数据库关联规则挖掘,可以对关联规则的哈希结构数据进行动态的调整。该算法提高了挖掘效率,通过抑制哈希地址冲突提高了算法的稳定性和可用性。     

动车组运维效率关联规则挖掘优化算法

随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的特点,设计一种基于近似最小完美Hash函数的AMPHP(approximate minimum perfect hashing and pruning)算法,相较于传统的直接Hash和修剪(direct hashing and pruning, DHP)算法,它可以过滤掉所有的非频繁项集,无需额外的数据库扫描.为了突破单机算法的性能限制,借鉴SON算法思想对AMPHP算法进行并行化改进,提出AMPHP-SON算法,进一步提高算法性能.使用实际的动车组牵引电机运维数据进行测试分析,实验结果表明,AMPHP-SON算法具有很好的时间性能,且挖掘出的规则可以有效地指导动车组修程修制优化,从而达到提高动车组运维效率的目的.     

基于Hash表的关联规则挖掘算法的改进

经典的Apriori算法在大项目集的挖掘过程中因为重复搜索导致效率低下。提出一种改进的Hash表结构应用于DHP算法中的项目集存放,定义新的Hash函数确定项目集的存放地址,并基于新的Hash表结构,以并行挖掘的方式优化关联规则算法的剪枝过程。实验结果表明,与Apriori算法相比,文中的方法可以更好地节省存储空间,提高挖掘效率。     

基于Hash表的关联规则挖掘算法的改进

经典的Apriori算法在大项目集的挖掘过程中因为重复搜索导致效率低下。提出一种改进的Hash表结构应用于DHP算法中的项目集存放,定义新的Hash函数确定项目集的存放地址,并基于新的Hash表结构,以并行挖掘的方式优化关联规则算法的剪枝过程。实验结果表明,与Apriori算法相比,文中的方法可以更好地节省存储空间,提高挖掘效率。     

一种基于无或言规则集的改进的关联规则挖掘算法

提出了一个基于无或言规则集的改进的关联规则算法——IHPD,无或言规则集（disjunction-frce sets)是一种精简集表示。这一算法总结了HLinEx,IHP和DHP算法的优点,极大地改善了算法性能,并且使算法的使用不仅仅局限于长类型的频繁项目集挖掘,实验结果表明IHPD算法在性能上比HLinEx更高效。     

基于DM中关联规则算法的思考

关联规则是数据挖掘中研究的一个重要课题,在对关联规则算法模型中的Apriori算法分析后,提出了基于哈希表的算法;阐述了利用哈希技术可以有效地生成最大项目集,尤其是最大二维项目集的算法过程。通过使用该技术,生成的最大项目集数量大大减少,从而提高整个过程中的执行效率。     

基于MapReduce的DHP算法并行化研究

针对DHP(direct hashing and pruning)算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题,对DHP算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型,设计了一种并行DHP算法,给出了算法的总体流程和Map函数、Reduce函数的算法描述。与DHP算法相比,并行算法利用了Hadoop集群强大的计算能力,提高了从大数据集中挖掘关联规则的效率。通过实例分析了并行DHP算法的执行过程,在多个数据集上进行了实验。实验结果表明:并行DHP算法对大数据具有较好的加速比和可扩展性。     

一种改进的并行关联规则挖掘算法

在FDM算法的基础上,提出了一种改进的并行关联规则挖掘算法FDM_DT,此算法利用DHP算法中的Hash表技术改进了2阶侯选项集的生成过程,并采用Apriori Tid算法中的Tid表技术对事务数据库中的事务数进行有效消减。因此,此算法在处理大规模数据时有较高的综合效率。     

分布式环境下挖掘约束性关联规则的算法研究

关联规则是数据挖掘的重要研究内容。基于约束的关联规则挖掘可以促进交互式探查与分析。该文主要研究了分布式环境中挖掘约束性关联规则的问题。在并行关联规则挖掘算法CD和约束性关联规则挖掘算法Direct的基础上,提出了一种新的分布式挖掘约束性关联规则算法DMA_IC。该算法对于解决分布式挖掘约束性关联规则的问题是十分有效的。同时,文章还对DMA_IC算法的通信性能进行了讨论。     

一种基于散列技术和事务压缩的关联规则挖掘算法

文章以DHP算法为基础，在产生频繁项集时考虑了一种可以直接删除非频繁项集的散列函数，并压缩了文中提出的几种冗余事务，提出TFDHP算法，其性能优于传统的Apriori算法和DHP算法。     

大数据下关联规则算法的改进及应用

大数据时代对数据挖掘的技术和应用提出了更高的要求,关联规则算法作为数据挖掘的一个主要方向,能够在大量数据中发现频繁项集和关联知识。Apriori算法是关联规则的经典算法,本文对其在大数据下应用的缺点提出改进的方法,并结合用户收视行为的海量数据对改进后的算法进行应用,提高了数据挖掘的效率并得到较好的挖掘结果,同时为后续的应用提出了新的课题。     

基于Hadoop平台的并行DHP数据分析方法

由候选项集C₂生成频繁2-项集L₂是关联规则Apriori算法的一个瓶颈。直接哈希修剪（DHP）算法利用一个生成的Hash表H₂删减C₂中无用的候选项集,以此提高L₂的生成效率。但传统DHP算法是一个串行算法,不能有效处理较大规模数据。针对这一问题,提出DHP的并行化算法——H_DHP。首先,对DHP算法并行化策略的可行性进行了理论分析与证明;其次,基于Hadoop平台,把Hash表H₂的生成以及频繁项集L₁、L₃~L_k的生成方法进行了并行实现,并借助Hbase数据库生成关联规则。仿真实验结果表明：与传统DHP算法相比,H_DHP算法在数据的处理时间效率、处理数据集的规模大小,以及加速比和可扩展性等方面都有较好的性能。     

基于兴趣度的关联规则挖掘

关联规则挖掘是数据挖掘领域中的重要研究内容之一。然而,传统的基于支持度-可信度框架的挖掘方法可能会产生大量不相关、甚至是误导的关联规则。针对现有关联规则挖掘的评价标准存在的问题,提出在评价标准中增加兴趣度,并给出了兴趣度的定义和基于兴趣度的关联规则挖掘算法。利用兴趣度将关联规则分为正关联规则和负关联规则,从而可以用算法挖掘带有负项的关联规则。实验结果分析表明,在传统挖掘方法的基础上引入兴趣度,可以有效地减少正关联规则的规模,产生有意义的负关联规则。     

基于兴趣度的关联规则挖掘

关联规则挖掘是数据挖掘领域中的重要研究内容之一。然而,传统的基于支持度-可信度框架的挖掘方法可能会产生大量不相关、甚至是误导的关联规则。针对现有关联规则挖掘的评价标准存在的问题,提出在评价标准中增加兴趣度,并给出了兴趣度的定义和基于兴趣度的关联规则挖掘算法。利用兴趣度将关联规则分为正关联规则和负关联规则,从而可以用算法挖掘带有负项的关联规则。实验结果分析表明,在传统挖掘方法的基础上引入兴趣度,可以有效地减少正关联规则的规模,产生有意义的负关联规则。     

基于隐私保护的关联规则挖掘算法

基于隐私保护的关联规则挖掘在挖掘项集之间的相关联系的同时,可以保护数据提供者的隐私。基于数据变换法,提出使用高效数据结构即倒排文件的隐私保护关联规则挖掘算法IFB-PPARM。针对特定的敏感规则以及给定的最小支持度和置信度,得到所需要修改的敏感事务并对其做适当的处理。算法只需对事务数据库做一次扫描,并且所有对事务的处理操作都在事务数据库映射成的倒排文件中进行。分析表明,该算法具有较好的隐私性和高效性。     

基于多维标度的快速挖掘关联规则算法

挖掘关联规则是数据挖掘研究的一个重要方面．文章在分析其基本模型和研究多维标度基本性质的基础上,提出一个新的基于多维标度的挖掘关联规则算法．该算法以数据项间的关联度量为依据,将各个数据项投影到多维空间上,进行降维处理,最后将数据项集间的关联关系以可视结果提供给用户.