基于遗传算法的长频繁项集挖掘方法

在数据挖掘中,关联规则的挖掘是一项核心内容,且规则的生成主要集中在如何寻找频繁项集上.一般情况下,寻找频繁项集是困难的,且项数越多越难,而最长频繁项集隐含了几乎所有的频繁集,因此,寻找频繁项集就转化为寻找最长频繁项集.文中利用遗传算法的全局最优和海量数据处理性来搜索最长频繁项集,该法只需扫描一次数据库,大大节约了时间.实验也说明了该算法的可行性.     

基于等价类的关联规则挖掘矩阵算法

关联规则挖掘算法中的Apriori算法利用查找频繁项集来发现数据集中的关联规则,算法思路简单容易实现;但在由k-1次频繁项集生成k次频繁项集时需反复查找数据库,效率较低,在寻找高次频繁项集时其低效性更加明显;矩阵算法是通过直接查找高次频繁项集,避免了反复查找数据库,但要存储大量的非频繁项集,且查找低次频繁项集速度较慢。文中提出的矩阵等价类算法,利用等价关系进一步降低矩阵算法的时间空间复杂度,然后通过项目相似度直接求取所有最大频繁项集。实验结果证明了算法的可行性、高效性。     

基于等价类的关联规则挖掘矩阵算法

关联规则挖掘算法中的Aprori算法利用查找频繁项集来发现数据集中的关联规则,算法思路简单容易实现;但在由k-1次频繁项集生成k次频繁项集时需反复查找数据库,效率较低,在寻找高次频繁项集时其低效性更加明显;矩阵算法是通过直接查找高次频繁项集,避免了反复查找数据库,但要存储大量的非频繁项集,且查找低次频繁项集速度较慢.文中提出的矩阵等价类算法,利用等价关系进一步降低矩阵算法的时间空间复杂度,然后通过项目相似度直接求取所有最大频繁项集.实验结果证明了算法的可行性、高效性.     

关联规则挖掘的矩阵算法

关联挖掘作法中的Apriori算法提供了一种根据查找频繁项集来发现数据集中的关联规则的方法,这种算法思路简单易于实现;但在由低次频繁项集生成高次频繁项集时需反复查找数据库,在效率上存在一定的欠缺,在寻找高次频繁项集时尤为明显,文章提出了一种新的关联规则挖掘算法：矩阵算法。同Apriori算法相比较,该算法能直接查找高次频繁项集,可以有效地屏蔽Aptiori算法性能瓶颈试验结果表明,当频繁项级较高时该算法比Apriori具有更高的执行效率和性能,并具有良好的可行性。     

基于圈和树的频繁项集挖掘算法

Apriori算法是最经典的关联规则提取算法,但其存在产生庞大的候选频繁项集的缺点。该文针对Apriori算法这方面的不足,首先提出了所有频繁项集在其频繁2-项集的无向图中一定是一个圈的论点,并依该论点为基础,提出了一种基于树的快速寻找候选频繁项集的新方法。通过实例和实验结果表明,该方法不仅可以大大减少候选项集Ck的数目,而且有效地优化了算法的空间复杂度和时间复杂度。     

基于分区分类法快速更新频繁项集

目前已提出了许多频繁项集更新算法,但是它们往往需要至少扫描一次原数据库,且会丢失一些重要规则。为此,文章提出了一种新的快速更新频繁项集算法CUFIA(Classifying Update Frequent Itemsets Algorithm),该算法通过对新增事务数据分区后快速逐一扫描,获得频繁项集,并将它们归入3个不同的类别,从而不需要扫描原数据库,便可有效地挖掘出其中的频繁项集,且不丢失重要规则。研究表明,该算法具有很好的可测量性。     

改进的频繁项集挖掘算法及其应用研究

频繁模式增长(FP-growth)算法是挖掘频繁项集的经典算法,解决了挖掘频繁项集时需多次扫描数据库且产生大量候选项集的问题,但大多数基于FP-growth思想的算法在生成频繁项集时存在过程复杂、占用空间多的问题。为此,提出一种基于前序完全构造链表(PF-List)的频繁项集挖掘算法(PFLFIM)。该算法使用PF-List表示项集,通过简单比较和连接两个PF-List挖掘频繁项集,避免复杂的连接操作;使用包含索引、提前停止交集和父子等价策略对搜索空间进行优化,减少空间占用。通过实验验证,相比于FIN算法和negFIN算法,该算法在运行时间和内存占用方面具有更好的性能。将该算法应用于高校人力资源管理系统中进行关联规则挖掘,寻找影响人才发展的因素,为高校人才引进和选拔提供决策支持。     

挖掘正相关的频繁项集

在由频繁项集产生关联规则时,利用提升度判断规则前、后件之间的正相关性可以避免产生一些无意义的关联。但是,这并不能保证规则前、后件中的项是正相关的,也不能减少挖掘频繁项集的时间开销。当规则的前件或后件存在负相关的项时,仍然可能产生无意义的关联规则。针对以上问题,基于数学期望,提出了正相关的频繁项集的概念,并改进了一种直接在FP-树中挖掘频繁项集的算法,挖掘出正相关的频繁项集,从而有效地解决以上问题。实验表明,该算法可以大幅度地减少所产生的频繁项集数量,显著地降低了挖掘频繁项集的时间开销。对于大型数据集,尤其是稠密型数据集,该算法具有良好的性能。     

一种交互式关联规则和频繁项集的可视化方法

关联规则中频繁项集数量庞大的问题是关联规则可视化要解决的一个主要问题,本文介绍了一种基于平行坐标系和项目分类树的频繁项集和关联规则可视化方法。首先,在频繁项集中设置显示边界,利用频繁项集的闭包特性,实现对大的频繁项集的剪枝;然后,结合overview+detail的视点控制技术,通过交互,由用户选择感兴趣的某一节点上的频繁项集,在de-tail窗口中详细显示,从而实现人机交互的频繁项集和关联规则可视化。     

基于逆向搜索的关联规则更新算法

对现有关联规则更新算法中的增量式更新算法进行分析,发现在决策者优先关注最大频繁项目集的情况下,该算法不能以较少的数据库遍历次数快速获取最大频繁项集。针对该算法的不足,提出一种基于逆向搜索的方式进行关联规则更新的算法。该算法生成新增项集的所有频繁项集,通过将其中最大频繁项集跟原项集中最大频繁项集进行拼接、修剪,从中获得更新后的最大频繁项集。实例结果表明,该算法既降低了关联规则更新过程中对数据库的遍历次数,又实现了优先获取最大频繁项目集。     

利用分布式数据库实现高效查找频繁项集

数据挖掘的目的是为了发现有效的关联规则从而找到不易发现的规律从而对企业的决策提供帮助,而查找频繁项集是发现有效关联规则的基础,其基础算法是Apriori算法。分布式数据库是目前较为流行的一种的数据库开发模式,它通过将一套完整的数据库系统分别部署在几台电脑上可以实现几台电脑并行处理数据从而提高数据库的效率。本文通过分析一个查找频繁项集的例子提出了一种将改进的频繁项集查找算法与分布式数据库相结合的方法从而实现频繁项集的高效查找。     

关联规则的快速提取算法

针对基于频繁项集的关联规则挖掘算法效率低,需要多次扫描数据库且生成冗余候选项集问题,该文利用频繁项集的Aprior性质和概念格的基本思想提出一种关联规则提取算法,利用极大频繁项集来进行规则提取,去除了多数冗余的候选项集,提高了提取效率。     

基于间接关联规则的数据挖掘算法研究

简单数据集可以通过关联规则得到在数据间的相互关系;相当多的情况下,由于不能从关联规则得到隐藏在数据间的相互关系,需要按间接关联规则分析出数据项集在交易集合中出现的频度,挖掘隐藏在数据间的相互关系。文中通过使用概念分层和基于近邻的方法,探讨利用FP树产生的频繁项集,对候选关联检验其是否满足项对支持度条件,并利用这个频繁项集挖掘事务的间接关联,找到挖掘事务的间接关联的内在规律,构造出不依赖中介条件的间接关联挖掘算法。     

一种矩阵和排序索引关联规则数据挖掘算法

在关联规则挖掘算法中,Apriori由于多次对数据库进行扫描会产生较多的候选集,在多次扫描数据库的情况下容易产生I/O开销问题,并引起数据挖掘效率低.矩阵关联规则在数据挖掘过程中没有删除非频繁项集,致使存在较多的无效扫描,对于挖掘效率的提高也不明显.该文提出了一种改进的矩阵和排序索引关联规则数据挖掘算法,首先,删除不需...     

面向数据删除的关联规则更新算法

针对数据库中删除数据时如何有效地更新关联规则的问题,提出了UARAD算法。该算法可以有效利用知识数据库中保留的最小非高频项目集来产生新的候选项目集,避免了候选项目集的数量太庞大的问题。     

基于超结构的分布式系统的关联规则挖掘算法

提出了基于超结构的分布式系统的关联规则挖掘的分布式算法 (HSDM) ,该算法与现有的相关分布式挖掘算法相比 ,具有明显的优点 .该算法不需要产生候选项集 ,只需两次扫描各站点局部数据库 ,挖掘速度快 .该算法还采用自底向上的挖掘方式 ,能够对其超结构进行有效剪枝 ,从而大大减少了各站点之间的数据交换 ,提高了算法的效率     

基于最大值约束的模糊关联规则挖掘

数据挖掘是从数据库中发现潜在有用知识或者感兴趣模式的过程。在数据挖掘领域中主要集中于单一支持度下的关联规则挖掘,在事务数据库中发现项目之间的关联性,而在实际应用中,项目可以有不同的最小支持度,不同的项目可能具有不同的标准去判断其重要性,因此提出一个在最大值支持度约束下,发现有用的模糊关联规则挖掘算法,在该约束下,利用逐层搜索的迭代方法发现频繁项目集,通过实例证明了该挖掘算法是易于理解和有意义的,具有很好的效率。     

大数据下关联规则算法的改进及应用

大数据时代对数据挖掘的技术和应用提出了更高的要求,关联规则算法作为数据挖掘的一个主要方向,能够在大量数据中发现频繁项集和关联知识。Apriori算法是关联规则的经典算法,本文对其在大数据下应用的缺点提出改进的方法,并结合用户收视行为的海量数据对改进后的算法进行应用,提高了数据挖掘的效率并得到较好的挖掘结果,同时为后续的应用提出了新的课题。     

基于项集优化重组的频繁项集发现算法

发现频繁项集是关联规则挖掘的主要途径,也是关联规则挖掘算法研究的重点。关联规则挖掘的经典Apriori算法及其改进算法大致可以归为基于SQL和基于内存两类。为了提高挖掘效率,在仔细分析了基于内存算法存在效率瓶颈的基础上,提出了一种发现频繁项集的改进算法。该算法使用了一种快速产生和验证候选项集的方法,提高了生成项目集的速度。实验结果显示该算法能有效提高挖掘效率。     

基于本体的XML关联规则挖掘方法

针对传统的数据挖掘技术不能直接应用到半结构化的XML数据挖掘问题,给出了基于本体的XML关联规则挖掘方法。该方法引入领域本体和哈希技术来改进产生频繁项目集的操作和生成关联规则的操作,并且使用哈希表存储相关的领域本体,从而将数据库操作转化为对XML内存树的操作,通过理论分析和实验验证了方法的挖掘效果,论述了该方法的优点。