一种频繁核心项集的快速挖掘算法

传统的频繁核心项集挖掘需多次生成和反复扫描数据库,导致生成效率低下。为此,提出一种快速生成频繁核心项集算法FMEP。该算法使用Rymon枚举树作为搜索空间,并采用分而治之的策略选择特定的路径进行剪枝。利用频繁核心项集特有的反单调性质,可以快速地判断某一个候选项集是否为频繁核心项集,而无需和所有直接子集的析取支持度进行比较。通过上述方法,可以达到快速挖掘的目的。实验结果证明,该算法能够在挖掘出所有的频繁核心项集精简表示元素的同时,降低消耗时间,与MEP算法相比,在密集型数据集上的时间可缩短2倍以上,在稀疏型数据集上时间至少缩短30%。     

不确定性数据频繁项集挖掘算法

由于不确定性数据大量存在于传感器网络,移动计算,军事,电信等应用领域,传统的频繁项集挖掘算法难以适用到不确定性数据挖掘。为了解决这个问题,本文提出了一种快速有效的算法,该算法基于可能世界模型,只需要扫描一次数据库,且没有建树的过程,通过实验证明,我们提出的算法比UF_Growth算法效率更高。     

数据流中基于滑动窗口的最大频繁项集挖掘算法*

挖掘数据流中最大频繁项集是从数据流中获得信息的一种有效手段,是数据流挖掘研究的热点之一。结合数据流的特点,提出了一种新的基于滑动窗口的最大频繁项集挖掘算法。该算法用位图来存储数据流中流动的数据;采用直接覆盖的方法存储和更新数据流上的数据;在深度优先搜索挖掘最大频繁项集时,除采用经典的剪枝策略外,还提出了与父等价原理相对应的子等价剪枝策略;最后将挖掘结果存储在索引链表中以提高超集检测效率,进一步减少挖掘最大频繁项集的时间。理论分析和实验结果证实了该算法在时间和空间上的有效性。     

正负关联规则挖掘

针对传统的关联规则数据挖掘的支持度-置信度框架存在很多缺陷,同时研究正负关联规则时可能产生很多问题的情况,阐述了在正负关联规则挖掘中,如何利用允许用户指定多重最小支持度来反应数据库中项的性质和它们各种各样的频率,并通过设置相关度提高挖掘效率.实验结果显示该方法是有效的.     

一种基于权重的Apriori改进算法

针对Apriori算法在频繁项集挖掘过程中的缺陷,提出了一种基于权重的改进Apriori算法。该改进算法通过一次扫描事务数据库构造出二元事务矩阵,再用各事务和各项的平均权重替代权重支持度,最终挖掘出事务库中的频繁项集。通过实例分析和性能测试,证明了改进的Apriori算法避免了重复扫描事务数据库,使得算法在性能上有了明显优化,并且挖掘出了Apriori挖掘不到的、隐藏的、有价值的规则。     

一种改进的AprioriTid算法

针对经典Apriori算法多次扫描数据库产生I/O负载影响运行效率等问题,在对Apriori算法的原理及其相关改进算法研究的基础上,提出了一种基于压缩集的改进Apriori算法,即Apriori Tid_M算法.通过有效的裁剪方法减少无效项集的产生,减少候选项集的数量,从而提高算法的效率.仿真实验表明,在支持度相同但数据量不同,以及数据量相同但支持度不同这两种条件下,Apriori Tid_M算法在性能上和运算时间上都比Apriori算法有很大程度的改善.     

融合特征关联性的深度哈希图像表示方法

针对深度描述子无法提供图像特征之间关联性的问题进行了研究,提出了一种融合特征关联性的深度哈希图像表示方法,这种方法将深度描述子之间的关系融入到图像内容的描述中,用于提高图像检索性能。首先,通过预训练网络生成图像的特征映射,并在此基础上提取出深度特征描述子。然后,将深度特征描述子映射为深度视觉词,从而用于深度视觉词的频繁项集发现。接下来将离散值的深度视觉词图像表示和哈希值的频繁项集图像表示连接生成图像表示。最后,算法通过图像类内、类间的相似性关系构造优化,得到最优的阈值,用于将图像表示变为哈希值。实验中,将提出的方法与一些优秀的图像表示方法在holiday、Oxford和Paris图像集的图像检索任务中进行了性能比对,用于证明此方法的有效性。     

基于B-list的最大频繁项集挖掘算法

针对现有的最大频繁项集挖掘算法挖掘时间过长、内存消耗较大的问题,提出了一种基于构造链表B-list的最大频繁项集挖掘算法BMFI,该算法利用B-list数据结构来挖掘频繁项集并采用全序搜索树作为搜索空间,然后采用父等价剪枝技术来缩小搜索空间,最后再结合基于MFI-tree的投影策略实现超集检测来提高算法的效率。实验结果表明,BMFI算法在时间效率与空间效率方面均优于FPMAX算法与MFIN算法。该算法在稠密数据集与稀疏数据集中进行最大频繁项集挖掘时均有良好的效果。     

基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

基于磁盘存储1项集计数的增量FP＿GROWTH算法

随着数据集规模的不断增大,提高频繁项集的挖掘效率成为数据挖掘领域的研究重点。频繁项集的增量更新挖掘算法因其可以利用已挖掘发现的信息提高对新数据集的挖掘效率,成为重要的研究方向。但现有频繁项集增量更新算法大多基于APRIORI算法框架,性能提高有限。最近出现的建立在FP‐T REE等树形结构上的增量更新算法又往往存在树形结构调整困难、已发现频繁项集及树形结构保存效率较低等问题,算法性能有待进一步地提高。对此,通过分析增量挖掘过程中的关键信息,提出了一种基于磁盘存储1项集计数的增量FP＿GROWTH算法（IU＿FPGROWTH＿1COUNTING）。该算法无需保存临时树形结构及临时挖掘结果,可以在原数据集及支持度均发生变化时,减少FP＿GROWT H算法对数据集的扫描,提高频繁项集的挖掘效率。在生成以及真实数据集上进行了验证实验以及性能分析,结果表明IU＿FPGROWTH＿1COUNTING是一种有效的频繁项集增量更新挖掘算法。