基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

基于量值的频繁闭项集层次聚类算法

提出了基于量值的频繁闭项集层次聚类算法CFIHCQ,并将其应用于Web使用挖掘。该算法首先通过用户Web访问数据获取频繁闭项集;其次,以频繁闭项集对簇进行初始化,并以打分的方式将用户指入唯一簇;再次按照簇标记生成自上而下的簇树结构,并使用用户访问向量分裂子簇;最后,对簇树进行剪枝。实验表明,该算法能够很好的预测用户Web访问行为;在海量用户数据情况下,可满足实时挖掘的需求;并能以树结构展示挖掘结果。     

Web日志增量挖掘研究及应用

针对动态变化的Web日志数据库,研究一种基于概念格的从最大频繁项集产生所有页面强规则的Web日志增量挖掘方法,对Web日志挖掘模式库的更新具有重要意义。     

改进的FP-Growth算法及其分布式并行实现

针对传统FP-Growth算法在大规模数据环境下挖掘效率低下的问题,提出了一种改进的FP-Growth算法.该算法主要是通过基于频繁闭项集策略对完备模式树进行剪枝进而减小搜索空间规模,达到提高算法挖掘效率的目的 .并将改进后的FP-Growth算法的分治策略与分布式计算框架Hadoop的MapReduce编程模式有机结合,进一步提高了大数据环境下的挖掘效率.实验证明,基于Hadoop的改进FP-Growth算法的效率较传统FP-Growth算法有所提高.     

基于EMFP-树的频繁模式挖掘算法

针对MFP-tree挖掘算法的不足,给出了一个频繁模式挖掘算法EMFP。算法通过将事务数据库的每条事务支持度进行裁剪以及为EMFP-树的节点添加子树个数计数器等措施来提高EMFP-树的挖掘算法的效率。实验结果表明,EMFP-树的挖掘算法是一个高效的频繁模式挖掘算法,其性能优于MFP算法。     

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.     

一种基于权重的Apriori改进算法

针对Apriori算法在频繁项集挖掘过程中的缺陷,提出了一种基于权重的改进Apriori算法。该改进算法通过一次扫描事务数据库构造出二元事务矩阵,再用各事务和各项的平均权重替代权重支持度,最终挖掘出事务库中的频繁项集。通过实例分析和性能测试,证明了改进的Apriori算法避免了重复扫描事务数据库,使得算法在性能上有了明显优化,并且挖掘出了Apriori挖掘不到的、隐藏的、有价值的规则。     

一种基于灰关联的序列模式挖掘算法

序列模式挖掘算法多是利用了关联规则挖掘中的 Apriori特性 .利用灰关联方法对原始序列 进行净化处理 ,从而减少挖掘算法中的噪声数据 . 其理论依据在于 ,如果一个序列是频繁的 ,那么该序列的时间间隔也必然是频繁的. 利用了灰关联分析方法找出两个项之间的频繁时间间隔 ,再利用该间隔扫描事务序列数据库 ,从而最终找出频繁序列 .     

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。     

基于模式分解树的增量挖掘

数据挖掘具有广泛的应用,频繁模式发现是关联规则挖掘问题的重要组成部分。频繁模式的增量挖掘是一个挑战性的任务,已有的几种基于Apriori思想的方法,具有代价太高的弱点。本文提出了一个基于模式分解树,不需要扫描原数据库的增量挖掘算法。通过合理地组织候选项索引,可以取得较高的效率。     

基于加权频繁项集的文本分类规则挖掘

针对特征向量分量的权重和文本大小对分类规则产生的影响,提出一种可以提高关联文本分类性能的文本分类规则挖掘方法,提出了加权频繁项集的概念和相应的加权频繁项集挖掘算法,在分类规则中突出特征向量权重大的向量分量;提出一种特征向量预处理方法,消除文本大小对挖掘分类规则的影响.实验表明,解决上述两个问题将可以很好的提高文本分类的性能.     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤,针对关联规则挖掘中最小支持度发生变化的增量式更新问题,提出了高效发现最大频繁项目集的更新算法.该算法在FP树的基础上增加了记录各项目支持数的表,在头表中增加了域,从而减少了访问事务数据库和FP树的时间,提高了发现最大频繁项目集的效率.     

基于FP树的最大频繁项目集增量式更新算法

发现最大频繁项目集是关联规则挖掘的重要步骤，针对关联规则挖掘中最小支持度发生变化的增量式更新问题，提出了高效发现最大频繁项目集的更新算法．该算法在FP树的基础上增加了记录各项目支持数的表，在头表中增加了域，从而减少了访问事务数据库和FP树的时间，提高了发现最大频繁项目集的效率．     

一种关联规则挖掘筛选算法设计

介绍了概念格与关联规则挖掘的内容,从减少了候选集的数量和扫描数据库的次数两方面讨论了应用概念格的优点,提出用封闭比例这样一个量化的值来估计数据集中属性间的关联,并依据封闭比例选择适当类型的挖掘算法的方法.     

基于最小加权支持的加权序列模式挖掘算法

针对序列模式挖掘进行探索,通过对项目加权体现项目的重要性,进而实现序列的加权;加权后,频繁序列的子序列不一定频繁,因此提出序列的最小加权支持概念,并由此提出了加权序列模式挖掘算法MWSP。仿真实验结果表明,与同类算法WSpan比较,MWSP算法更能体现序列的重要性。     

增加交易时序列模式的维护

挖掘序列模式是数据挖掘的主要内容之一，目前已有许多序列模式模型和相应的挖掘算法。本文讨论了在交易数据库中增加新的交易时，发现序列模式的维护问题，并提出了一种有效的维护算法－ 增量更新算法。     

基于事务相似矩阵的关联规则挖掘算法

通过对Apriori算法挖掘过程的深入分析,提出一种改进的关联规则挖掘算法——基于事务相似矩阵的关联规则挖掘算法（ARBSM）：在压缩事务布尔矩阵的基础上构建一个事务相似矩阵,直接查找高阶肛项频繁集,有效解决了Apriori算法逐层搜索的迭代产生频繁项集的瓶颈问题。测试结果表明,ARBSM算法可以高效地挖掘潜在的强关联规则。     

多级空间尺度下的轨迹知识发现

为了挖掘轨迹数据库在不同空间尺度上隐含的移动对象分布模式与运动规律,将空间语义信息融入轨迹的表达,运用空间层次关系模型结合多层关联规则挖掘方法,提出了一种基于语义位置矩阵的多尺度轨迹表达和演化方法,在此基础上设计了一种发现轨迹频繁模式的算法.试验结果表明,该方法能发现不同尺度的轨迹知识,并具有较高效率.     

垂直分布下的隐私保护频繁闭合项集挖掘算法

针对垂直分布下的隐私保护关联规则挖掘算法效率低、安全性不高的问题,提出一种隐私保护频繁闭合项集的挖掘算法。算法利用挖掘频繁闭合项集代替频繁项集,IT-Tree作为搜索空间,Diffsets作为压缩结构,采用基于RSA可交换加密算法的隐私保护集合差集协议。实验结果表明,算法具有较好的隐私性、准确性、高效性。