一种基于多核微机的闭频繁项集挖掘算法

随着数据量的增长,如何快速有效发现频繁项集已成为挖掘关联规则的核心问题,而并行计算和闭频繁项集分别是一种处理大量数据直接有效的方法和频繁项集的无失真信息最小集合。分析一些经典闭频繁项集算法和并行关联规则算法及其不足,提出一种基于多核微机的并行闭频繁项集挖掘算法,提高了闭频繁项集挖掘的效率。     

基于Spark框架的FP-Growth大数据频繁项集挖掘算法

针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标识符垂直排列,以此解决扫描整个数据集的缺陷。然后,通过FP-Growth算法构建频繁模式树,并生成频繁1-项集。接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸。最后,通过迭代过程来生成频繁 -项集。在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性。     

基于Spark的并行频繁项集挖掘算法

关联规则挖掘是数据挖掘领域的重要研究方向之一。频繁项集的挖掘是关联规则挖掘的第一步,也是最重要的步骤。FP-Growth(Frequent Pattern-Growth)算法因其挖掘效率以及空间复杂度方面的优势被广泛应用于频繁项集挖掘任务中。面对海量数据,FP-Growth算法挖掘效率变得极低甚至失效。在Hadoop大数据平台上实现的基于MapReduce框架的并行FP-Growth算法——PFP算法解决在处理大规模数据时传统算法失效的问题,但是由于其将每次执行之后的中间结果输出到磁盘,降低算法执行效率。为提高并行FP-Growth算法执行效率,提出一种基于Spark的SPFPG算法。该算法运用负载均衡思想对分组策略进行改进,综合考虑分区计算量和FP-Tree规模两个因素,保证每个组之间负载总和近似相等。在Spark上实现FP-Growth算法——SFPG算法的基础上,实现优化后的SPFPG算法。实验结果表明,SPFPG算法相比SFPG算法挖掘效率更高,且算法具有良好的扩展性。     

基于片上多核的频繁项集并行挖掘算法

关联规则挖掘中最主要的工作是如何高效地挖掘频繁项集。目前在单机平台上,由于计算量大等原因,大数据集上的关联规则挖掘很难得到理想结果。在分析现有频繁项集挖掘算法的基础上,结合Eclat和dEclat挖掘算法优点,针对大数据集和片上多核共享内存计算环境,提出一种高效的并行频繁项集挖掘算法PEclat,算法实现了任务级并行挖掘频繁项集,并在大数据集上进行了多项测试。实验结果表明,无论数据稠密程度如何,该算法均能取得较好的性能。     

Hadoop下负载均衡的频繁项集挖掘算法研究

频繁项集挖掘FIM(Frequent Itemsets Mining)是关联规则挖掘算法的重要组成部分。而经典Apriori和FP-Growth算法在海量数据处理时面临内存占用、计算性能等方面的瓶颈。基于Hadoop云计算平台,提出适用大数据处理的频繁项集挖掘HBFP(High Balanced parallel FP-growth)算法,设计后缀模式转换的数据分割及均衡任务分组方案,使计算节点本地拥有计算所依赖的数据,实现不同节点相互独立的并行数据挖掘方法,并保证算法全局的负载均衡特性。实验数据表明,HBFP算法能均匀地将计算量分散至不同计算节点,并行且相互独立地进行FP-Growth挖掘过程,算法效率提高了约12%,算法全局稳定性及效率取得提升。     

数据流最大频繁项挖掘方法

提出基于事务矩阵挖掘最大频繁项集的方法AFMI,该方法采取迭代精简事务矩阵的方式求解所有事务中的最大频繁项集,从精简后的事务向量交集的子集中搜索最大频繁项集,并运用逻辑运算和剪枝方法提高挖掘效率。基于AFMI方法,研究挖掘滑动窗口数据流最大频繁项集算法AFMI+,该算法可使用户周期性地挖掘当前窗口中的最大频繁项集。实验结果表明,AFMI和AFMI+算法均具有较好的性能。     

基于Web日志挖掘的个性化服务站点

介绍个性化站点的概念，并对Web日志挖掘系统体系结构进行分析。其后将关联规则挖掘技术应用到日志事务会话中，在对日志数据的特性分析的基础上提出类Apriori挖掘算法。对类Apriori挖掘算法得到的频繁项集如何有效提取关联规则提出了最有效的方法。在实际应用中探讨了如何从多个匹配的关联规则中选择合适的匹配规则。     

基于FP-Growth的智能家居用户时序关联操控习惯挖掘方法

针对传统关联规则挖掘算法无法高效且准确地挖掘出隐含于用户操作记录中的时序关联操控习惯,提出一种基于FP-Growth的智能家居用户时序关联操控习惯挖掘算法。该算法分为三个阶段,分别为基于用户操控动作森林、改进的FP-Growth算法和一种时间约束规则进行事务集的生成、时序频繁项集的生成以及最终时序关联操控习惯的生成。最后,使用真实用户操控记录进行对比实验,结果表明该算法能提高生成事务集的效率,并能更准确地发现用户操控家居设备的时序关联习惯。     

挖掘事务间频繁闭项集的高效率算法

事务间频繁项集将传统的单维事务内关联规则扩展到多维跨事务关联规则,但事务间频繁项集的数量随滑动时间窗口的增大而迅速增加.利用频繁闭项集的特点,提出事务间频繁闭项集的概念及其挖掘算法(FCITA).该算法采用分割和条件数据库技术,避免生成庞大的扩展数据库;利用扩展二进制形式压缩事务,从而提高支持度的计算效率.此外,动态排序和哈希表极大地减少了频繁闭项集的测试次数.仿真比较表明,FCITA算法具有较高的挖掘效率.

     

挖掘事务间频繁闭项集的高效率算法

事务间频繁项集将传统的单维事务内关联规则扩展到多维跨事务关联规则,但事务问频繁项集的数量随滑 动时同间窗口的增大而迅速增加.利用频繁闭项集的特点.提出事务间频繁闭项集的概念及其挖掘算法(FCITA).该算法采用分割和条件数据库技术,避免生成庞大的扩展数据库;利用扩展二进制形武压缩事务,从而提高支持度的计算效事.此外,动态排序和哈希表极大地减少了频繁闭项集的测试次数.仿真比较表明,FCITA算法具有较高的挖掘效率.     

时间敏感数据流上的频繁项集挖掘算法

数据流中的数据分布随着时间动态变化,但传统基于事务的滑动窗口模型难以体现该特征,因此挖掘结果并不精确.首先提出时间敏感数据流处理中存在的问题,然后建立基于时间戳的滑动窗口模型,并转换为基于事务的可变滑动窗口进行处理,提出了频繁项集的挖掘算法FIMoTS.该算法引入了类型变化界限的概念,将项集进行动态分类,根据滑动窗口大小的变化对项集进行延迟处理,仅当项集的类型变化界限超出一定阈值的时候才进行支持度的重新计算,能够达到剪枝的目的.在4种不同密度的数据集上完成的实验结果显示,该算法能够在保证内存开销基本不变的情况下显著提高计算效率.     

基于网络审计日志关联规则挖掘的改进

由于网络入侵检测系统的实时性要求,将传统的关联规则挖掘算法直接应用到入侵检测系统中,运行效率往往不能满足实际的需要.考虑到网络审计日志实时更新的特点,提出了一种基于深度优先生成树的关联规则挖掘的改进算法FIDF,它改变了候选项集的产生顺序,优先寻找最大频繁项集.该算法只需扫描一次数据库,且当事务数据库和支持度阈值改变时,无需重新扫描数据库,提高了审计日志数据关联规则挖掘的效率,确保了入侵检测系统的实时性和准确性.     

一个改进的关联规则挖掘算法

改进频繁项集算法的效率是提高关联规则挖掘性能的重要环节,本文提出了基于包含频繁1-项集的事务集的关联规则挖掘算法,并通过实例说明了算法的有效性,且与Apriori这一经典算法作了比较。     

基于两个矩阵的关联规则挖掘优化算法

针对传统数据挖掘算法的不足,提出基于两个矩阵的优化关联规则挖掘算法.该算法对事务数据库进行一次扫描,将其转换成两个用于存放逻辑数据的矩阵,并保留项目间的关联信息.对两个矩阵进行挖掘,基于矩阵MA得到频繁1-项集和频繁2-项集,基于矩阵MB得到最大频繁项集,其他频繁k-项集基于两个矩阵和已得频繁集获取.该算法极大减少了候选频繁集数量,挖掘过程采用逻辑运算.实验结果证明了其可行性和高效性.     

基于车牌识别流数据的伴随车辆发现算法

针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随车辆组。实验结果表明,与排列组合算法及FP-Growth算法相比,PFID算法消耗内存更少,响应时间更短,在秒级响应时间内能找到伴随车辆组,达到及时预警目的。     

基于客户机/服务器模式并行关联规则的研究与实现

为了解决并行关联规则挖掘各节点间通信量巨大以及全局频繁项集难以准确、快速得到等问题,提出了一种新的基于客户机/服务器模式的并行关联规则挖掘算法.该算法中,各客户机只需要和服务器之间传递少量的信息,而无需和其它客户机通信,降低了通信成本;服务器端利用了数据库的触发器机制,使全局频繁项集得到的过程能够自动快速实现.实验结果表明了改进后算法的有效性,该算法可以使大数据集的挖掘从不可行到可行,从困难到容易.     

向量法关联规则挖掘在冠心病诊断中的应用

针对传统关联规则频繁项集生成效率较低的问题,提出一种改进的基于向量法的数据关联规则挖掘算法。该算法只需扫描一次事务数据库即可完成布尔矩阵的转换,通过向量运算完成频繁项集的查找,减少候选频繁项集的生成。在冠心病中医诊断中的应用结果表明,该算法可有效提取冠心病中医辨证规则。     

关联规则中改进FP-tree的最大频繁模式挖掘算法

关联规则挖掘是数据挖掘领域中重要的研究内容,最大频繁模式挖掘又是关联规则挖掘中的关键问题之一.针对已有的最大频繁模式挖掘算法存在的问题,通过对FP-Growth、FP-Max算法的分析,提出了基于改进FP-tree的最大频繁模式挖掘算法DFP-Max.该算法使用预测、剪枝的策略减少条件FP-tree个数,采用数字集匹配代替项集匹配的方式,减少超集检验的次数,并且避免了中间结果的组合连接,从而使算法达到较高的效率.实验结果表明,在支持度相对较小情况下,DFP-Max的效率是同类算法的2～5倍.     

一种基于滑动窗口的数据流频繁项集挖掘算法

数据流的流动性与连续性,使得数据流所蕴含的知识会随着时间的推移而发生变化。挖掘数据流中的频繁项集是一项意义重大且具有挑战性的工作。提出一种基于滑动窗口数据流的频繁项集挖掘——FIUT-Stream算法,FIUT-Stream算法分块挖掘数据流,在内存中维持一个滑动窗口数据的概要结构,随着窗口滑动动态更新该存储结构,利用FIUT算法进行频繁项集挖掘。实验表明,该算法能节省内存空间、精确获得频繁项集。     

滑动窗口中数据流最大频繁项集挖掘算法研究

数据流最大频繁项集的项集数目相对很少并且已隐含所有的频繁项集,所以数据流中最大频繁项集的挖掘具有很好的时空效率并且有很大的意义,也受到了业界更多的关注。针对数据流最大频繁项集的挖掘,提出了在滑动窗口中基于矩阵的数据流最大频繁项集挖掘方法SWM-MFI,主要采用两个矩阵来存储数据信息：一个矩阵是事务矩阵,存储事务数据;一个矩阵是二项集矩阵,存放频繁2-项集。通过二项集矩阵扩展得到频繁k-项集,基于SWM-MFI算法挖掘出最大频繁项集。经过理论和实验证明该算法具有很好的时效性。