PrefixSpan算法与CloSpan算法的分析与研究

数据挖掘领域的一个活跃分支就是序列模式的发现,即在序列数据库中找出所有的频繁子序列。介绍序列模式挖掘的基本概念,然后对序列模式中的经典算法PrefixSpan算法和基于PrefixSpan框架的闭合序列模式CloSpan算法进行了描述,并对它们的执行过程及其特点进行了分析与比较,总结了各自的优缺点,指出PrefixSpan算法适用于短序列方面挖掘,而CloSpan算法在长序列或者阈值较低时胜过PrefixSpan算法且CloSpan算法挖掘大型的数据库有更好的性能,得出的结果对序列模式挖掘的设计有重要的参考价值。     

一种改进的PrefixSpan算法及其在Web用户行为模式挖掘中的应用

序列模式挖掘是从序列数据库中挖掘相对时间或其他模式出现频率高的模式。针对PrefixSpan算法构造投影数据库时开销巨大、扫描效率不高的问题,通过以序列扩展代替项集进行扩展、放弃挖掘序列数小于阈值min＿support的投影数据库以及直接递归局部频繁项等方式进行改进,并将改进方法应用于Web用户行为模式挖掘中,对日志记录中的规律进行分析和研究。实验分析表明,相比PrefixSpan算法,该改进算法在算法效率方面有一定的提高。     

基于PrefixSpan的序列模式挖掘改进算法

针对序列模式挖掘算法PrefixSpan在挖掘过程中需要构造大量投影数据库的不足,提出IPMSP算法,在递归挖掘过程中,通过检查序列数据库关于前缀的前缀,避免对同一频繁前缀模式构造重复投影数据库,同时舍弃对非频繁项的存储并在投影序列数小于最小支持度时停止扫描投影数据库,从而提高PrefixSpan算法的时空性能。实验结果证明,IPMSP算法在时间和空间性能上优于PrefixSpan算法。     

PrefixSpan算法在多维序列模式挖掘中的应用

多维序列模式挖掘是在序列模式挖掘的基础上发展起来的，文章阐述了有关概念，介绍了两种序列模式挖掘算法：GSP算法和PrefixSpan算法，在对两类算法进行比较分析的基础上形成了挖掘多维序列模式的UniSeq算法、Dim-Seq算法和Seq-Dim算法。针对不同维度的模式，各种算法特点不同。     

基于属性相关和时间约束的PrefixSpan算法

针对计算机入侵检测中网络安全审计数据的特点,提出一个改进的PrefixSpan算法,引入时间约束和属性相关的特征指导挖掘,应用M矩阵和Apriori特性减少投影数据库的数量,并缩减投影数据库规模,提高了序列模式挖掘的效率和有用性。通过检测一个网络审计记录的实验,进行结果分析。     

恶意代码检测中的PrefixSpan*算法应用

结合数据挖掘和专家系统技术解决主机恶意代码检测问题,提出一个基于行为的恶意代码检测系统。数据挖掘算法采用改进的序列模式挖据算法——PrefixSpan*,该算法用简约投影数据库代替原PrefixSpan算法的投影数据库。PrefixSpan*从恶意代码行为序列库中挖掘关联规则,专家系统将获取的主机行为与规则匹配,从而达到检测恶意行为的目的。实验结果证明了该算法的正确性和有效性。     

基于改进PrefixSpan的序列模式挖掘算法

针对PrefixSpan算法构造投影数据库开销大的问题,提出一种基于改进PrefixSpan的序列模式挖掘算法SPMIP。该方法通过添加剪枝步和减少某些特定序列模式生成过程的扫描,来减少投影数据库的规模及扫描投影数据库的时间,提高算法效率,并最终得到需要的序列模式。实验结果证明在获得序列模式不受影响情况下,SPMIP算法比PrefixSpan算法效率更高。     

一种适用于应用层协议的特征提取算法

基于PrefixSpan算法,提出一种适用于应用层协议的特征提取算法。通过加入关于位置的约束,减少频繁序列模式的产生数量,结合特征提取过程的实际情况加入约束条件,从而在挖掘过程中减少投影数据库产生的个数,在构建投影数据库过程中,去除关于非频繁项的存储及投影数据库中序列数小于最小支持度的扫描过程。实验结果表明,与原算法相比,该算法的运行时间较短,提取的特征具有较高的准确率和较低的误报率。     

视频目标轨迹分析的改进PrefixSpan方法

从序列模式挖掘的角度对视频目标运动轨迹的分析和应用问题进行了研究,提出了一种基于改进 PrefixSpan的频繁轨迹模式挖掘算法,并给出了基于所挖掘的频繁模式进行在线目标运动异常检测的方法。该方法对目标的运动轨迹进行量化编码,采用改进的PrefixSpan算法挖掘其中连续出现的频繁模式,通过字符串近似匹配的方法来检测当前运动轨迹所表示的目标行为是否异常。由于不需要计算两两轨迹之间的相似性,该方法可以应用于规模较大、分布模式数目难以确定场合下的视频目标轨迹分析问题。对仿真和真实场景的实验验证了该方法的有效性。     

改进的PrefixSpan算法在客流计数中的应用

序列模式挖掘是基于关联规则的频繁项集的挖掘,其实质是在关联模型中加入时间属性。利用改进的PrefixSpan算法对客流计数系统中不同时段的数据进行挖掘分析,给出不同时段的客流高峰的频繁序列模式,对于提高客流计数系统的精度,给管理决策者调配人力,物力,财力提供技术支持,对于最大限度地发掘购物中心的潜力,提高利润,具有重要的经济意义。     

基于相邻模式段组合的生物序列模式挖掘算法

传统的序列模式挖掘算法应用在生物序列上有其局限性,根据生物序列的特点,提出了基于相邻频繁模式段的模式挖掘算法－JPS。首先产生相邻频繁模式段,然后对这些频繁模式段进行组合,产生新的频繁模式。通过实验分析,该方法在相似性很强的序列数据库中比传统的PrefixSpan算法效率高。通过对真实的蛋白质序列家族库的处理,证明该算法能有效处理生物序列数据。     

Mining sequential patterns by pattern-growth: the PrefixSpan approach

Sequential pattern mining is an important data mining problem with broad applications. However, it is also a difficult problem since the mining may have to generate or examine a combinatorially explosive number of intermediate subsequences. Most of the previously developed sequential pattern mining methods, such as GSP, explore a candidate generation-and-test approach [R. Agrawal et al. (1994)] to reduce the number of candidates to be examined. However, this approach may not be efficient in mining large sequence databases having numerous patterns and/or long patterns. In this paper, we propose a projection-based, sequential pattern-growth approach for efficient mining of sequential patterns. In this approach, a sequence database is recursively projected into a set of smaller projected databases, and sequential patterns are grown in each projected database by exploring only locally frequent fragments. Based on an initial study of the pattern growth-based sequential pattern mining, FreeSpan [J. Han et al. (2000)], we propose a more efficient method, called PSP, which offers ordered growth and reduced projected databases. To further improve the performance, a pseudoprojection technique is developed in PrefixSpan. A comprehensive performance study shows that PrefixSpan, in most cases, outperforms the a priori-based algorithm GSP, FreeSpan, and SPADE [M. Zaki, (2001)] (a sequential pattern mining algorithm that adopts vertical data format), and PrefixSpan integrated with pseudoprojection is the fastest among all the tested algorithms. Furthermore, this mining methodology can be extended to mining sequential patterns with user-specified constraints. The high promise of the pattern-growth approach may lead to its further extension toward efficient mining of other kinds of frequent patterns, such as frequent substructures.     

一种基于频繁序列树的增量式序列模式挖掘算法

针对目前现有的增量式序列模式挖掘算法没有充分利用先前的挖掘结果,当数据库更新时,需要对数据库进行重复挖掘的问题。本文提出一种基于频繁序列树的增量式序列模式挖掘算法(ISFST),ISFST采用频繁序列树作为序列存储结构,当数据库发生变化时,ISFST算法分两种情况对频繁序列树进行更新操作,通过遍历频繁序列树得到满足最小支持度的所有序列模式。实验结果表明,ISFST算法在时间性能上优于PrefixSpan算法和IncSpan算法。     

一种高效的增量式序列模式挖掘算法

现有的增量式挖掘算法在支持度发生变化时,需要对序列数据库进行重复挖掘,为减少由此产生的时空消耗,提出一种高效的增量式序列模式挖掘算法。算法采用频繁序列树作为序列存储结构,当序列数据库和最小支持度发生变化时,通过执行更新操作,实现频繁序列树的更新,利用深度优先遍历频繁序列树找到序列数据库中所有的序列模式。实验结果表明,与IncSpan算法和PrefixSpan算法相比,该算法的挖掘效率较高。     

基于二级索引结构无候选项闭合序列模式挖掘算法

针对CloSpan算法分两个阶段挖掘闭合序列模式中第一阶段需要保持候选序列且未充分利用项的位置信息、存在对数据库重复扫描和计算大小的不足,提出了posCloSpan算法。算法通过对二级索引结构进行检索实现向前剪枝,避免数据库重复扫描以及对超序索引表、子序索引表的检测,实现非闭合序列的修剪,无须保存候选序列。实验结果证明,算法在处理较长序列以及存在大量重复投影数据库的数据源时,有效降低了时间上的开销。     

基于设备故障监控的时间序列模式研究应用

采用数据挖掘中的时间序列模式对流程企业中的运行数据进行分析,首先采用模糊理论对实际数据进行处理,找出偏离常规运行状态但未到报警界限的参数点,然后采用时间窗对参数离散处理,划分时间间隔得到时间序列数据库。采用TimeSeq_PrefixSpan算法并编程实现,得到了按次序排列且有时间间隔的异常参数点对设备故障影响的规则,起到了对设备故障预警监控的作用。     

无重复投影数据库扫描的序列模式挖掘算法

序列模式挖掘在Web点击流分析、自然灾害预测、DNA和蛋白质序列模式发现等领域有着广泛应用.基于频繁模式增长的PrefixSpan是目前性能最好的序列模式挖掘算法之一.然而在密数据集和长序列模式挖掘过程中会出现大量的重复投影数据库,使得这类算法性能下降.算法SPMDS通过对投影数据库的伪投影做单项杂凑函数,如MD5等,检查是否存在重复的投影数据库,避免大量重复数据库的扫描,并采用一些必要条件简化投影数据库的搜索,进而提高算法的性能.实验和分析都表明SPMDS性能优于PrefixSpan.     

Prism: An effective approach for frequent sequence mining via prime-block encoding

Sequence mining is one of the fundamental data mining tasks. In this paper we present a novel approach for mining frequent sequences, called Prism. It utilizes a vertical approach for enumeration and support counting, based on the novel notion of primal block encoding, which in turn is based on prime factorization theory. Via an extensive evaluation on both synthetic and real datasets, we show that Prism outperforms popular sequence mining methods like SPADE [M.J. Zaki, SPADE: An efficient algorithm for mining frequent sequences, Mach. Learn. J. 42 (1/2) (Jan/Feb 2001) 31–60], PrefixSpan [J. Pei, J. Han, B. Mortazavi-Asl, H. Pinto, Q. Chen, U. Dayal, M.-C. Hsu, PrefixSpan: Mining sequential patterns efficiently by prefixprojected pattern growth, in: Int'l Conf. Data Engineering, April 2001] and SPAM [J. Ayres, J.E. Gehrke, T. Yiu, J. Flannick, Sequential pattern mining using bitmaps, in: SIGKDD Int'l Conf. on Knowledge Discovery and Data Mining, July 2002], by an order of magnitude or more.