基于改进PrefixSpan的序列模式挖掘算法

针对PrefixSpan算法构造投影数据库开销大的问题,提出一种基于改进PrefixSpan的序列模式挖掘算法SPMIP。该方法通过添加剪枝步和减少某些特定序列模式生成过程的扫描,来减少投影数据库的规模及扫描投影数据库的时间,提高算法效率,并最终得到需要的序列模式。实验结果证明在获得序列模式不受影响情况下,SPMIP算法比PrefixSpan算法效率更高。     

缩减投影数据库规模的增量式序列模式算法

在增量式序列模式挖掘算法中,数据库更新只有插入和扩展2种操作,未考虑序列删除的情况。为此,提出一种基于频繁序列树的增量式序列模式更新算法(IUFST)。在数据库和支持度发生变化时,IUFST算法分不同情况对频繁序列树进行更新操作,缩减投影数据库的规模,提高算法效率。实验结果表明,该算法在时间性能上优于PrefixSpan算法和IncSpan算法。     

基于属性相关和时间约束的PrefixSpan算法

针对计算机入侵检测中网络安全审计数据的特点,提出一个改进的PrefixSpan算法,引入时间约束和属性相关的特征指导挖掘,应用M矩阵和Apriori特性减少投影数据库的数量,并缩减投影数据库规模,提高了序列模式挖掘的效率和有用性。通过检测一个网络审计记录的实验,进行结果分析。     

恶意代码检测中的PrefixSpan*算法应用

结合数据挖掘和专家系统技术解决主机恶意代码检测问题,提出一个基于行为的恶意代码检测系统。数据挖掘算法采用改进的序列模式挖据算法——PrefixSpan*,该算法用简约投影数据库代替原PrefixSpan算法的投影数据库。PrefixSpan*从恶意代码行为序列库中挖掘关联规则,专家系统将获取的主机行为与规则匹配,从而达到检测恶意行为的目的。实验结果证明了该算法的正确性和有效性。     

无重复投影数据库扫描的序列模式挖掘算法

序列模式挖掘在Web点击流分析、自然灾害预测、DNA和蛋白质序列模式发现等领域有着广泛应用.基于频繁模式增长的PrefixSpan是目前性能最好的序列模式挖掘算法之一.然而在密数据集和长序列模式挖掘过程中会出现大量的重复投影数据库,使得这类算法性能下降.算法SPMDS通过对投影数据库的伪投影做单项杂凑函数,如MD5等,检查是否存在重复的投影数据库,避免大量重复数据库的扫描,并采用一些必要条件简化投影数据库的搜索,进而提高算法的性能.实验和分析都表明SPMDS性能优于PrefixSpan.     

基于PrefixSpan的序列模式挖掘改进算法

针对序列模式挖掘算法PrefixSpan在挖掘过程中需要构造大量投影数据库的不足,提出IPMSP算法,在递归挖掘过程中,通过检查序列数据库关于前缀的前缀,避免对同一频繁前缀模式构造重复投影数据库,同时舍弃对非频繁项的存储并在投影序列数小于最小支持度时停止扫描投影数据库,从而提高PrefixSpan算法的时空性能。实验结果证明,IPMSP算法在时间和空间性能上优于PrefixSpan算法。     

PrefixSpan算法与CloSpan算法的分析与研究

数据挖掘领域的一个活跃分支就是序列模式的发现,即在序列数据库中找出所有的频繁子序列。介绍序列模式挖掘的基本概念,然后对序列模式中的经典算法PrefixSpan算法和基于PrefixSpan框架的闭合序列模式CloSpan算法进行了描述,并对它们的执行过程及其特点进行了分析与比较,总结了各自的优缺点,指出PrefixSpan算法适用于短序列方面挖掘,而CloSpan算法在长序列或者阈值较低时胜过PrefixSpan算法且CloSpan算法挖掘大型的数据库有更好的性能,得出的结果对序列模式挖掘的设计有重要的参考价值。     

基于位置信息的序列模式挖掘算法*

PrefixSpan算法在产生频繁序列模式时会产生大量的投影数据库,其中很多投影数据库是相同的。提出了基于位置信息的序列模式挖掘算法——PVS,该方法通过记录每个已产生投影数据库的位置信息,避免了重复产生相同的投影数据库,从而提高了算法的运行效率。通过实验证明,该算法在处理相似度很高的序列数据时比PrefixSpan算法有效。     

基于频繁序列树的交互式序列模式挖掘算法

为了减少在序列模式挖掘过程中由于重复运行挖掘算法而产生的时空消耗,提出了一种基于频繁序列树的交互式序列模式挖掘算法(ISPM). ISPM算法采用频繁序列树作为序列存储结构,频繁序列树中存储数据库中满足频繁序列树支持度阈值的所有序列模式及其支持度信息.当支持度发生变化时,通过减少本次挖掘所要构造投影数据库的频繁项的数量来缩减投影数据库的规模,从而减少时空消耗.实验结果表明,ISPM算法在时间性能上优于PrefixSpan算法和Inc-Span算法     

一种基于序列末项位置信息的序列模式挖掘算法

针对PrefixSpan算法中反复扫描投影数据库寻找局部频繁项并重复构造挖掘大量重复投影数据库的不足,提出一种基于序列末项位置信息的序列模式挖掘算法SPM-LIPT。通过连接2-序列位置信息表(LIPT)找到序列模式的下一项,实现序列模式增长,避免对投影数据库反复扫描;同时通过检查相同末项序列首位置信息表(SLIFPT)进行前向剪枝;消除大量重复投影的构建。最后通过实验证明了算法的有效性。     

Web数据挖掘技术及工具研究

Internet应用的普及使得数据挖掘技术的重点已经从传统的基于数据库的应用转移到了基于Web的应用。文章就Web挖掘技术的概念、分类及文本挖掘和用户访问模式挖掘的实现技术做了详细的阐述,并在此基础上介绍了一些实用的Web挖掘工具。     

数据挖掘的应用和发展趋势叶磊

由于数据挖掘在各行业中的广泛应用,因而该技术引起了人们的普遍关注,近年来该技术在金融、电信、零售、医疗、科研等行业领域内发挥了巨大的作用。网站的数据挖掘(Websitedatamining)即Web挖掘、生物信息或基因的数据挖掘以及空间数据挖掘成为数据挖掘领域新的研究热点。     

WinRAR使用技巧四则

WinRAR是Windows上常用的压缩解压缩工具。由于它支持包括ZIP在内的多种压缩格式．且压缩速度较快压缩率较高，故现在已成为Windows上非常流行的压缩软件。下面是笔者在使用中总结的一些经验．在这里共享出来．希望能对你使用这个软件有所帮助。     

Efficient Incremental Maintenance of Frequent Patterns with FP-Tree

Mining frequent patterns has been studied popularly in data mining area. However, little work has been done on mining patterns when the database has an influx of fresh data constantly. In these dynamic scenarios, efficient maintenance of the discovered patterns is crucial. Most existing methods need to scan the entire database repeatedly, which is an obvious disadvantage. In this paper, an efficient incremental mining algorithm, Incremental-Mining (IM), is proposed for maintenance of the frequent patterns when new incremental data come. Based on the frequent pattern tree (FP-tree) structure, IM gives a way to make the most of the things from the previous mining process, and requires scanning the original data once at most. Furthermore, IM can identify directly the differential set of frequent patterns, which may be more informative to users. Moreover, IM can deal with changing thresholds as well as changing data, thus provide a full maintenance scheme. IM has been implemented and the performance study shows it outperforms three other incremental algorithms: FUP, DB-tree and re-running frequent pattern growth (FP-growth).     

An integrated,generic approach to pattern mining: data mining template library

Frequent pattern mining (FPM) is an important data mining paradigm to extract informative patterns like itemsets, sequences, trees, and graphs. However, no practical framework for integrating the FPM tasks has been attempted. In this paper, we describe the design and implementation of the Data Mining Template Library (DMTL) for FPM. DMTL utilizes a generic data mining approach, where all aspects of mining are controlled via a set of properties. It uses a novel pattern property hierarchy to define and mine different pattern types. This property hierarchy can be thought of as a systematic characterization of the pattern space, i.e., a meta-pattern specification that allows the analyst to specify new pattern types, by extending this hierarchy. Furthermore, in DMTL all aspects of mining are controlled by a set of different mining properties. For example, the kind of mining approach to use, the kind of data types and formats to mine over, the kind of back-end storage manager to use, are all specified as a list of properties. This provides tremendous flexibility to customize the toolkit for various applications. Flexibility of the toolkit is exemplified by the ease with which support for a new pattern can be added. Experiments on synthetic and public dataset are conducted to demonstrate the scalability provided by the persistent back-end in the library. DMTL been publicly released as open-source software (), and has been downloaded by numerous researchers from all over the world.     

Web使用信息挖掘综述

Web使用信息挖掘可以帮助我们更好地理解Web和Web用户访问模式,这对于开发Web的最大经济潜力是非常关键的。一般来说,使用信息挖掘包含三个阶段：数据预处理,模式发现和模式分析。文章以这三个阶段为PWeb框架,分别介绍了数据预处理的技术与困难,Web使用信息挖掘中常用的方法和算法,以及主要应用。     

Web使用模式挖掘研究

Web使用模式挖掘是利用Web使用数据的高级阶段，文中分析了Web使用模式挖掘流程及挖掘技术后，架构了一种用于Web使用模式的工具，并将其应用在优化Web站点的链接结构，发现潜在客户等方面。     

视频挖掘技术综述

随着视频数据越来越容易获取和存储，视频数据的有效利用问题日益突出。视频数据挖掘近年来受到了国内外研究人员的极大关注。它旨在提取视频数据的语义信息并挖掘出隐含其中的有用模式和知识，从而实现智能视频应用，辅助人们决策。通过对国内外研究进展的跟踪分析，归纳了视频挖掘的概念，并对其实现方法和应用领域做了较为详细的总结和讨论，指出了视频挖掘技术研究所面临的挑战。     

聚类挖掘在监控视频中的应用

提出了一种针对监控视频数据的挖掘算法.算法根据输入视频帧与可更新背景帧的差异计算帧运动量,按运动量所属类型分割视频段,然后根据视频段的平均运动量采用K均值算法进行聚类分组.通过对大楼走廊的监控视频进行运动量挖掘,能对可能的异常事件给予告警,发现一天中各时段走廊的拥挤程度和模式.实验结果表明该挖掘算法对于室内走廊监控视频是有效的和鲁棒的,可以在一定程度上提高监控视频的智能应用.     

视频挖掘研究进展

视频挖掘技术近年来受到了国内外研究者的逐渐关注,但研究还处于初步阶段,实际的应用系统很少,有关概念、系统结构和技术方法仍需深入研究。在回顾国内外研究动态的基础上,对视频挖掘的研究现状进行了归纳、评述;探讨了视频挖掘的概念,清理了视频挖掘与相关技术的联系与区别;展望了视频挖掘研究中的重点问题和解决思路。