序列模式挖掘算法的研究

序列模式挖掘是数据挖掘领域中的重要技术之一,应用非常广泛.利用序列模式挖掘算法能够发现具有一定商业价值的模式规律,因此近年很多学者也对序列模式挖掘算法提出了改进.本文首先介绍了序列模式挖掘算法的相关背景及应用,然后对于各个算法进行介绍和对比,最后,对序列模式挖掘的未来发展进行了展望.     

序列模式挖掘两种典型算法的研究

近年来,序列模式挖掘或序列挖掘已经成为数据挖掘的一个重要方面。序列模式挖掘是指从序列数据库发现相对时间或者其他顺序出现的频繁子序列。文中首先介绍了序列模式分析的基本概念,然后对序列模式的两种经典算法(GSP算法和Perfix Span算法)进行了描述,之后对这两种算法进行了分析和比较,分析比较的结果对序列模式挖掘应用到Web日志挖掘具有一定的参考价值。下一步的工作是进一步探讨算法的优化问题,主要研究如何缩小搜素空间,更好的提高算法效率。     

基于增量式挖掘算法的电力通信网告警关联分析

电力通信网络管理系统每天都会产生大量的告警信息,给实时网络监控和故障管理带来很大困难.告警关联分析是网络故障诊断中的重要任务,对通信网络的管理和维护具有十分重要的意义.序列模式挖掘作为一种时序数据分析的有效手段,能自动从告警中提取有助于关联分析的情景规则.研究了告警序列模式挖掘算法,并根据网络告警数据的增量式特征,在传统序列模式挖掘算法的基础上,为提高告警教据挖掘效率,提出了一种改变时间窗的增量式挖掘算法.通过实验证明了它的优越性.     

一种模糊频繁趋势挖掘新算法

本文在Chun—HaoChen等人的基础上，将模糊频繁趋势挖掘转换为序列模式挖掘并利用序列模式挖掘中的GSP算法生成候选序列模式并进行剪枝，能够更有效减少候选序列模式数量，从而高效的挖掘模糊频繁趋势，提高算法的效率。     

基于改进GSP算法的软件故障诊断研究

提出了基于软件运行序列和改进序列模式挖掘GSP算法进行软件故障诊断的方法.首先利用软件黑匣子进行软件运行序列的提取,然后通过改进的GSP算法进行软件故障诊断定位.实例分析结果表明,该方法能有效地挖掘隐藏在软件运行序列中的信息,实现软件故障诊断.     

基于Map/Reduce集群上的模式空间划分的序列模式挖掘

通过模式空间划分将基于Map/Reduce处理数据集与候选序列模式集的多对多的对应关系的问题转化为处理数据集与以频繁1-序列为基的各子模式空间的多对多的对应关系问题,大大缩小了中间结果键值对集合的规模,避免了由于组合爆炸导致的单一Map节点的瓶颈问题.通过三轮的Map/Reduce任务,实现了模式空间和过滤规则的建立,并在此基础上实现了各子模式空间上独立地进行序列模式的挖掘.通过充分利用整个模式空间的全局特征及各子模式空间的个性特征,设计了优化的非递归挖掘算法,减少了前缀投影库构造次数及对构造的投影库的扫描次数,从而提高了挖掘阶段的效率.     

基于时间段的时序规则发现

提出了一个新的基于时间段的频繁闭模式的挖掘算法,采用时间段的概念,利用频繁闭模式的特点,生成相应的时序规则.算法通过使用闭模式的性质进行剪枝优化,不生成冗余的候选序列,降低了时序规则发现的时间与空间复杂度,提高了效率.     

基于位置差的特征序列挖掘快速算法

面向比特流的未知通信协议识别技术是现代电子侦察技术的重要组成内容.首先分析了AC(Aho-Corasick)快速统计算法及基于位置差的长序列拼接算法,并指出了这两个算法存在的不足.采用数组代替二叉树存储比特流中模式序列的位置信息,并通过构造使得数组下标值与二叉树节点值保持一致的关系式,有效降低了对模式序列进行计数及筛选的时间复杂度.进一步,将数组元素依照对应频繁序列出现位置的先后顺序从左到右进行重新排列,提出了基于位置差的特征序列挖掘改进算法.最后,使用Wireshark截取100个地址解析协议(Address Resolution Protocol,ARP)数据包进行仿真验证.结果表明,与原算法相比,改进算法的时间复杂度至少可降低一个数量级.     

基于遗传算法的时间序列中频繁结构模式发现研究

本文提出了一个基于小生境遗传算法和模式缓存的时间序列中频繁结构模式的发现算法，该算法具有轻便、灵活、可扩放性好的特点，可根据实际情况合理配置计算时间和所占用的内存资源，并可实现挖掘结果的实时动态更新输出，在实际时间序列数据上的实验证明了该算法的有效性。     

在GSM系统中挖掘系列报警模式

研究了一种从GSM系统报警数据中挖掘序列报警模式的方法，根据报警数据的特点，提出了数据清洗的方法，通过使用时间约束来两个报警事件在时间上的差异，利用MSAP挖掘算法获取两个报警事件之间平均的时间偏差，并发现有用的序列报警模式。     

High Utility Itemsets Mining Based on Divide-and-Conquer Strategy

High utility itemsets mining has become a hot research topic in association rules mining. But many algorithms directly mine datasets, and there is a problem on dense datasets, that is, too many itemsets stored in each transaction. In the process of mining association rules, it takes a lot of storage space and affects the running efficiency of the algorithm. In the existing algorithms, there is a lack of efficient itemset mining algorithms for dense datasets. Aiming at this problem, a high utility itemsets mining algorithm based on divide-and-conquer strategy is proposed. Using the improved silhouette coefficient to select the best K-means cluster number, the datasets are divided into many smaller subclasses. Then, the association rules mining is performed by Boolean matrix compression operation on each subclass, and iteratively merge them to get the final mining results. We also analyze the time complexity of our method and Apriori algorithm. Finally, experimental results on several well-known real world datasets are conducted to show that the improved algorithm performs faster and consumes less memory on dense datasets, which can effectively improve the computational efficiency of the algorithm.

     

基于微博媒体的社区发现技术研究

微博社交网络是由节点构成的,每个节点代表一个微博用户。节点与节点间存在着关系,因此连接紧密的节点形成了社区。如何从微博社交网络中挖掘出社区,已成为Web2．0的团体挖掘研究热点。详细介绍了传统的网络团体挖掘算法,并提出了一种新的社区发现的算法,称为基于用户兴趣的社区发现算法。该算法不论在计算效率还是社区发现效果上比传统算法都具有明显的提升,取得了不错的实验效果。     

时态约束下的数据挖掘问题及算法

对于一个大型数据库而言,为了提高挖掘效率,必须考虑减少数据库的扫描次数,同时使内存需求量保持在一个适当的水平上.把时态约束应用到事务数据库的挖掘中,可以获得更好的效率.本文首先利用时态区间代数操作实现原始数据库的过滤和挖掘时态区间的合并;然后在定义项目序列集操作的基础上,提出一个称为TISS-DM的发现频繁项目序列集的高效算法;最后讨论了这个算法的效率.     

Association rules recommendation algorithm supporting recommendation nonempty

Existing association rule recommendation technologies were focus on extraction efficiency of association rule in data mining.However,it lacked consideration of recommendation balance between popular and unusual data and efficient processing.In order to improve the quality and efficiency of personalized recommendation and balance the recommendation weight of cold and hot data,the problem of mining frequent itemset based on association rule was revaluated and analyzed,a new evaluation metric called recommendation RecNon and a notion of k-pre association rule were defined,and the pruning strategy based on k-pre frequent itemset was designed.Moreover,an association rule mining algorithm based on the idea was proposed,which optimized the Apriori algorithm and was suitable for different evaluation criteria,reduced the time complexity of mining frequent itemset.The theoretic analysis and experiment results on the algorithm show that the method improved the efficiency of data mining and has higher RecNon,F-measure and precision of recommendation,and efficiently balance the recommendation weight of cold data and popular one.     

基于改进关联规则的网络入侵检测方法的研究

研究关联规则的高效挖掘算法对于提高入侵检测的准确性和时效性具有非常重要的意义.针对现行的入侵检测方法建立的正常模式和异常模式不够准确、完善,容易造成误警或漏警的问题,本文将改进后的关联规则挖掘算法-XARM和关联规则增量更新算法-SFUP应用于网络入侵检测,提出了新的入侵检测方法,该方法通过挖掘训练审计数据中的频繁项集建立系统和用户的正常行为模型以及入侵行为模型.     

基于MDPI的多维关联规则算法的研究

多维关联规则是数据挖掘中的一个重要研究方向,由此提出了一种高效的多维关联规则挖掘算法,该方法通过引入MDPI-tree(多维谓词索引树)结构,有效地将数据立方体技术和频繁项集挖掘算法FP-Growth结合起来,能用于挖掘维间和混合维关联规则.最后将此算法应用于移动通信交叉销售模型,通过实验验证算法的有效性和实用性.     

基于数据挖掘的电网故障关联性分析与研究

将数据挖掘技术中的关联规则应用到电网故障分析中,从故障数据中发现分类属性与决策属性间的频繁模式、相关性或因果关系,以便从宏观上把握电网故障元素间的关联特性.讨论了关联规则应用于电网故障分析的体系结构及实现的具体步骤,重点对电网故障关联性分析中的频繁项挖掘算法进行了研究,对传统的Apriori算法进行了改进,提出了一种高效的基于数组的类频繁项集挖掘算法.     

一种不产生候选集的最大频繁集快速挖掘算法

发现最大频繁(项目)集是关联规则挖掘中的重要问题。提出一个基于频繁模式树FP—Tree(Frequent Pattern Tree)的快速发现最大频繁项目集算法MFP—growth(Maximum Frequent Pattern growth)，其发现过程中不需要产生候选(项目)集，从而提高了挖掘效率。由实验结果表明，此算法在发现最大频繁项目集方面具有很好的性能。     

New Methodology for Complete Properties Extraction from Simulation Traces Guided with Static Analysis

This paper introduces a new methodology for digital design properties extraction from simulation traces. A new Breadth-First Decision Tree (BF-DT) mining algorithm is proposed for complete properties extraction from simulation traces. The new mining engine supports both bit-level and word-level values of different design variables. Static analysis technique is implemented to extract all data dependencies between the digital design variables. New traces regeneration algorithm is proposed to obtain reduced traces for more efficient and easier mining. The mining engine is guided with these data dependencies to extract complete design properties relating target variables desired to extract properties for and their cone of interest feature variables. The contributed mining technique has been tested for different designs with different sizes. The design properties generated from the mining engine completely match with all design properties covered in the input simulation traces. Moreover, the generated properties are at the highest possible level of abstraction leading to the best coverage for the input data space. The simulation results show that the proposed methodology has superior efficiency in extracting both bit-level and word-level complete assertions of digital design in both superior quality and feasible time.     

基于Web-log的频繁浏览路径挖掘

利用Web日志文件,采用LossyCounting算法对用户频繁浏览路径进行挖掘。在设计中,根据频繁路径挖掘的实际情况对算法进行了优化和改进。实验表明该方法能快速准确地发现用户频繁浏览路径,且具有较好的可扩展性,适用于电子商务网站的站点优化和个性化服务等。