通信网告警加权关联规则挖掘算法的研究

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,加权算法MINWAL (O)则需要多次扫描数据库,使得在通信网环境下挖掘关联规则的难度非常大。该文提出了一种高效的基于加权频繁模式树的通信网告警关联规则挖掘算法,算法性能测试表明,该算法与已有的加权关联规则挖掘算法相比较,节约了大量的存储空间,提高了算法的挖掘速度,对通信网的故障诊断和故障定位有着积极的意义。     

基于频繁模式树的正负项目集挖掘

传统的基于支持度—置信度框架的关联规则挖掘方法可能会产生大量不相关的、甚至是误导的关联规则,同时也不能区分正负关联规则。在充分考虑用户感兴趣模式的基础上,采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出了一种基于背景知识的包含正负项目集的频繁模式树,给出了针对正负项目集的约束频繁模式树的构造算法NCFP-Construct,从而提高了关联规则挖掘的效率和针对性,实验结果显示该方法是有效的。     

挖掘电信告警关联模式方法

关联模式挖掘算法通常受到最小支持度的限制,仅能得到频繁告警序列间的关联模式,针对这一问题,基于图论思想提出了一种挖掘电信网络告警间关联模式的方法.首先在单遍扫描数据库的条件下挖掘网络中的二项关联模式,然后直接发现其最大关联模式,从而避免大量中间项集的产生. 基于实际网络告警数据的实验结果表明,该方法不仅具有较高的效率,而且有效.     

基于模式分解树的增量挖掘

数据挖掘具有广泛的应用,频繁模式发现是关联规则挖掘问题的重要组成部分。频繁模式的增量挖掘是一个挑战性的任务,已有的几种基于Apriori思想的方法,具有代价太高的弱点。本文提出了一个基于模式分解树,不需要扫描原数据库的增量挖掘算法。通过合理地组织候选项索引,可以取得较高的效率。     

高效关联规则数据挖掘算法研究

关联规则挖掘是数据挖掘领域的一个重要问题，由于关联规则挖掘通常是基于超大型数据库或数据仓库，算法的效率在一定程度上决定挖掘的成败，针对关联规则挖掘中的主要任务－－频集发现过程中存在的几个问题，提出了项目树的概念，引出了一种新的控制模式，并设计了相应的高效挖掘算法，大大提高了挖掘效率。     

基于FP-Tree的敏感性关联规则隐藏的研究

敏感性关联规则的隐藏是最大程度地保持原始数据集的其他特征,保证敏感规则不被挖掘出来.针对已有的基于对原始数据集中事务修改的方法产生大量I/O操作的问题,提出了基于频繁模式树(FP-tree)的敏感性关联规则隐藏的方法.该方法首先利用FP-tree存储了与事务数据库相关的全部信息,减少了产生和测试候选集耗费的大量时间;再利用改进的频繁模式树(IFP-tree)是单向的,快速挖掘出最大频繁项目集,确定敏感性关联规则;然后删除敏感关联规则对应的频繁项目集,更新IFP-tree项目集节点和相应的项目头表的计数,对更新的IFP-tree反向挖掘生成新的不包含敏感关联规则的事务数据库.实例和理论分析表明,该方法是正确和高效的.     

基于序列模式挖掘的告警相关性分析算法

告警相关性分析在通信网络管理中有着重要的应用.提出了一种基于序列模式挖掘提取告警相关性规则的方法.针对引入时间约束的序列模式挖掘问题提出了较为完备的数学模型,定义了求解问题的规则,并构造了引入时间约束的序列模式挖掘算法(FSPTM算法).算法采用特定的数据结构记录序列的时间信息,提高了支持度的计算效率.对某省移动网络连续4个月告警数据的分析结果验证了算法的有效性.     

一种基于超级哈希树的关联规则挖掘算法

对关联规则的Apriori算法的思想和性能进行了分析，提出了一种基于超级哈希树的关联规则挖掘算法，该算法只需扫描三次数据库，即可找出所有的频繁项目集，在每项事务的项目数不是太多的情况下，算法效率较Apriori有较大的改进。     

一种基于超级哈希树的关联规则挖掘算法

对关联规则的Apriori算法的思想和性能进行了分析,提出了一种基于超级哈希树的关联规则挖掘算法,该算法只需扫描三次数据库,即可找出所有的频繁项目集,在每项事务的项目数不是太多的情况下,算法效率较Apriori有较大的改进.     

基于后缀树的知识点间关联规则挖掘算法

在个性化的网络学习中,对知识点间的关联规则进行挖掘是一个关键的问题.该文提出了一种基于后缀树的知识点间关联规则挖掘算法,该算法通过对web日志数据构造后缀树进行序列挖掘,动态地挖掘最大频繁序列,进而发现有意义的知识点间的关联规则.     

改进的FP-growth算法及其在TE过程故障诊断中的应用

为了解决频繁模式增长( frequent pattern growth,FP-growth)算法因多次遍历频繁集列表而产生庞大频繁模式树需占用大量内存降低了运行效率的问题,提出一种改进的FP-growth( upgraded FP-growth,UFP)算法。首先,构造支持度函数实现各项与其支持度的映射,使算法的运行效率得到提高;其次,利用关键字筛选技术,把频繁项分成关键项表、非关键项表两部分,保证了最终获取的每条关联规则都是人们关注的有效信息;最后,根据频繁1-项集划分数据库子集并直接构造每一项的条件模式树,节省了内存空间。将UFP算法应用于Tenessee Eastman( TE)过程的故障诊断,通过与主成分分析( principal component analysis,PCA)、核主成分分析( kernel principal component analysis,KPCA)算法在多种故障下的诊断结果对比实验验证了算法的优越性。     

关联规则算法的电信网络告警应用

为提高网络告警数据的处理效率,迅速找出故障根源,以保证整个电信网络的正常运行。针对告警数据的特点对传统的关联规则算法进行了相应的改进,提供了优先剪枝策略,避免了生成没有意义的频繁项集;k-1-项集通过连接操作生成k项集,避免了反复扫描数据库所带来的压力。结果表明,改进算法提高了挖掘效率,达到快速诊断网络故障的目的。     

一种基于相关度统计的告警关联规则挖掘算法

挖掘告警序列间关联规则的算法都受到最小支持度的限制，仅能够得到频繁告警序列间的关联规则. 对此，提出了一种以高相关度、高置信度为条件，通过聚类找到特征相同的网元告警群，然后基于相关度统计的挖掘算法. 实验结果表明，该算法可以高效、准确地挖掘出电信网络告警数据库中频繁和非频繁告警序列间的关联规则.     

基于告警属性聚类的攻击场景关联规则挖掘方法研究

针对现有攻击场景重构方法中存在关联规则挖掘不充分、攻击场景链断裂的问题,以及安全设备的误告警影响攻击场景重构准确性的现状,提出一种基于告警属性聚类的攻击场景关联规则挖掘方法。该方法能够有效挖掘攻击场景关联规则,减少攻击链断裂,还原实际的多步攻击,更好地帮助安全管理员深入理解攻击者入侵行为并掌握攻击全貌。以真实网络中的安全设备的原始告警为数据源,首先,对原始告警数据进行预处理,实现告警数据的归一化。然后,通过构建告警时间序列,利用FFT和Pearson相关系数对误告警周期特性进行分析,生成误告警过滤规则。接着,提出一种基于动态时间阈值的告警属性聚类方法,通过告警属性相似性刻画告警间相似度,并根据告警发生的时间间隔结合动态时间阈值方法更新聚类时间,对属于同一攻击场景的告警进行聚类。最后,利用Apriori频繁项挖掘算法生成攻击场景序列模式,并对具有重复攻击步骤的攻击场景序列模式进行融合生成关联规则。在四川大学校园网真实环境中进行实验,结果表明所提方法可有效缓解攻击链断裂问题和误告警的影响,相较于对比方法可有效提升生成的攻击场景关联规则的完整性。     

一种有效的通信网络告警分析方法

以往大多告警分析研究都是假设通信网络中所有告警是平等的,考虑此假设的不合理性,提出了一种加权告警分析方法。首先,根据告警对网络的影响程度,采用熵值法为不同的告警分配不同的权值,并将其转换成适合于数据挖掘的序列数据集;然后,设计了一种加权告警序列模式挖掘算法,并采用了一种新颖的剪枝策略来缩减需要挖掘的数据集大小以提高算法的效率;最后,利用该算法挖掘告警数据中的时序关系。实验结果表明,这种加权告警分析方法在剪枝效果、挖掘重要告警序列模式和执行效率方面具有很好的性能。     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进。在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法。该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则。理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的。