基于粗糙集理论的属性约简算法

粗糙集理论是一种新的数据挖掘方法,其主要思想是保持分类能力不变的情况下,通过属性约简,达到发掘知识并简化知识的目的.从大量数据发现知识时,属性约简是一个关键问题.在理解和分析基于粗糙集理论的数据挖掘算法基础上,提出了一个基于属性依赖度的属性约简算法.实验结果表明,该算法能更有效地对决策系统进行约简.     

一种基于概念相似度的数据分类方法

依据数据属性间的相似信息,提出了一种分类方法.该方法将属性矢量化,属性作为m维空间的基本矢量,数据记录作为属性矢量的和.利用属性间先验的概念相似信息,给出了求取任意属性矢量对的相似距离算法,并将数据间相关度计算转换为属性矢量及其相互投影的公式,从而得到任意两条数据的相关度;利用相关度,提出了一种分类算法.用详实的实验证明了该算法的有效性.     

基于聚类的数据敏感属性匿名保护算法*

为了防止数据敏感属性的泄露,需要对数据敏感属性进行匿名保护。针对l-多样性模型当前已提出的算法大多是建立在概念层次结构的基础上,该方法会导致不必要的信息损失。为此,将基于属性泛化层次距离KACA算法中的距离度量方法与聚类结合,提出了一种基于聚类的数据敏感属性匿名保护算法。该算法按照l-多样性模型的要求对数据集进行聚类。实验结果表明,该算法既能对数据中的敏感属性值进行匿名保护,又能降低信息的损失程度。     

粗糙集属性约简的方法

传统粗糙集分类方法过于严格,对噪音过分敏感。针对带不确定因子决策系统,提出一种基于属性依赖度的约简算法,使含不确定信息及数据噪音的系统中的属性得以简化,找到一种具有广泛表达能力的数据隐含格式,删去冗余的规则,并保持系统的原有用途和性能。通过一个例子实现了该算法。     

基于柔性逻辑的区分矩阵属性约简算法

传统的基于区分矩阵的属性约简算法只能处理离散数据,而绝大部分数据既包含离散属性又包含连续属性.针对这一问题,本文使用一种可以对离散数据和连续数据进行统一处理的方法.该方法利用柔性逻辑等价关系替代原来的不可分辨关系,简化了传统算法中的离散化过程,提高了算法效率.实验表明,与传统的算法相比,改进后算法省略了离散化这一过程,可以对离散数据和连续数据统一进行处理.     

面向数据删除的核属性更新算法

针对决策表存在数据删除的情况,首先提出决策表等价类链表存储结构,并引入基于该存储结构的简化决策表定义和基于简化决策表核属性定义,同时证明了该核属性与原始决策表核属性是等价的;然后,分别从删除指定对象和删除指定信息两个方面研究核属性更新理论,并给出相应的算法实现;最后,通过实例验证了所提出算法的有效性.     

基于数据库系统的决策表核与属性约简算法

给出一种简单的代数核判断方法,它将比较两个正区域是否相等简化为比较它们的基数是否相等,从而简化了计算过程,得到一种基于数据库系统求决策表核属性的新算法。由于所有条件属性集已是一个代数协调集,采用自顶而下逐步删除可约属性的策略,提出一种基于数据库系统求代数约简的算法。理论分析和实验结果表明,该方法面对大数据集具有更高的效率。     

基于属性桶的约简算法

基于粗糙集理论的属性约简算法是机器学习和数据挖掘领域的研究热点之一.粗糙集理论是一种新型的处理模糊和不确定信息的数学工具,在保证分类能力不变的前提下,通过知识的约简导出概念的分类规则.文中提出了一种基于属性桶的约简算法,其约简过程类似基于属性频度函数的约简算法.该算法首先构造一组与决策表决策属性个数相同的属性桶,不同的属性桶划分了不同长度的区分矩阵项,避免了约简前的排序过程.通过构造属性桶时对核属性进行特殊处理,在一定程度上简化了属性约简过程.     

运用信息增益和不一致度进行填补的属性约简算法

针对不完备、不一致性数据的属性约简是数据挖掘研究的一个重要内容。将信息增益,不一致度相结合,提出一种面向不完备不一致性数据的属性约简算法。首先,介绍了信息增益,定义了不一致度的概念与算法公式,并给出了基于二者对数据进行填补的方法;然后,基于该填补方法,以最大不一致度条件下的信息增益为权值,以不一致度为属性约简的启发信息,给出属性约简算法;最后,通过实验证明了所提算法的有效性。     

入侵检测系统报警信息聚合方法的改进

针对现有基于属性差异的入侵检测系统报警信息聚合算法存在的缺陷,提出一种改进的基于属性差异的报警信息聚合算法。该方法简单、直观。在DARPA2000测试数据集上的测试说明了算法的有效性。     

一种改进的多源异构告警聚合方案

各类网络安全防御设备产生的大量冗余告警信息非常琐碎、误警率高, 给告警的分析和理解造成较大困难。针对这一问题进行研究, 提出一种改进的多源异构告警数据的聚合方案, 综合分析告警类型、源IP、目的IP、目的端口及时间间隔几个属性, 总结出四个规则, 并在聚合过程中动态更新时间间隔阈值, 提高聚合精确度。实验结果表明, 这种方法能高效减少异构告警信息的数量, 得到精简的超告警数据, 并实现了实时处理告警信息的能力。     

加权增量关联规则挖掘在通信告警预测中的应用

针对通信网络告警预测中预测精度不高、模型训练效率较低等缺陷,提出告警权值确定方法和基于自然序树（Can-tree）的加权增量关联规则挖掘的通信网络告警预测方案。首先,对告警数据进行预处理,确定告警数据权值并压缩到Can-tree结构中;其次,应用增量关联规则挖掘算法对Can-tree进行挖掘,生成告警关联规则;最后,使用模式匹配的方法对实时告警信息进行预测,并对结果进行优化整理。实验结果表明,基于Can-tree的加权增量关联规则挖掘算法是高效的,利用前次挖掘的结果和信息提高了挖掘的效率,网络告警数据的权值分配方案能够合理地区分告警数据的重要程度,有助于将重要程度高的告警关联规则挖掘出来,并加快过时告警关联规则的淘汰,提高预测的准确度和精度。     

粗糙集理论分析及其在农业数据中的应用

从数据库中挖掘有用信息,将难理解的纯数据变为容易利用的规则,从而为以后的决策提供依据。以粗糙集理论和规则提取算法为基础,将基于信息量的粗糙集属性约简算法和规则提取算法集成起来提出一种集成算法,应用粗糙集约简掉冗余属性,然后利用规则提取算法得出有效规则。将此集成算法应用于农业领域,得出规则,并且效果良好,理论分析和应用都表明了本算法的有效性和实用性。此集成算法可以应用于各种大型数据库中,从中得出有效规则,让历史数据为以后的决策服务。     

基于Rough Set的属性值约简算法研究

从逻辑的角度分析了属性值约简的本质及过程，在此基础上构造辨识矩阵，提出了一种基于Rough set的属性值约简新算法，并对此进行了证明。该算法比以往的算法更简便、直观，易于编程实现，也更易从本质上理解属性值约简的实质及过程，并且算法不破坏决策系统中的不一致规则所蕴含的信息量。实例分析表明该算法是有效可行的。     

基于关联规则的网络故障告警相关性分析

针对网络故障复杂、告警数据库信息量大等问题,提出一种改进的增量式关联规则挖掘算法。采用关联规则挖掘技术,对告警数据库中的更新规则进行增量关联规则挖掘,将传统告警分析方法与挖掘出的关联规则相结合,应用于网络故障告警相关性分析中。实验结果表明,该算法能减少冗余规则,提高挖掘效率。     

一种基于时间窗口的数据预处理算法

提出了一个基于时间窗口的数据预处理算法．面向具体应用,根据已有知识,此算法可以智能化地滤去一些“噪声”数据．与一般的定义不同．本文所谓的“噪声”数据是指那些由一些已知的规则决定性地影响着的数据,研究显示它们会对进一步的数据挖掘形成极大干扰．实际测试结果表明,本算法能够改善一些已有数据挖掘算法的执行效果．     

基于线性时间算法的故障树模块扩展分解方法

故障树分析被广泛应用于核工业、航空航天和交通控制等安全攸关领域的安全性分析中。然而,像核电站等大型工业所使用的大型故障树的分析需要耗费大量的计算资源,导致分析效率低下,时间消耗过多。为了解决此问题,对现有的线性时间算法进行改进,提出新的故障树简化规则和模块扩展分解算法。首先提出等效事件的概念,扩展线性时间算法所分解的模块数;在考虑时间复杂度和资源利用率的基础上,提出一套新的简化规则,以合理地去除故障树中的冗余信息。实验证明,提出的分解方法能有效地优化故障树分析,进一步减少大型故障树分析的计算时间和内存消耗。     

基于排挤遗传算法的入侵检测方法

传统遗传算法在入侵检测系统中构造的规则单一,导致检测率低,为了构造更加精确和完备的入侵规则,提出了一种基于确定性排挤遗传的规则构造算法,该算法使用确定性排挤来产生下一代种群,能够有效保持种群多样性,获得全部最优解。给出了算法的步骤和仿真,以网络数据集KDDCup99为对象,详细分析了利用该算法来生成入侵规则的具体实现过程,对染色体编码和适应度函数进行了设计和实现。最后通过实验证明了此算法的有效性,可以较好地获得入侵检测规则。     

基于决策熵的决策树规则提取方法

在决策表中,决策规则的可信度和对象覆盖度是衡量决策能力的重要指标。以知识粗糙熵为基础,提出决策熵的概念,并定义其属性重要性;然后以条件属性子集的决策熵来度量其对决策分类的重要性,自顶向下递归构造决策树;最后遍历决策树,简化所获得的决策规则。该方法的优点在于构造决策树及提取规则前不进行属性约简,计算直观,时间复杂度较低。实例分析的结果表明,该方法能获得更为简化有效的决策规则。     

基于相关矩阵的关联规则挖掘及其更新算法

目前已提出的告警序列关联规则挖掘算法都受到最小支持度的限制,仅能够得到频繁告警序列间的关联规则。针对该问题,该文提出一种以高相关度、高置信度为条件,基于相关度统计的挖掘算法。并对其数据更新问题进行了研究,提出一种增量式挖掘算法。实验结果显示,该算法可以高效、准确地挖掘出电信网络告警数据库中频繁和非频繁告警序列间的关联规则。