一种安全事件模糊关联规则挖掘算法

随着信息技术和数据库技术的飞速发展,从大量的数据中获取有用的信息和知识变得越来越重要。模糊关联规则挖掘是数据挖掘中针对数量型属性关联规则发现的一种有效方法。提出了一种基于矩阵的模糊关联规则挖掘算法,并将其应用于网络安全事件关联分析中,通过对DARPA标准数据集的分析,得出了预期数量的关联规则,并成功验证了某些攻击场景,该模糊关联规则挖掘算法取得了较好的实验结果。     

基于矩阵的模糊关联规则挖掘算法及其应用研究

针对布尔型关联规则不能表达挖掘对象中模糊信息的关联性,给出了一系列有关模糊关联规则的定义,并提出了一种基于矩阵结构的模糊关联规则数据挖掘算法(FARMBM).该算法通过构造矩阵结构来压缩存储模糊模式候选集和频繁集,有效节约了存储模糊模式候选集和模糊模式频繁集内存花销,只需扫描数据库两遍,且可以有效减少系统的I/O开销.这里把FARMBM运用到入侵检测的仿真实验中,实验结果表明,该算法是有效的.     

大数据环境下并行数据流预测及优化方法

以模糊集成联机分析处理(On-Line Analytical Processing,OLAP)为基础对关联规则挖掘算法进行改进,该算法为多维联机研究提供一种关联规则计算架构。基于模糊数据立方体的知识发现,为用户提供灵活的多维数据层次抽象模式。在多维数据集的多维属性处理中,引入模糊数据立方体作为问题措施补充,并利用不同层次的模糊关联规则构造模糊数据立方体,然后利用权重和多层次的概念构建模糊加权多层次关联规则。最后,通过对所提算法在合成数据集以及2000年中国人口普查的数据仿真测试,验证了基于OLAP的挖掘方法要比离散关联规则挖掘方法、单独支持阈值关联规则及最小挖掘项集关联规则三种对比算法,在最小支持度、置信度、权重均值等指标上,性能更加优异。     

基于改进关联规则的危险Web信息挖掘技术研究

在Web网络中承载着不同的协议和网络信道,由此产生危险信息,给网络信息空间带来安全威胁,通过对危险Web信息的准确挖掘,可净化网络空间,确保网络安全。传统方法采用模糊关联规则算法进行危险Web信息分类挖掘,在干扰背景下,模糊聚类过容易受到干扰,导致很难建立有效的关联规则,挖掘效率较低。提出一种基于改进关联规则的危险Web信息挖掘技术。在建立关联规则前,引入Takens定理进行危险Web信息数据的相空间重构,构建Web网络的危险信息挖掘的信道模型,并对危险Web信息的信息流多源进程进行分类设计。设计自适应IIR级联滤波算法进行数据干扰滤波,运用以上方法对规则关联过程进行改进,实现危险Web信息的准确挖掘。仿真实验进行了性能验证,结果表明,采用该算法进行危险Web数据挖掘,去干扰性能较好,精度较高。     

基于时间序列分析的频谱异常自主检测和稳健估计方法

复杂电磁环境和无用频先验知识条件下有效检测电磁频谱异常使用信息,是无线电监测和电磁环境评估等领域的重要难题.本文基于时间序列分析理论,通过构建反映有限频谱占用度序列动态依存关系且包含频谱异常值的时序模型,实现对无线电频谱异常的自主检测和稳健估计.研究结果表明,该方法无需用频数据库或无线电监测历史数据支持,能够有效识别典型频谱异常类型、发生时间以及异常影响强度等信息;同时通过对频谱占用度时序模型的稳健估计,能够显著降低模型拟合误差,提高模型对外部干扰环境的适应性和鲁棒性.     

复杂电磁频谱管理方案效果评估方法研究

复杂电磁环境下的电磁频谱管理方案效果评估非常复杂,很难用单一指标进行评估,通常采用多指标评估的方式.建立了电磁频谱管理方案效果评估指标体系,分析了多种多指标评估方法(包括主成分分析法、理想解法、灰色关联分析法等),得出了一种较可靠的集成评估方法,并进行了仿真分析.     

关联分析研究的进展

关联规则的发现是数据挖掘的一个重要方面,由于信息数据的急剧增长,面对浩如烟海的海量数据,为把这些数据转换成被人类充分利用的有价值信息,对关联规则挖掘算法进行研究就显得异常重要。总结了当今各种关联规则挖掘算法并对其加以分类,阐述了各类关联规则算法的特点,列举算法之间的差异,在时间和空间上进行比较,并且在此基础上对关联规则挖掘的未来趋势进行了分析和展望。     

关联规则中基于模糊遗传算法的研究与改进挖掘技术

网络数据通常以爆炸式的聚集形式出现,导致曾提出的关联规则挖掘方法挖掘性能不好。基于上述原因,提出一种关联规则中基于模糊遗传算法的挖掘方法,此方法通过构建挖掘模型,将关联规则与模糊遗传算法融合在一起,进而给出待挖掘数据的适应度函数,并使用阈值对其进行限制。模糊遗传算法将对适应度函数进行交叉分配和编译分配,以改进方法的隶属度线性状态,获取更为有效的挖掘结果。实验结果表明,改进后的方法挖掘稳定性较强,挖掘精度较高,且挖掘时间较少。     

云安全审计中基于日志的用户行为分析

云存储将网络中大量不同类型的存储设备集合起来协同工作,共同对外提供数据存储服务。由于其特征上存在着用户和服务商之间的信任博弈,因此构建一个健康、公平、安全的云数据服务环境,对云数据的状态及操作过程执行客观、公正的安全审计尤为重要。为此,提出一种基于用户行为日志分析的云安全审计解决方案,通过制定数据"用户行为"描述,从功能上实现基于用户行为的系统日志信息分析,同时改进现有关联规则挖掘算法,提出一种针对长序列的关联规则挖掘算法。最后通过实验表明该方案可有效地实现云安全审计中隐私数据泄露的追踪与取证。     

基于Spark的精准关联规则挖掘算法实现

为在大数据环境中精确地进行关联规则挖掘,基于分布式框架Spark,改进关联规则挖掘算法Apriori,解决使用该算法处理大规模数据时遇到的单机内存资源限制和性能缺陷,同时保证结果准确度。利用开源数据集和海量轨迹数据集评估算法的有效性,实验结果表明:与传统方法相比,改进后的Apriori算法进行规则挖掘能够得到相同准确度的结果,并且通过增加处理节点的数量灵活扩展待挖掘数据规模,从而使关联规则挖掘不再受数据规模限制。     

模糊FP-growth在入侵检测中的应用

关联规则挖掘技术目前被广泛应用于入侵检测系统中。关联规则挖掘算法之一的FP-growth算法在处理数值量的输入时需要二值化,使得准确率不高;而Fuzzy Apriori算法需要重复扫描数据库,效率较低。针对此问题,改进现有的FP-growth算法,提出模糊化FP-growth算法,从而提取模糊关联规则,用于N类异常数据的分类入侵检测。在KDDCup＇99数据集上评估,结果表明对于数值量的输入,该方法应用于入侵检测准确率高于FP-growth算法,学习效率高于Fuzzy Apriori算法。     

基于项权值排序挖掘的跨语言查询扩展

为了改善自然语言处理应用中长期存在的主题漂移和词不匹配问题,本文首先提出一种加权项集支持度计算方法和基于项权值排序的剪枝方法,给出面向查询扩展的基于项权值排序的加权关联规则挖掘算法,讨论关联规则混合扩展、后件扩展和前件扩展模型,最后提出基于项权值排序挖掘的跨语言查询扩展算法.该算法采用新的支持度和剪枝策略挖掘加权关联规则,根据扩展模型从规则中提取高质量扩展词实现跨语言查询扩展.实验结果表明,与现有基于加权关联规则挖掘的跨语言扩展算法比较,本文扩展算法能有效遏制查询主题漂移和词不匹配问题,可用于各种语言的信息检索以改善检索性能,扩展模型中后件扩展获得最优检索性能,混合扩展的检索性能不如后件扩展和前件扩展,支持度对后件扩展更有效,置信度更有利于提升前件扩展和混合扩展的检索性能.本文挖掘方法可用于文本挖掘、商务数据挖掘和推荐系统以提高其挖掘性能.     

一个保护私有信息的布尔关联规则挖掘算法

本文基于随机响应技术,提出了一种在保护隐私的关联规则挖掘中对数据进行伪装的方法;设计了在伪装的数据集上进行挖掘的算法;分析了算法的效率.实验结果表明,该算法在伪装的数据集上挖掘出的规则与原始规则相比,相对误差不超过2％,并给出了使得相对误差最小时相关参数的取值.     

基于位运算与海明距离的Apriori算法改进

关联规则现在已成为数据挖掘领域中非常重要的研究课题,用于发现隐藏在大型数据集中的令人感兴趣的联系。Apriori算法作为第一个关联规则挖掘算法,开创性地使用了基于支持度的剪枝技术,系统地控制了候选项集的指数增长。但是,Apriori算法仍然存在着频繁扫描数据库和产生大量候选项集的缺点。鉴于此,提出了用一个整型或整型数组来代替一项事务集和一项候选项集,通过数据压缩,可以一次性将海量数据载入内存,减少了磁盘I/O负载,并通过位运算与计算海明距离达到计算支持度的目的,同时使用了若干优化方法。     

基于数据挖掘技术的字典生成方法

随着信息技术和数据技术的飞速发展,从大量的数据中获取有用的信息和知识变得越来越重要。聚类分析和关联规则挖掘是数据挖掘中的核心技术。文中基于数据挖掘技术和口令因子的概念,提出一种崭新的用户口令字典生成方法,通过对原始的用户口令进行数据挖掘,分析在用户口令中所隐含的口令因子关联规则,将所获得的口令因子关联规则成功地应用在用户口令字典生成中,并在WinRAR文件破解中取得了良好的效果。     

具有语义最小支持度的关联规则挖掘方法

现有的关联规则挖掘方法中,大多采用单一的最小支持度.实际上,应该根据数据的特点设置不同的最小支持度.文中针对这一问题,将语义信息引入关联规则挖掘之中,提出了具有语义最小支持度的关联规则挖掘方法.该方法首先计算项目之间的语义相关度,然后根据候选集的语义相关度对候选集合进行过滤,最后根据候选集的语义相关度,确定其语义最小支持度.实验表明:具有语义最小支持度的关联规则挖掘方法比传统的关联规则挖掘方法能够更好地实现关联规则的挖掘.     

粗糙集数据挖掘及其在汽轮机故障诊断中的应用

针对当前专家系统知识获取瓶颈的难题,提出了基于粗糙集数据挖掘的汽轮机故障预报及诊断方法。将汽轮机故障历史数据首先进行模糊化及离散化处理,然后构建故障诊断决策表,以决策表作为主要工具,即“知识库”,采用粗糙集数据挖掘方法直接从决策表中提取出潜在的诊断规则,为汽轮机提供有效的故障诊断。提出了基于粗集的分类规则学习和约简算法,实现了基于粗糙集数据挖掘的汽轮机故障预报及诊断系统,其诊断正确率达到了88%。实验表明该方法可行,对汽轮机故障预报及诊断系统的设计具有借鉴意义和深入研究的价值。     

基于语言值模糊关系的关联规则挖掘算法

针对模糊关联规则挖掘时隶属函数的确定困难以及区间划分边界过硬等问题,提出了模糊关系关联规则挖掘算法,确定了关系等级数目和相邻等级相似度,将语言表达式(事务的属性值)根据模糊运算规则映射到标签集的各个等级上得到等级权值。在这些权值的基础上定义了模糊关系支持度和置信度,阐述了算法的详细步骤,最后给出了算法在服务信任领域挖掘关联规则的应用过程。