综合控制流与数据流分析的主机异常检测新方法

传统主机异常检测方法只针对控制流信息或数据流信息进行分析,在两个研究方向上产生了很大的分化,不能很好地吸取彼此的成果。基于这种情况,提出一种新的综合控制流与数据流分析的新方法。该方法首先使用系统调用定长序列构建模式库,再用关联规则挖掘方法挖掘同一模式或不同模式下属性间的关联规则,构建用于检测评估的两种规则集。实验结果表明,基于控制流上下文的数据流分析新方法能够发现先前数据流分析所不能发现的更精准更有用的规则从而检测出更多的异常行为。     

MARSW:一种高效的基于滑动窗口数据流关联规则挖掘方法

数据流中的关联规则在预测和在线分析系统中有重要应用.现有的研究大多集中在事务数据模型上,鲜有对数据项之间的关联规则挖掘.由于数据的实时性特点,用户又往往对新产生的数据所包含的信息更感兴趣.为了实时而准确地挖掘最近一段时间内数据项间的关联规则,提出了MARSW(mining association rules on sliding window)算法,利用滑动窗口模型对数据流进行关联规则挖掘.MARSW算法在给定的误差范围内,能够有效去除历史数据的影响,并以有限的空间代价快速挖掘大量数据间存在的关联规则.大量仿真实验结果表明,MARSW算法具有较高的效率和优良的可扩展性.     

数据流挖掘技术及其在仿真中的应用

随着仿真系统复杂程度的增加和规模的增大,仿真时间越来越长,仿真所产生的数据量越来越大,使得仿真数据具有数据流的特性,因此可以采用数据流挖掘技术处理仿真数据.综述了数据流和数据流挖掘技术的主要特点;提出了基于数据流挖掘技术的仿真应用框架;设计了通用数据流挖掘成员,以便能够快速将数据流挖掘算法集成到基于HLA体系结构的仿真系统中,并以导弹突防仿真系统为例介绍了所设计的通用数据流关联规则挖掘成员.     

基于时间衰减模型的模糊会话关联规则挖掘算法

现有的关联规则挖掘算法没有考虑数据流中会话的非均匀分布特性和历史数据的作用,并且忽略了连续属性处理时的“尖锐边界”问题。针对这些问题,本文提出一种基于时间衰减模型的模糊会话关联规则挖掘算法。首先,针对数据流中会话的非均匀分布特性,基于时间片对会话进行划分,完整的保留了时间片内会话之间的相关性信息;然后,采用模糊集对会话的连续属性进行处理,增加了规则的兴趣度和可理解性;最后,在考虑历史数据作用和允许误差情况的基础上,基于时间衰减模型挖掘数据流中的临界频繁项集和模糊关联规则。实验结果表明,本文方法在提高时间效率、降低冗余率和增加规则兴趣度方面存在明显优势。     

概念漂移数据流挖掘算法综述

数据流是一种新型的数据模型,具有动态、无限、高维、有序、高速和变化等特性。在真实的数据流环境中,一些数据分布是随着时间改变的,即具有概念漂移特征,称为可变数据流或概念漂移数据流。因此处理数据流模型的方法需要处理时空约束和自适应调整概念变化。对概念漂移问题和概念漂移数据流分类、聚类和模式挖掘等内容进行综述。首先介绍概念漂移的类型和常用概念改变检测方法。为了解决概念漂移问题,数据流挖掘中常使用滑动窗口模型对新近事务进行处理。数据流分类常用的模型包括单分类模型和集成分类模型,常用的方法包括决策树、分类关联规则等。数据流聚类方式通常包括基于k- means的和非基于k- means的。模式挖掘可以为分类、聚类和关联规则等提供有用信息。概念漂移数据流中的模式包括频繁模式、序列模式、episode、模式树、模式图和高效用模式等。最后详细介绍其中的频繁模式挖掘算法和高效用模式挖掘算法。     

时空大数据的缺失数据流关联修复仿真

传统方法对缺失数据进行修复,通常存在填补效果较差、所需时间较长和填补准确度较低等问题.提出一种针对时空大数据的缺失数据流关联修复方法.方法首先利用数据流之间的关联规则创建条件函数依赖,然后对数据流之间的关联相似度进行计算,并通过该相似度结果进一步计算缺失数据的加权值,完成对缺失数据和相应的临界点之间融合情况的检测.最后...     

基于兴趣度的关联规则挖掘

关联规则挖掘是数据挖掘领域中的重要研究内容之一。然而,传统的基于支持度-可信度框架的挖掘方法可能会产生大量不相关、甚至是误导的关联规则。针对现有关联规则挖掘的评价标准存在的问题,提出在评价标准中增加兴趣度,并给出了兴趣度的定义和基于兴趣度的关联规则挖掘算法。利用兴趣度将关联规则分为正关联规则和负关联规则,从而可以用算法挖掘带有负项的关联规则。实验结果分析表明,在传统挖掘方法的基础上引入兴趣度,可以有效地减少正关联规则的规模,产生有意义的负关联规则。     

基于兴趣度的关联规则挖掘

关联规则挖掘是数据挖掘领域中的重要研究内容之一。然而,传统的基于支持度-可信度框架的挖掘方法可能会产生大量不相关、甚至是误导的关联规则。针对现有关联规则挖掘的评价标准存在的问题,提出在评价标准中增加兴趣度,并给出了兴趣度的定义和基于兴趣度的关联规则挖掘算法。利用兴趣度将关联规则分为正关联规则和负关联规则,从而可以用算法挖掘带有负项的关联规则。实验结果分析表明,在传统挖掘方法的基础上引入兴趣度,可以有效地减少正关联规则的规模,产生有意义的负关联规则。     

基于传感器网络的关联规则挖掘算法研究

现有的传感器网络数据处理系统只能向用户提供简单的查询操作,如何高效地处理传感器网络的海量数据流,从中获取有用的知识成为新的挑战.提出一种基于传感器网络特性的分布式关联规则挖掘算法,采用树型通信结构,各个传感器通过改进的单一数据流频繁项集挖掘算法找出本地的局部频繁项集,并逐层上传、合并,最后由sink节点将所有子节点的局部频繁项集合并成全局的频繁项集,并产生相应的关联规则.实验证明该算法占用较少的计算时间和内存.     

利用关联规则建立专家系统的知识库

数据挖掘和专家系统同属人工智能领域。关联规则是数据挖掘的一种方法,它的最典型的应用是超市的购物篮分析。专家系统主要解决的是智能推理问题而关联规则侧重于各个数据项之间有价值的联系。通过对关联规则的Apriori算法及规则的产生方法进行改动,挖掘出可应用于专家系统的知识库中的决策规则,从而找出了利用关联规则挖掘出用于决策的规则的方法。     

On-line generation association rules over data streams

In order to efficiently trace the changes of association rules over an online data stream, this paper proposes a method of generating association rules directly over the changing set of currently frequent itemsets. While all of the currently frequent itemsets in an online data stream are monitored by the estDec method, all the association rules of every frequent itemset in the prefix tree of the estDec method are generated by the proposed method in this paper. For this purpose, a traversal stack is introduced to efficiently enumerate all association rules in the prefix tree. This online implementation can avoid the drawbacks of the conventional two-step approach. In addition, the prefix tree itself can be utilized as an index structure for finding the current support of the antecedent of an association rule. Finally, the performance of the proposed method is analyzed by a series of experiments to identify its various characteristics.     

基于聚类矩阵的入侵日志关联规则算法

分析已有的关联规则算法,提出一种基于聚类矩阵的入侵检测日志关联规则算法。当数据库和最小支持度发生变化时,只需扫描变动的数据即可得到新的频繁项集。实验结果表明,该算法只需扫描一次数据库,具有频繁k-项集生成速度快、节约时间等优点,能提高入侵检测日志数据库关联规则挖掘的效率,满足实时入侵检测系统的需要。     

一种基于关联规则挖掘的组织数据方法

针对在数据挖掘中采用二进制转换的方法，定义了二进制序列集的相关概念并为此提供依据。分析了事务与关联规则在二进制序列集中的表示方法及其在空间、时间上的复杂度。通过实验验证，在关联规则数据挖掘中采用二进制序列集这一组织数据方法是有效且可行的。     

图像数据高置信度关联规则的提取方法研究

在图像关联规则挖掘的某些领域,要求提取出具有较高置信度的关联规则,同时对支持度的要求相对较低。提出了一种在兼顾支持度的情况下挖掘出高置信度的图像关联规则的方法。为了便于有效地提取图像关联规则,使用了名为bSQ（bit Sequential）的一种栅格数据格式。而后采取“逐层搜索”的方法,建立规则树,避免了传统方法在处理低支持度时产生的大量频繁项集。最后通过多图像关联规则提取优先级和图像数据立方体等技术在多幅图像中提取基于象素级的关联规则。通过实验证明,该方法能有效地提取图像数据高置信度关联规则,方法具有可行性。     

基于知识表示学习的实时语义数据流推理

传统的语义数据流推理使用前向或后向链式推理产生确定性的答案,但是在复杂的传递规则推理中效率不高,无法满足实时数据流处理场景对答案的及时性要求。因此,提出一种基于联合嵌入模型的知识表示方法,并应用于语义数据流处理中。将规则与事实三元组联合嵌入并利用深度学习模型进行训练,在推理阶段,根据查询中涉及的规则建立推理模板,利用深度学习模型对推理模板产生的三元组进行预测和分类,将结果作为查询和推理答案输出。实验表明,对于复杂规则推理,基于知识表示学习的实时语义数据流推理能够在保障较好推理准确性和命中率的前提下有效地降低延迟。