基于动态匹配策略的复杂事件处理方法

复杂事件处理技术是在事件流中检测特定事件模型的分析技术。当前主流的复杂事件匹配方法在查询模式中按照事件连续性严格程度设置了匹配策略约束,这些特定的匹配策略由于设置粒度粗,所以难以根据需求精细调节匹配结果,造成匹配结果的冗余和匹配效率的不足。针对当前主要匹配策略存在的冗余问题,提出基于动态匹配策略的复杂事件处理方法,设计支持动态匹配策略的查询模式及基于查询模式的匹配方法。通过动态调节复杂事件实例的派生约束,实现匹配结果可调节的同时提升匹配性能。在模拟数据集上对方法进行对比实验。实验结果表明,提出方法可以有效调节匹配结果,并提高整体匹配性能。     

面向RFID数据处理的复杂事件模式匹配方法

RFID数据具有不确定性,复杂事件处理技术将RFID数据看作不同类型的事件,从事件流中检测符合特定匹配模式的复杂事件。概率事件流分为多项概率事件流和单项概率事件流;针对多项概率事件流,提出NFA-MMG模式匹配方法,亦即使用多个有向无环图结合自动机实现模式匹配。针对单项概率事件流,提出NFA-Tree模式匹配方法,亦即使用匹配树结合自动机实现模式匹配;并提出改进的NFA-Tree方法,即基于概率阈值进行过滤,提高结果过滤效率。实验结果验证了上述模式匹配方法的性能优势。     

面向物联网的分布式上下文敏感复杂事件处理方法

物联网产生的数据具有大数据特征,而这些数据难以用现有数据处理技术进行有效处理.作为物联网中间件的核心技术,复杂事件处理技术具备大数据的海量、复杂性等特征和实时处理的需求.上下文敏感是复杂事件处理引擎的重要特征.提出一种高效的面向物联网的分布式上下文敏感复杂事件处理架构和方法.该方法使用模糊本体进行上下文建模,以支持事件的不确定性及模糊事件查询问题.以基于模糊本体的查询和基于相似性的分布式推理为基础,生成复杂事件查询规划,并通过查询重写,把上下文相关查询转换为上下文无关子查询.根据不同的事件模型和上下文划分数据,并通过优化和多级并行来提高性能.实验结果表明该方法能够处理模糊事件上下文,对于面向物联网的分布式上下文敏感复杂事件处理具有比一般方法更好的性能和可伸缩性.     

分布式上下文敏感复杂事件处理方法

针对物联网事件云的复杂事件处理面临的海量事件规模、分布式数据处理、上下文相关等挑战,提出一种分布式的上下文敏感复杂事件处理方法。该方法基于模糊本体进行事件上下文的表示和推理,通过查询重写支持事件上下文处理,并基于查询规划和数据划分进行分布式处理与启发式优化。实验结果表明,该方法能够处理模糊事件上下文,对于大规模物联网事件云上下文敏感复杂事件的处理具有比一般方法更好的性能和可伸缩性。     

基于事件共享机制的物联网复杂事件处理方法

针对物联网(IOT)复杂事件查询处理过程中的重复查询、存储和处理的问题,提出了事件共享机制(ESM)。首先,为了实现复杂事件的查询与检测,给出了物联网语义事件定义及事件操作符的语义描述;其次,从公共子查询的定义、公共内部查询结构的设计以及事件资源的共享三个角度对物联网事件共享机制展开研究,通过查询表达式的重写、有向无环图(DAG)的构建,以及在结点上使用改进的Continuous参数上下文对事件流进行处理,实现公共子事件查询、存储和处理的共享;最后,构建了基于事件共享机制的语义形式化查询计划处理模型(SFQPM),该模型可自动对查询表达式和查询谓词进行处理,实现复杂事件检测和处理的自动化。仿真结果表明,与基于二叉树(BTree)的处理方法进行对比,所提出的SFQPM具有较高的处理效率和可靠性,实现了复杂事件检测与中间结果共享机制的有机统一,提高了系统的处理效率。最后通过案例研究验证了所提出算法的有效性和可行性。     

复杂事件处理中时间窗口的改进

针对各种复杂事件处理引擎的优缺点,考虑特别查询和时间窗口2项关键技术,提出一种改进的实现方法。对已有引擎的优缺点进行对比,采用增加预处理和调度模块的方法,实现STREAM系统的改进版本SPSA。实验结果证明,该改进能在特定的条件下提高系统效率、降低系统压力。     

面向制造业的RFID复杂事件处理

在自动数据采集中,如何维持无线射频识别(RFID)技术对海量数据的处理效率极为重要。针对RFID数据的特点以及目前RFID数据处理方法的不足,提出一种基于复杂事件处理的RFID数据处理模型,并提供相关的定义,阐述其功能模块及解决方案。该模型实现了从大量的RFID原始数据中提取出对应用程序有意义的事件。最后以面向制造业的RFID应用为例对基于复杂事件处理技术的RFID数据处理模型进行了研究并说明了其应用优势。     

实时复杂事件处理的最坏响应时间估算

实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成.确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间.现有针对一般程序的估算方法需要标注对象程序中子程序执行次数的取值范围.然而,CEP程序较为复杂,难以直接获知子程序执行次数的取值范围.虽然执行次数间存在关联关系,可以间接求解出取值范围,但这样得到取值范围不够严格,使估算精度较低,因此现有估算方法难以直接使用.提出一种CEP程序的最坏响应时间估算方法.采用新标注方式,通过对CEP程序的检测结构进行分析,归纳出子程序执行次数间的关联约束,并使用关联约束进行标注,替代了标注其取值范围,避免了标注困难.实验表明方法具有较高估算精度.     

面向CPS复杂事件流的不确定性研究

信息物理融合系统CPS获得广泛应用需要解决的一个关键问题是软件中的信息处理部分,而复杂事件处理是CPS中信息处理的核心任务之一。CPS环境下的事件具有异构、分散、海量和不确定性等特征。在CPS实际应用中,因噪声、传感器误差、通讯技术等原因而造成的事件不确定性急需解决。为了解决CPS系统中存在的海量不确定事件流问题,提出一种处理不确定事件流的复杂事件处理方法USCEP,该方法不仅可以实时有效地处理海量不确定事件流,还可以有效计算复杂事件的概率。USCEP对现有RFID复杂事件监测方法 RCEDA进行了改进,提供了历史概率事件查询处理的支持,提出一种事件概率模型进行概率计算,并通过关联查询表来提高效率。实验表明,在处理不确定事件流时,该方法比传统方法具有更好的性能。     

复杂事件处理技术及其应用综述

近年来,处理更高级别的事件(通常被称为业务事件)的需求迅速扩大,复杂事件处理(Complex Event Processing,CEP)的发展满足了这些新的市场需求。CEP能结合来自多个数据源的数据来推断更为复杂的事件或模式。CEP的目标是从事件流中找出有意义的事件(如机会或威胁),并尽快做出反应。文本介绍了CEP的研究现状,包括通用的参考架构,代表性的CEP系统及其事件处理语言,以及最常见的应用场景。     

分布式RFID数据流的复合事件检测方法*

针对当前RFID(radio frequency identification)复合事件处理技术在性能和处理分布式应用方面的不足,提出了一种基于CORBA（分布对象请求代理体系结构）的分布式复合事件处理模型以及高效的基于查询规划和代价估算的分布式复合事件处理方法。实验结果表明,该方法在处理大规模的分布式RFID应用时是有效的。     

在线-离线数据流上复杂事件检测

随着数据采集和处理技术的发展,在物联网对象跟踪、网络监控、金融预测、电信消费模式等领域中进行事件检测显得越发重要.事件检测在一次扫描数据流的假设下完成,数据流在被处理完后丢弃.事实上,很多应用场景中,历史数据流因含有丰富的信息而不能简单丢弃,且一些事件检测查询需要同时在实时和历史数据流上进行.鉴于已有复杂事件检测很少考虑同时在实时-历史数据流上进行模式匹配,作者研究了在线-离线数据流上复杂事件检测的关键问题.主要工作如下:(1)针对滑动窗口内产生的大量模式匹配中间结果,提出利用时态关系和时空关系管理中间结果的方法 TPM和STPM.STPM以中间结果的时态和状态信息为权值对中间结果进行管理,将最近的、最有可能更新状态的中间结果置于内存,极大地减少了中间结果的读取操作代价.(2)给出了基于选择度的在线-离线复杂事件检测优化算法;(3)给出了算法的复杂性分析和代价模型;(4)在基于时空关系的中间结果管理模型下,在一个在线-离线复杂事件检测原型系统中进行实验,对多个参数(子窗口大小,选择度,匹配率,命中率)进行了算法对比分析.实验结果充分验证了所提出的算法的可行性和高效性.     

A high performance engine for concurrent complex event processing

This paper describes the architecture, prototype implementation and performance analysis of a complex event processing engine that can scale up to very large numbers of concurrent events while keeping the requirements on system resources predictable and low. The main innovation of this approach is that each instantiated event pattern is handled by a dedicated Erlang process, instead of a single or shared operating system thread. This in turn, reduces the latency in processing the event processing as it avoids the overheads associated with resource contention. We demonstrate how this approach can achieve linear event processing times under high event loads, using modest computing resources. Copyright © 2013 John Wiley & Sons, Ltd.     

原始RFID数据流上复杂事件处理研究

一般的RFID复杂事件检测是建立在经过数据清洗的数据模型上,但RFID数据清洗往往代价较高且目的单一,更为影响效率的是其数据清洗步骤和复杂事件处理步骤需要扫描数据流两次.针对这些问题,提出直接在原始RFID数据流上进行复杂事件处理,将数据清洗步骤与复杂事件处理步骤相结合的方法,并设计出了集成此方法的复杂事件处理引擎架构,最后编程实现了上述架构的处理引擎.通过大量对比实验分析验证了该方法的正确性与高效性.     

Web服务环境中的复杂事件处理*

事件驱动的SOA结合使用了SOA的请求—响应模式和事件驱动架构的事件发布—提交模式。服务和事件处理的结合产生了更好的敏捷性,对于现代业务流程中产生的海量事件流,通过复杂事件处理提供即时过滤、聚集和关联事件的功能,使解决方案能够以极快的速度迅速标志出有价值的事件,使企业具备对此作出即时反应的能力。提出Web服务环境中的复杂事件处理架构,在基于WSRF(Web service resource properties framework)的环境下实现Web服务之间事件通知机制的规范。应用通知生产者和通知消费者来     

复杂事件处理技术及其在物流物联网中的应用

复杂事件处理(CEP)技术是目前对高速事件流中蕴含信息进行实时分析的最佳技术,重点应用于事件驱动架构系统中,能够帮助业务应用实现智能化处理。为报告其研究发展现状,在给出CEP基本含义及显著特征的基础上,首先提出了由9个模块组成的CEP系统通用结构模型;然后综述了模型中重要部分相关关键技术的分类与形式化基础;同时设计了CEP在物流物联网中综合应用的框架模型,由此得出了CEP技术的优点及作用;最后指出了目前存在的不足及未来的研究方向。从理论与实践两方面对CEP技术进行了系统、详细、深入的剖析,以期推动其继续发展。     

基于有序事件列表的高效复杂事件匹配算法

针对现有的复杂事件匹配处理方法存在的匹配代价高的问题,提出了一种利用事件缓冲区（有序事件列表）进行递归遍历的复杂事件匹配算法ReCEP。不同于现有方法利用自动机在事件流上进行匹配,该算法将复杂事件查询模式中的约束条件分解为不同类型,再在有序列表上对不同约束分别进行递归校验。首先,根据查询模式将相关事件实例按照事件类型进行缓存;其次,在有序列表上对事件实例执行查询过滤操作,并给出了一种基于递归遍历的算法来确定初始事件实例并且获取候选序列;最后,对候选序列的属性约束进行进一步的校验。基于股票交易模拟数据进行的实验测试和分析的结果表明,与当前主流的匹配方法 SASE和Siddhi相比,ReCEP算法能够有效地减少查询匹配的处理时间,总体性能上均更优,查询匹配效率提升了8.64%以上。可见,所提出的复杂事件匹配方法能够有效提高复杂事件匹配的效率。