CEStream:一种复杂事件流处理语言

复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理。该语言以XML等层次化数据为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,并且支持结构连接和正规式匹配。同时,针对分布式的多个事件流,其能够将各个事件源模式匹配的结果按照时间顺序再一次进行正规式模式匹配,满足多源组合型复杂事件的检测需求,具有较强的事件处理能力。为了实现CEStream语言,研制了一个基于流数据处理集群和远端查询代理的执行引擎系统。该系统通过远程查询代理实现基于正规树模式的事件检测,通过流处理集群完成多源组合型复杂事件处理。实验表明,该系统实现了CEStream语言,有效地限制了各个节点之间的通信量,充分利用了集群的计算能力,整体性能能够满足应用需求。     

一种基于算子的可扩展复杂事件处理模型

随着大数据处理的深入发展,系统单位时间内产生的数据日趋庞大,数据间的关联关系日趋复杂,这使得传统的“存储-查询”或者“发布-订阅”的方式无法很好地满足诸如故障监控、股票分析、医疗及生命保障等对大数据具有实时处理需求的系统。复杂事件处理技术实现的是将用户对特定的事件序列的查询需求映射到特定识别结构上。该结构从多个持续的数据流中分析并提取满足特定模式的事件序列。该技术能够很好地支持对大量数据进行实时在线分析。但由于在数据处理的过程中,系统不可能预置全部的查询语义,许多系统在使用过程中会需要使用新的语义,以查询新产生的模式。因此,一种支持扩展的语义的复杂事件处理模型是非常必要的。同时,现有的复杂事件处理模型仅针对某几类特定的查询进行描述以及优化,对整体模型缺乏统一描述,导致许多模型在多规则复杂查询的情况下效率欠佳。针对上述问题,提出了基于算子的可扩展复杂事件处理模型。该模型能够良好地支持现有的各类查询语义,具有较快的识别速度。基于该模型的形式化描述,对系统在识别过程中的性能消耗进行了详细分析,给出了模型构造最优算法。通过实验验证了算子模型优化方案的正确性。实验结果表明,经过优化后的树结构事件处理速度比开源复杂事件处理引擎Esper快3倍以上。     

分布式复杂事件流处理平台的研究

复杂事件处理是大数据时代的关键技术之一。针对现有的复杂事件处理平台存在的各种问题,提出并设计了一个以复杂事件流处理语言CEStream为基础的分布式复杂事件流处理平台,实现了基于正规树模式的事件检测功能,支持多数据源的复杂事件处理。针对多数据源组合事件模式的检测需求,该平台可以将复杂事件分解为多个独立的事件检测任务,部署在集群中不同节点和远端的事件检测代理上。实验结果表明,系统的吞吐量和响应时间达到了预期结果,可以满足目前主流的复杂事件处理的应用需求。     

面向物联网的分布式上下文敏感复杂事件处理方法

物联网产生的数据具有大数据特征,而这些数据难以用现有数据处理技术进行有效处理.作为物联网中间件的核心技术,复杂事件处理技术具备大数据的海量、复杂性等特征和实时处理的需求.上下文敏感是复杂事件处理引擎的重要特征.提出一种高效的面向物联网的分布式上下文敏感复杂事件处理架构和方法.该方法使用模糊本体进行上下文建模,以支持事件的不确定性及模糊事件查询问题.以基于模糊本体的查询和基于相似性的分布式推理为基础,生成复杂事件查询规划,并通过查询重写,把上下文相关查询转换为上下文无关子查询.根据不同的事件模型和上下文划分数据,并通过优化和多级并行来提高性能.实验结果表明该方法能够处理模糊事件上下文,对于面向物联网的分布式上下文敏感复杂事件处理具有比一般方法更好的性能和可伸缩性.     

一种支持流数据的查询语言

流数据的查询应用十分广泛,而标准SQL语言不支持这类查询功能,因此有必要对标准SQL语言进行扩展,以满足流数据的查询应用需求。支持流数据的查询语言StreamSQL在标准SQL语言的基础上增加了对流数据对象的处理机制,通过引入滑动窗口的概念,以支持流数据与关系表的相互转换操作,同时提供用户自定义函数功能,弥补了SQL在流数据处理方面的不足。     

分布式上下文敏感复杂事件处理方法

针对物联网事件云的复杂事件处理面临的海量事件规模、分布式数据处理、上下文相关等挑战,提出一种分布式的上下文敏感复杂事件处理方法。该方法基于模糊本体进行事件上下文的表示和推理,通过查询重写支持事件上下文处理,并基于查询规划和数据划分进行分布式处理与启发式优化。实验结果表明,该方法能够处理模糊事件上下文,对于大规模物联网事件云上下文敏感复杂事件的处理具有比一般方法更好的性能和可伸缩性。     

一种基于事件处理函数的GUI测试方法

事件处理函数响应用户GUI(graphic user interface)操作并完成软件预定义功能,事件处理函数以及事件处理函数之间的关系实现是否与规约一致,是GUI 测试的重点.针对现有的基于模型GUI 测试用例自动生成过程中面临的测试用例规模庞大以及生成的测试用例无效问题,从分析事件处理函数的角度出发,提出了一种GUI 测试模型EHG.针对此模型,结合事件处理函数及其代码结构,提出了两个测试覆盖准则：完整最短路径覆盖准则和完整最短路径定义-引用对覆盖准则;利用基于反馈的测试用例生成技术生成测试用例.实验结果表明,针对较为复杂的应用,该方法不仅能够有效控制测试用例规模,消除无效测试用例,而且生成的测试用例能有效提高事件处理函数的代码结构覆盖率.     

在线RFID多复杂事件查询处理技术

在线无线射频识别(radio frequency identification,RFID)数据流上的复杂事件处理技术是一个新的课题。现有研究工作仅是针对单一的复杂事件查询,没有考虑多复杂事件同时查询的处理策略。在复杂事件语言SASE(stream-based and shared event processing)的基础上设计了专门针对多查询的自动机及相关的优化技术,解决了RFID数据流上多复杂事件查询的问题。实验结果表明,算法在查询数量较大时,时间与空间上较传统算法有更好的表现。     

基于SQL的HBase查询的设计与实现

在互联网和大数据时代下,SQL关系型数据库已不能适应与日俱增的数据量,HBase等NoSQL数据库变得极为重要。但HBase数据库操作较为复杂,本文设计并实现基于SQL的HBase查询,可以使HBase的使用者通过熟悉的SQL查询语句操作HBase数据库。首先构建SQL语言的编译器,将SQL语句转化成语法树,再将语法树转化为HBase的相关操作。使用协处理器处理SQL查询语句中的聚合函数和复杂表达式,并可以使用连接查询。     

复杂事件处理技术及其应用综述

近年来,处理更高级别的事件(通常被称为业务事件)的需求迅速扩大,复杂事件处理(Complex Event Processing,CEP)的发展满足了这些新的市场需求。CEP能结合来自多个数据源的数据来推断更为复杂的事件或模式。CEP的目标是从事件流中找出有意义的事件(如机会或威胁),并尽快做出反应。文本介绍了CEP的研究现状,包括通用的参考架构,代表性的CEP系统及其事件处理语言,以及最常见的应用场景。     

一种事件驱动的数据流查询模型

分析数据流上事件的语义和特点,建立了事件驱动的数据流模型EQM.提出一种具有事件监控,事件定义和事件驱动功能的语言EQL,讨论了事件监控和事件驱动查询的优化算法以及相关的效率问题和实时性.实验表明,该模型在解决数据流上事件相关问题比现有的数据流模型和处理方法有着更好的性能.     

基于有序事件列表的高效复杂事件匹配算法

针对现有的复杂事件匹配处理方法存在的匹配代价高的问题,提出了一种利用事件缓冲区（有序事件列表）进行递归遍历的复杂事件匹配算法ReCEP。不同于现有方法利用自动机在事件流上进行匹配,该算法将复杂事件查询模式中的约束条件分解为不同类型,再在有序列表上对不同约束分别进行递归校验。首先,根据查询模式将相关事件实例按照事件类型进行缓存;其次,在有序列表上对事件实例执行查询过滤操作,并给出了一种基于递归遍历的算法来确定初始事件实例并且获取候选序列;最后,对候选序列的属性约束进行进一步的校验。基于股票交易模拟数据进行的实验测试和分析的结果表明,与当前主流的匹配方法 SASE和Siddhi相比,ReCEP算法能够有效地减少查询匹配的处理时间,总体性能上均更优,查询匹配效率提升了8.64%以上。可见,所提出的复杂事件匹配方法能够有效提高复杂事件匹配的效率。     

面向CPS复杂事件流的不确定性研究

信息物理融合系统CPS获得广泛应用需要解决的一个关键问题是软件中的信息处理部分,而复杂事件处理是CPS中信息处理的核心任务之一。CPS环境下的事件具有异构、分散、海量和不确定性等特征。在CPS实际应用中,因噪声、传感器误差、通讯技术等原因而造成的事件不确定性急需解决。为了解决CPS系统中存在的海量不确定事件流问题,提出一种处理不确定事件流的复杂事件处理方法USCEP,该方法不仅可以实时有效地处理海量不确定事件流,还可以有效计算复杂事件的概率。USCEP对现有RFID复杂事件监测方法 RCEDA进行了改进,提供了历史概率事件查询处理的支持,提出一种事件概率模型进行概率计算,并通过关联查询表来提高效率。实验表明,在处理不确定事件流时,该方法比传统方法具有更好的性能。     

InforSIB事件代数的形式化框架与代数性质

复合事件处理系统多节点处以及系统外部生成的大量的、连续到达的事件,通过规则匹配、推理等方法对事件模式进行检测,连续输出经过组合后的复合事件,以触发相应的后继处理。事件查询语言是规约事件模式的声明性语言,事件代数决定了事件查询语言的表达能力,同时也间接影响了事件检测的性能。因此,在权衡检测性能与事件查询语言的表达能力时,深入分析事件代数是非常重要的手段。基于White事件代数,扩展了事件代数的形式化框架,在形式化框架中考虑复合事件在更精细的时间关系下的语义定义,以增强事件代数的表达能力,同时考虑与应用相关的事件选择和消费策略-上下文策略,以提高事件检测的性能。讨论了InforSIB事件代数的代数性质,提出的上下文策略非常适合用于实时监控等领域,且具有良好的代数性质,保证了复合事件检测的时间和空间复杂度是有界的。     

基于事件共享机制的物联网复杂事件处理方法

针对物联网(IOT)复杂事件查询处理过程中的重复查询、存储和处理的问题,提出了事件共享机制(ESM)。首先,为了实现复杂事件的查询与检测,给出了物联网语义事件定义及事件操作符的语义描述;其次,从公共子查询的定义、公共内部查询结构的设计以及事件资源的共享三个角度对物联网事件共享机制展开研究,通过查询表达式的重写、有向无环图(DAG)的构建,以及在结点上使用改进的Continuous参数上下文对事件流进行处理,实现公共子事件查询、存储和处理的共享;最后,构建了基于事件共享机制的语义形式化查询计划处理模型(SFQPM),该模型可自动对查询表达式和查询谓词进行处理,实现复杂事件检测和处理的自动化。仿真结果表明,与基于二叉树(BTree)的处理方法进行对比,所提出的SFQPM具有较高的处理效率和可靠性,实现了复杂事件检测与中间结果共享机制的有机统一,提高了系统的处理效率。最后通过案例研究验证了所提出算法的有效性和可行性。     

基于双数组trie树的多模式复杂事件检测方法

制造物联网中海量实时数据流急需高效的事件检测与处理方法，高效意味着单位时间内使用较小的存储空间处理更多的输入事件。提出一种基于双数组trie树的多模式复杂事件检测方法，通过构建多模式匹配自动机模型减少查询过程中冗余的检测和计算，并利用双数组trie树充分压缩存储空间，从而提高了复杂事件处理的效率。仿真实验表明，提出的方案相比传统的单模式复杂事件检测，具有较小的空间和时间消耗。     

基于Drools规则引擎的物联网数据查询方法设计

物联网(IoT)数据具有数据量大和实时性好的特点。通过复杂事件处理技术处理物联网数据时需要设置复杂的规则,但规则往往会随着业务的变化而变化。Drools规则引擎可以通过分离的配置文件设置规则,在不修改设备数据或管理平台代码的情况下,筛选到匹配规则的数据或事物。为解决DRL规则文件架构和决策表文件架构筛选数据产生的重复匹配的冗余问题,设计了一种修正数据库的数据查询方法。在不同数据量、不同规则数的查询环境下,对DRL规则文件架构、决策表文件架构和修正数据库架构进行了数据查询性能分析。实验结果表明：修正数据库架构在大数据量查询时时间损耗更少,可有效减少冗余。