CEStream:一种复杂事件流处理语言

复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理。该语言以XML等层次化数据为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,并且支持结构连接和正规式匹配。同时,针对分布式的多个事件流,其能够将各个事件源模式匹配的结果按照时间顺序再一次进行正规式模式匹配,满足多源组合型复杂事件的检测需求,具有较强的事件处理能力。为了实现CEStream语言,研制了一个基于流数据处理集群和远端查询代理的执行引擎系统。该系统通过远程查询代理实现基于正规树模式的事件检测,通过流处理集群完成多源组合型复杂事件处理。实验表明,该系统实现了CEStream语言,有效地限制了各个节点之间的通信量,充分利用了集群的计算能力,整体性能能够满足应用需求。     

大数据复杂事件分析方法研究与应用

复杂事件处理（Complex Event Processing, CEP）是一项伴随流式数据而出现的技术,用于不同数据源顺序混杂的事件流中发现感兴趣的事件模式。然而,随着数据量的不断递增,传统的CEP技术往往不能满足在大数据集上有效获取事件模式的处理需求。针对这一问题,本文结合数据挖掘中聚类分析与关联规则的思想,提出一种“复杂事件处理”算法,〖JP2〗并把其部署到分布式平台Hadoop上,从而发现大数据集中的复杂事件关系,有效地改变了传统技术面临海量数据的局限性。最后,应用本文算法到GPS大数据集中,发现其中的复杂事件模式,并通过实验验证本文方法具有可行性与有效性。     

复杂事件处理技术及其应用综述

近年来,处理更高级别的事件(通常被称为业务事件)的需求迅速扩大,复杂事件处理(Complex Event Processing,CEP)的发展满足了这些新的市场需求。CEP能结合来自多个数据源的数据来推断更为复杂的事件或模式。CEP的目标是从事件流中找出有意义的事件(如机会或威胁),并尽快做出反应。文本介绍了CEP的研究现状,包括通用的参考架构,代表性的CEP系统及其事件处理语言,以及最常见的应用场景。     

针对泊松流的截止期敏感的复杂事件处理资源分配模型

随着无线射频识别等监控技术的发展,事件流上的复杂事件处理技术得到了广泛的关注.现有的事件流处理技术主要提供尽最大努力(Best-Effort)式的服务来减少平均响应时间,这种方式并不能在确定的时间延迟需求下输出更多的结果.针对监控应用中的确定性服务质量需求,讨论了常见的泊松监控流上的截止期敏感的复杂事件处理最优化资源分配问题.从系统服务角度对事件的到达和复杂事件处理进行了理论分析和建模,提出了复合事件的截止期满足率模型和多事件流处理乱序反馈修正模型,进而给出最优化资源分配模型.通过合理的分配处理资源,保证了在实时限制下产生更多的正确结果,兼顾了复杂事件处理的实时性和正确性.实验结果表明,提出的相关的理论估算模型和资源分配方案是正确和有效的,对于进一步完善复杂应用下的固实时限制复杂事件处理框架具有重要的启发意义和实用价值.     

一个基于事件驱动的面向服务计算平台

基于请求/响应调用模型的面向服务体系结构(Service-Oriented Architecture,SOA)的实现存在通信耦合程度高,协同能力不足的问题.事件驱动体系结构特别适合于松耦合通信和应用需要感知支持的环境.在面向服务的计算平台中提供事件驱动支持,可满足计算平台的松耦合通信与协同需求.文中给出了面向服务计算平台中事件驱动的框架,针对需高效处理事件流上复合事件的需求,在框架中设计了基于SEDA模型的并发事件处理与基于事件代数的事件流处理机制.在事件代数中给出了上下文语义和相应的检测算法,以实现高效事件流处理.实验表明,设计的事件驱动面向服务计算平台具有松耦合通信、协同计算、高效事件流处理和复合事件处理的特点,适应了目前动态多变的大规模分布式计算环境的需求,有着广阔的应用前景.     

面向RFID数据处理的复杂事件模式匹配方法

RFID数据具有不确定性,复杂事件处理技术将RFID数据看作不同类型的事件,从事件流中检测符合特定匹配模式的复杂事件。概率事件流分为多项概率事件流和单项概率事件流;针对多项概率事件流,提出NFA-MMG模式匹配方法,亦即使用多个有向无环图结合自动机实现模式匹配。针对单项概率事件流,提出NFA-Tree模式匹配方法,亦即使用匹配树结合自动机实现模式匹配;并提出改进的NFA-Tree方法,即基于概率阈值进行过滤,提高结果过滤效率。实验结果验证了上述模式匹配方法的性能优势。     

基于动态匹配策略的复杂事件处理方法

复杂事件处理技术是在事件流中检测特定事件模型的分析技术。当前主流的复杂事件匹配方法在查询模式中按照事件连续性严格程度设置了匹配策略约束，这些特定的匹配策略由于设置粒度粗，所以难以根据需求精细调节匹配结果，造成匹配结果的冗余和匹配效率的不足。针对当前主要匹配策略存在的冗余问题，提出基于动态匹配策略的复杂事件处理方法，设计支持动态匹配策略的查询模式及基于查询模式的匹配方法。通过动态调节复杂事件实例的派生约束，实现匹配结果可调节的同时提升匹配性能。在模拟数据集上对方法进行对比实验。实验结果表明，提出方法可以有效调节匹配结果，并提高整体匹配性能。     

地铁列车环境中多依赖复杂事件处理研究

针对多源海量实时数据的复杂事件检测中，原始事件流的分流处理存在事件检测准确率低及效率慢的问题，提出一种基于事件树的复杂事件检测方法。首先给出事件依赖关系的明确定义，然后根据原子事件间存在的多依赖关系生成原子事件树，以事件树为节点构造依赖事件树链表，提升复杂事件处理引擎的有效检测次数，使得事件检测的匹配效率得到提升。同时该方法减少了事件检测过程的内存消耗，提高了事件检测的吞吐量。仿真实验与案例研究证明了提出方法在海量数据处理上的优异性及可行性。     

Ceper:一个高性能复杂事件处理引擎

复杂事件处理技术从连续的输入事件流中分析并提取出满足特定模式的事件序列。它将传统先存储静态数据再进行处理和挖掘的数据处理方法,转变为实时处理动态事件流,更加符合真实世界的数据处理模式,能够高效及时地从数据流中过滤出相对少量的具有应用价值的数据。文章设计并实现了一个高性能复杂事件处理引擎——Ceper,提出了Ceper的事件处理模型,展示了它的系统结构和模式匹配树的方法 PMT,介绍了Ceper的实现的关键技术,并进行了一定的测试。     

RFID数据流上多目标复杂事件检测

已有的RFID复杂事件处理技术主要关注于单个RFID对象的复杂事件检测和优化技术.实际上,很多RFID应用中往往需要同时检测多个同类型关联目标的复杂事件序列.研究了多个关联的RFID对象的复杂事件处理问题.通过扩展的事件语言和算子的语义以支持同类型多个RFID目标复杂事件查询的定义.通过模式的变换规则,将RFID应用中存在的各种非线性多目标复杂事件模式转换成线性模式,以便各种多目标模式在一个统一的框架下检测.提出了基于自动机NFAb2的多目标复杂事件检测模型和多目标复杂事件检测算法.通过在多目标检测算法中使用关键节点下压和同位置约束置后优化策略,大大减少了单个类型上无用实例的数目和不同类型间模式匹配的搜索空间.与SASE算法的实验比较表明算法的正确性和高效性.     

在线-离线数据流上复杂事件检测

随着数据采集和处理技术的发展,在物联网对象跟踪、网络监控、金融预测、电信消费模式等领域中进行事件检测显得越发重要.事件检测在一次扫描数据流的假设下完成,数据流在被处理完后丢弃.事实上,很多应用场景中,历史数据流因含有丰富的信息而不能简单丢弃,且一些事件检测查询需要同时在实时和历史数据流上进行.鉴于已有复杂事件检测很少考虑同时在实时-历史数据流上进行模式匹配,作者研究了在线-离线数据流上复杂事件检测的关键问题.主要工作如下:(1)针对滑动窗口内产生的大量模式匹配中间结果,提出利用时态关系和时空关系管理中间结果的方法 TPM和STPM.STPM以中间结果的时态和状态信息为权值对中间结果进行管理,将最近的、最有可能更新状态的中间结果置于内存,极大地减少了中间结果的读取操作代价.(2)给出了基于选择度的在线-离线复杂事件检测优化算法;(3)给出了算法的复杂性分析和代价模型;(4)在基于时空关系的中间结果管理模型下,在一个在线-离线复杂事件检测原型系统中进行实验,对多个参数(子窗口大小,选择度,匹配率,命中率)进行了算法对比分析.实验结果充分验证了所提出的算法的可行性和高效性.     

原始RFID数据流上复杂事件处理研究

一般的RFID复杂事件检测是建立在经过数据清洗的数据模型上,但RFID数据清洗往往代价较高且目的单一,更为影响效率的是其数据清洗步骤和复杂事件处理步骤需要扫描数据流两次.针对这些问题,提出直接在原始RFID数据流上进行复杂事件处理,将数据清洗步骤与复杂事件处理步骤相结合的方法,并设计出了集成此方法的复杂事件处理引擎架构,最后编程实现了上述架构的处理引擎.通过大量对比实验分析验证了该方法的正确性与高效性.     

RFID复杂事件处理技术

随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高效的RFID事件检测和处理。分析了RFID数据的特点,归纳和总结了RFID复杂事件处理的最新技术,讨论了一些亟待解决的新问题,主要有RFID数据清洗方法、以数据为中心的检测技术、以事件为中心的检测技术,以及复杂事件处理系统等,并对今后的研究重点进行了展望。     

面向实时事件流的复杂事件处理方法

复杂事件处理是一种动态环境下对事件流进行分析的技术。复杂事件处理技术通常基于有限状态自动机实现,匹配过程中会在事件流上产生大量且重叠的部分匹配,有限状态自动机需维护大量的重复匹配状态,导致基于该技术的方法都会出现冗余计算的问题。为了提高复杂事件处理的匹配效率,提出了使用复杂事件实例覆盖技术来实现复杂事件处理的方法。通过设计临时匹配链式分区存储结构以及基于此结构的匹配算法,来利用复杂事件实例覆盖减少冗余计算,从而实现匹配效率的提升。在模拟数据集和真实数据集上进行了实验测试与分析,与两种常用的复杂事件处理技术进行比较。实验表明,提出方法能够在保证匹配正确性的同时有效地减少匹配过程中的冗余计算,提高整体匹配效率。     

An evaluation of the run-time and task-based performance of event detection techniques for Twitter

Twitter׳s increasing popularity as a source of up-to-date news and information about current events has spawned a body of research on event detection techniques for social media data streams. Although all proposed approaches provide some evidence as to the quality of the detected events, none relate this task-based performance to their run-time performance in terms of processing speed, data throughput, or memory usage. In particular, neither a quantitative nor a comparative evaluation of these aspects has been performed to date. In this article, we study the run-time and task-based performance of several state-of-the-art event detection techniques for Twitter. In order to reproducibly compare run-time performance, our approach is based on a general-purpose data stream management system, whereas task-based performance is automatically assessed based on a series of novel measures.     

声学事件检测技术的发展历程与研究进展

声学事件检测是指对连续音频信号流中具有明确语义的片段进行检测与标定的过程。它是机器对环境声音场景进行识别和语义理解的重要基础,并将在未来类人机器人声音环境的语义理解、无人车行车周边环境的声音感知等方面发挥重要的 作用。本文分别从与声学事件检测相关领域的发展历程以及应用需求出发,对声学事件检测的历史进行了回顾,介绍了典型的研究工作,并分析了未来的发展方向。在相关领域的分析 中,重点介绍语音识别、基于计算的音乐处理及基于听觉特性的声音处理等方面的工作;在应用需求方面,介绍机器的环境声音感知与多媒体信息检索方面的工作;最后分析本领域的研究现状,并展望其未来的发展趋势。     

基于层次自动机模型的复杂事件层次实现研究

复杂事件处理技术从数据流中提取满足特定模式的事件序列,具有实时、海量、智能的特点,近年来引起了学术界和商业界的广泛关注。但是,之前的工作侧重于对单层复杂事件检测的研究。事实上,由于业务系统对信息有不同层次的需求,需要对事件进行分层处理,单层复杂事件检测并不能充分支持事件分层的需求。针对这种情况,在事件层次概念以及传统NFA模型的基础上,定义了分层复杂事件检测模型层次自动机NHA,基于NHA模型设计了更为直观高效的EH-Tree结构,并给出了分层复杂事件检测HCED算法和代价模型。最后以吞吐量和内存占用为指标,进行了大量的实验,对比并分析了HCED算法与传统基于NFA模型的SASE算法的时间性能和空间性能。实验结果表明,HCED算法能有效且高效地实现分层复杂事件检测,填补了CEP不支持分层复杂事件检测的空白,为下一步研究提供了基础。