An on-line algorithm for cluster detection of mobile nodes through complex event processing

Clusters of mobile elements, such as vehicles and humans, are a common mobility pattern of interest for many applications. The on-line detection of them from large position streams of mobile entities is a challenging task because it requires algorithms that are capable of continuously and efficiently processing the high volume of position updates in a timely manner. Currently, the majority of approaches for cluster detection operate in batch mode, where position updates are recorded during time periods of certain length and then batch processed by an external routine, thus delaying the result of the cluster detection until the end of the time period. However, if the monitoring application requires results at a higher frequency than the one delivered by batch algorithms, then results might not reflect the current clustering state of the entities. To overcome this limitation, in this paper we propose DG2CEP, an algorithm that combines the well-known density-based clustering algorithm DBSCAN with the data stream processing paradigm Complex Event Processing (CEP) to achieve continuous, on-line detection of clusters. Our experiments with synthetic and real world datasets indicate that DG2CEP is able to detect the formation and dispersion of clusters with small latency and higher similarity to DBSCAN׳s output than batch-based approaches.     

一个基于事件驱动的面向服务计算平台

基于请求/响应调用模型的面向服务体系结构(Service-Oriented Architecture,SOA)的实现存在通信耦合程度高,协同能力不足的问题.事件驱动体系结构特别适合于松耦合通信和应用需要感知支持的环境.在面向服务的计算平台中提供事件驱动支持,可满足计算平台的松耦合通信与协同需求.文中给出了面向服务计算平台中事件驱动的框架,针对需高效处理事件流上复合事件的需求,在框架中设计了基于SEDA模型的并发事件处理与基于事件代数的事件流处理机制.在事件代数中给出了上下文语义和相应的检测算法,以实现高效事件流处理.实验表明,设计的事件驱动面向服务计算平台具有松耦合通信、协同计算、高效事件流处理和复合事件处理的特点,适应了目前动态多变的大规模分布式计算环境的需求,有着广阔的应用前景.     

原始RFID数据流上复杂事件处理研究

一般的RFID复杂事件检测是建立在经过数据清洗的数据模型上,但RFID数据清洗往往代价较高且目的单一,更为影响效率的是其数据清洗步骤和复杂事件处理步骤需要扫描数据流两次.针对这些问题,提出直接在原始RFID数据流上进行复杂事件处理,将数据清洗步骤与复杂事件处理步骤相结合的方法,并设计出了集成此方法的复杂事件处理引擎架构,最后编程实现了上述架构的处理引擎.通过大量对比实验分析验证了该方法的正确性与高效性.     

在线自适应网络异常检测系统模型与算法

随着因特网等计算机网络应用的增加,安全问题越来越突出,对具有主动防御特征的入侵检测系统的需求日趋紧迫.提出一个轻量级的在线自适应网络异常检测系统模型,给出了相关算法.系统能够对实时网络数据流进行在线学习和检测,在少量指导下逐渐构建网络的正常模式库和入侵模式库,并根据网络使用特点动态进行更新.在检测阶段,系统能够对异常数据进行报警,并识别未曾见过的新入侵.系统结构简单,计算的时间复杂度和空间复杂度都很低,满足在线处理网络数据的要求.在DARPA KDD 99入侵检测数据集上进行测试,10%训练集数据和测试集数据以数据流方式顺序一次输入系统,在40s之内系统完成所有学习和检测任务,并达到检测率91.32% 和误报率0.43% 的结果.实验结果表明系统实用性强,检测效果令人满意,而且在识别新入侵上有良好的表现.     

基于卷积自编码器分块学习的视频异常事件检测与定位

视频异常事件检测与定位旨在检测视频中发生的异常事件,并锁定其在视频中发生的位置.但是视频场景复杂多样,并且异常发生的位置随机多变,导致发生的异常事件难以被精准定位.本文提出了一种基于卷积自编码器分块学习的视频异常事件检测与定位方法,首先将视频帧进行均匀划分,提取视频帧中每一块的光流和方向梯度直方图(Histogram ...     

ProSPer:一个支持proactive特性的通用型事件监控系统

大规模网络安全监控应用中需要对网络安全态势进行动态评估,在网络出现重大安全风险前进行proac-tive特性的有效防范.把网络安全监控系统建模为事件监控系统,对满足复合时序和属性值逻辑关系的多个事件进行关联,把多个原子事件复合为语义更丰富、更抽象的复合安全事件.已有研究提出了不同的复合事件检测模型,但缺乏proactive的事件监控能力.基于时序关系并不能提高事件监控的预测能力的假设.设计了基于top-k复合事件检测模型的事件监控系统ProSPer,为网络安全监控等应用系统提供proactive特性的事件监控能力.与已有的复合事件检测系统相比,ProSPer检测复合事件时无需读取全部成分事件,这种proactive特性是非常有意义的设计.     

分布式RFID复杂事件处理技术的研究

目前RFID复杂事件处理技术的研究主要针对集中式的处理。集中式RFID复杂事件处理技术对于海量RFID数据的处理具有很多局限性,主要表现为网络通讯代价高和处理效率低。针对集中式RFID复杂事件处理存在的问题,本文研究了分布式环境下RFID复杂事件处理的关键算法,采用一种Pull(抽取)类型的数据通讯模型来降低通讯代价,在此基础上提出了两种分布式的RFID复杂事件处理算法。实验结果表明,本文提出的分布式RFID复杂事件处理算法比集中式复杂事件处理算法更有效。     

基于启发式规则的流式日志事件提取方法

日志事件提取指将非结构化的日志消息解析为系统中对应的事件,是多数日志分析中必不可少的前置工作.传统的日志事件提取以批处理方法为主,需要等待所有日志数据到达再进行处理,实时性不佳.能够进行实时日志采集并处理的流处理方法逐渐成为主要研究方向,但已有的流处理方法在解析模型的构建方面存在缺陷,准确性不够高.针对上述问题,提出了...     

一种事件驱动的数据流查询模型

分析数据流上事件的语义和特点,建立了事件驱动的数据流模型EQM.提出一种具有事件监控,事件定义和事件驱动功能的语言EQL,讨论了事件监控和事件驱动查询的优化算法以及相关的效率问题和实时性.实验表明,该模型在解决数据流上事件相关问题比现有的数据流模型和处理方法有着更好的性能.     

实时复杂事件处理的最坏响应时间估算

实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成.确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间.现有针对一般程序的估算方法需要标注对象程序中子程序执行次数的取值范围.然而,CEP程序较为复杂,难以直接获知子程序执行次数的取值范围.虽然执行次数间存在关联关系,可以间接求解出取值范围,但这样得到取值范围不够严格,使估算精度较低,因此现有估算方法难以直接使用.提出一种CEP程序的最坏响应时间估算方法.采用新标注方式,通过对CEP程序的检测结构进行分析,归纳出子程序执行次数间的关联约束,并使用关联约束进行标注,替代了标注其取值范围,避免了标注困难.实验表明方法具有较高估算精度.     

基于有序事件列表的高效复杂事件匹配算法

针对现有的复杂事件匹配处理方法存在的匹配代价高的问题,提出了一种利用事件缓冲区（有序事件列表）进行递归遍历的复杂事件匹配算法ReCEP。不同于现有方法利用自动机在事件流上进行匹配,该算法将复杂事件查询模式中的约束条件分解为不同类型,再在有序列表上对不同约束分别进行递归校验。首先,根据查询模式将相关事件实例按照事件类型进行缓存;其次,在有序列表上对事件实例执行查询过滤操作,并给出了一种基于递归遍历的算法来确定初始事件实例并且获取候选序列;最后,对候选序列的属性约束进行进一步的校验。基于股票交易模拟数据进行的实验测试和分析的结果表明,与当前主流的匹配方法 SASE和Siddhi相比,ReCEP算法能够有效地减少查询匹配的处理时间,总体性能上均更优,查询匹配效率提升了8.64%以上。可见,所提出的复杂事件匹配方法能够有效提高复杂事件匹配的效率。     

以机器翻译技术为核心的多语信息处理研究

该文介绍了哈尔滨工业大学教育部-微软语言语音重点实验室在多语信息处理方面的研究进展和成果.首先综述了国内外的研究现状,然后重点介绍在统计机器翻译、机器翻译应用、机器翻译评价、跨语言信息检索等方面的研究工作.     

Mobiiscape: Middleware support for scalable mobility pattern monitoring of moving objects in a large-scale city

With the explosive proliferation of mobile devices such as smartphones, tablets, and sensor nodes, location-based services are getting even more attention than before, considered as one of the killer applications in the upcoming mobile computing era. Developing location-based services necessarily requires an effective and scalable location data processing technology. In this paper, we present Mobiiscape, a novel location monitoring system that collectively monitors mobility patterns of a large number of moving objects in a large-scale city to support city-wide mobility-aware applications. Mobiiscape provides an SQL-like query language named Moving Object Monitoring Query Language (MQL) that allows applications to intuitively specify Mobility Pattern Monitoring Queries (MPQs). Further, Mobiiscape provides a set of scalable location monitoring techniques to efficiently process a large number of MPQs over a large number of location streams. The scalable processing techniques include a (1) Place Border Index, a spatial index for quickly searching for relevant queries upon receiving location streams, (2) Place-Based Window, a spatial-purpose window for efficiently detecting primitive mobility patterns, (3) Shared NFA, a shared query processing technique for efficiently matching complex mobility patterns, and (4) Attribute Pre-matching Bitmap, an in-memory data structure for efficiently filtering out moving objects based on their attributes. We have implemented a Mobiiscape prototype system. Then, we show the usefulness of the system by implementing promising location-based applications based on it such as a ubiquitous taxicab service and a location-based advertising. Also, we demonstrate the performance benefit of the system through extensive evaluation and comparison.     

国家高性能计算环境事件流系统的设计

国家高性能计算环境是由中国众多国家级计算中心和高校的计算集群聚合而成的大型高性能计算环境;为国内研究人员提供优质计算资源。出于维护环境正常稳定运行的目的;环境管理人员需要获取环境内部所发生的各种事件信息;以确保及时迅速地对环境产生的问题进行处理。针对这种需求;设计了国家高性能计算环境事件流处理与分发系统;用于对环境各类事件进行收集和按类型分类;最终提供给对事件有需求的环境应用。在该系统中;事件工厂模块负责对环境的各种事件进行格式解析以及初步过滤和处理等加工工作;然后将加工过的事件封装为统一的接口格式对外发布。初步实现了事件流系统的各部分功能;将其部署到国家高性能计算环境中;并对该系统的事件处理延时进行测试。实验结果表明事件处理过程的延时很低;可以满足对事件时效性的要求。     

RFID复杂事件处理关键技术的研究与改进

RFID复杂事件处理是一个新兴的技术领域,它用来处理大量的简单事件,并从中整理出有价值的事件。RFID事件和传统的事件相比较具有海量性、空间性和时间性、数据不准确性等特征。文中在分析RFID数据特点的基础上,对RFID复杂事件处理的关键技术进行研究和改进,主要介绍RFID数据的清洗和事件检测技术。对于RFID数据清洗部分,提出了多层次过滤的方法使得到的数据更接近真实情况,而事件检测方面则提出了局部检测和全局检测相结合的方法对相关数据进行检测以得到更有意义的数据供上层应用使用。最后,对RFID复杂事件处理的发展趋势做出展望。     

基于网格聚类的数据流多事件检测

事件检测是事件处理系统最重要的研究问题之一。异常、变化和突发是三类最典型的数据流事件。本文关注如何在数据流中同时检测多种事件,首先研究了多种事件之间的联系,然后给出了基于网格聚类的统一处理方法,最后为了评估事件的严重程度,给出了打分函数。实验验证了所提方法的正确性与有效性。     

基于多模态特征深度融合的微博流事件检测与跟踪

作为一种重要的社会媒体平台,分析、检测并跟踪微博内重大社会事件可以及时提供舆论焦点.但因其碎片化、异构性和实时性,传统方法很难有效分析海量微博,为此,提出一种基于多模态特征深度融合的微博事件检测与跟踪框架.首先基于文本处理对微博事件进行标注;然后用多模态特征深度融合实现事件的检测与表示;最后利用基于时间平滑的图变换模型完成事件流的跟踪.在真实数据集上的实验表明,所提出的方法能有效检测和跟踪微博流事件.