在线-离线数据流上复杂事件检测

随着数据采集和处理技术的发展,在物联网对象跟踪、网络监控、金融预测、电信消费模式等领域中进行事件检测显得越发重要.事件检测在一次扫描数据流的假设下完成,数据流在被处理完后丢弃.事实上,很多应用场景中,历史数据流因含有丰富的信息而不能简单丢弃,且一些事件检测查询需要同时在实时和历史数据流上进行.鉴于已有复杂事件检测很少考虑同时在实时-历史数据流上进行模式匹配,作者研究了在线-离线数据流上复杂事件检测的关键问题.主要工作如下:(1)针对滑动窗口内产生的大量模式匹配中间结果,提出利用时态关系和时空关系管理中间结果的方法 TPM和STPM.STPM以中间结果的时态和状态信息为权值对中间结果进行管理,将最近的、最有可能更新状态的中间结果置于内存,极大地减少了中间结果的读取操作代价.(2)给出了基于选择度的在线-离线复杂事件检测优化算法;(3)给出了算法的复杂性分析和代价模型;(4)在基于时空关系的中间结果管理模型下,在一个在线-离线复杂事件检测原型系统中进行实验,对多个参数(子窗口大小,选择度,匹配率,命中率)进行了算法对比分析.实验结果充分验证了所提出的算法的可行性和高效性.     

基于注意力机制的新闻事件检测研究与应用

新闻事件检测是自然语言处理任务中的一项任务.新闻事件检测旨在从新闻文本数据流中检测出新闻事件并给出事件主题.人工构建新闻事件的特征费时费力.传统的新闻事件检测方法是根据新闻事件之间的空间距离检测新闻事件,对于不同的新闻事件相似度较高时,容易误判为同一事件.针对上述问题,论文提出基于注意力机制的双向长短记忆网络构建新闻事件检测模型,通过深度学习学习新闻文本深层次的特征并且基于新闻事件检测模型构建新闻事件建模应用系统.实验表明论文方法在准确率、召回率优于传统方法,可对新闻事件准确识别.     

数据流突发检测研究与进展

数据流是不断变化且难以预测的。因此,在数据流中进行突发检测,是数据流内在的,固有的问题之一。所谓突发,指的是特定时间段内的数据量显著异常于其它时间段。如何实时地相对精确地检测出数据流中的突发并良好地呈现给用户,国内外已展开相关研究,并成为数据流挖掘领域的热点问题之一。论文综述国内外数据流突发检测的研究现状,归纳与分析现有研究工作的适用场景,并给出研究的焦点及热点,最后展望了该领域的前景。     

基于连续聚类与组合分类的RFID事件探测

RFID数据流随着时间而不断变化,捕捉其中蕴含的变化可以用于检测有意义事件的发生.提出了一种捕获数据流事件的算法--CECD,通过分析聚类结果分布变化和值域中产生的偏差检测数据流中蕴含的变化,同时采用组合分类技术对变化进行分类,捕获观察到的事件或现象的特性,建立事件与响应的映射关系.实验证明提出的框架可以高效检测数据流上的变化,与不借助变化检测的单纯基于规则的事件检测方法相比可以更准确地捕获事件.     

基于数据流管理平台的网络安全事件监控系统

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件．数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型．本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型．在这个模型中，数据流管理平台有效地支持了对高速网络数据流的实时查询与分析，从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能．利用CQL作为接口语言，精确描述安全事件规则与各种监拉查询，具有很强的灵活性与完整性．另外，系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能，具有良好的可扩展性，     

基于无线传感器网络和线性神经网络的事件边界检测方法?

环境监测是无线传感器网络的典型应用,事件边界检测是其中的重要内容。文中首先建立无线传感器网络数据的时空模型,提出基于线性神经网络的事件边界检测方法。该方法利用传感器数据流的时间相关性,基于线性神经网络预测与验证数据流,并确定异常数据集合。在此基础上,根据传感器节点之间的空间相关性进行事件边界检测,不仅可识别故障节点,而且能识别事件边界节点,从而准确估算事件发生的区域位置与大小。理论分析及实验表明,文中方法在获得较高的故障节点和事件边界节点的检测准确率的同时,保持较低的误判率。     

基于集成SVM数据流分类算法的公司微博金融事件检测方法

先前事件检测算法需要大量训练样本并且不能动态检测事件.为了从微博短文本中检测金融事件,提出一种从微博中检测公司金融事件的新模型.结合词嵌入与数据流集成分类算法,词嵌入和触发词典用于中文微博文本表示.带有动态时间窗的集成数据流分类算法(DSESVM)用于在线事件分类,大大减少了训练数据并动态检测事件.使用五家上市公司的微博文本作为语料库进行测试,实验结果表明,该方法不仅降低了训练样本的比例,还检测了概念漂移,可以有效提高微博中公司金融事件检测的准确性,相对于已有方法,其平均F1值提升5.6～7.2百分点.     

面向车联网的时空事件处理语言STEP

车联网是物联网技术应用于智能交通领域所形成的重要研究领域。复杂事件处理技术是车联网系统数据流处理的重要方法。有别于经典的物联网系统,车联网中数据流包含大量的时间和空间信息。在复杂事件处理技术中,如何有效地表达和处理车联网的时空数据流成为亟待解决的问题。针对该问题,提出了一种时空事件处理语言(spatial-temporal event processing language,STEP)。STEP分别采用时间段和栅格地图作为时间和空间模型。基于该时空模型,首先给出STEP语言的相关时空算子和完整语法,从而有效地表达车联网中时空事件流的时空信息。然后,分别从形式语义学角度引入STEP语言的操作语义,并且从实现角度给出了基于Petri网模型的时空事件流处理算法,从而建立车联网时空事件流处理机制。最后,通过实验说明了基于STEP语言的车联网时空事件流处理机制的有效性。     

一种基于数据流分析的网络行为检测

为了更好地对网络行为进行分析, 提出了一种基于数据流分析的网络行为检测方法。通过分析网络系统体系架构, 对网络行为进行形式化建模, 并针对网络行为特点提出了一种基于与或图的行为描述方法, 最终设计实现了基于数据流分析的网络行为检测算法。实验证明该方法能在多项式时间内完成数据流事件中的关系分析, 而且与其他算法相比, 能有效提高网络行为检测的查准率。     

数据流突发检测研究现状

随着Internet及信息处理技术的发展,数据流突发检测在网络管理、金融领域及天文学等方面的应用越来越广泛,并成为了许多国内外学者的研究热点。本文综述了数据流突发检测技术的研究现状,总结提出了两大类突发检测算法,并给出研究的重点,最后展望了该研究领域的前景。     

普适计算中复合事件检测的研究与挑战

普适计算环境中,传感器设备的大规模使用产生了数量巨大、错综复杂的原子事件,而现实中的许多应用却更注重复合事件的检测,例如:健康护理、监督设施管理、环境/安全监控等,因此如何从这些底层的原子事件中抽取人们感兴趣的、有用的复合事件就变得越来越重要。目前,针对复合事件检测有大量的研究,其内容各有侧重。有的重视时间因素,特别强调时间段的重要性;有的研究分布式数据源中的复合事件检测;近期有人提出了不确定性数据上的复合事件检测。由于复合事件检测日益重要,对复合事件检测研究中存在的挑战性问题进行了分析,从事件类型、时间因素和数据的精确程度3个方面归纳总结了复合事件检测现有的研究成果,并指出了未来的发展方向。     

Knowle: A semantic link network based system for organizing large scale online news events

An explosive growth in the volume, velocity, and variety of the data available on the Internet has been witnessed recently. The data originated from multiple types of sources including mobile devices, sensors, individual archives, social networks, Internet of Things, enterprises, cameras, software logs, health data has led to one of the most challenging research issues of the big data era. In this paper, Knowle—an online news management system upon semantic link network model is introduced. Knowle is a news event centrality data management system. The core elements of Knowle are news events on the Web, which are linked by their semantic relations. Knowle is a hierarchical data system, which has three different layers including the bottom layer (concepts), the middle layer (resources), and the top layer (events). The basic blocks of the Knowle system—news collection, resources representation, semantic relations mining, semantic linking news events are given. Knowle does not require data providers to follow semantic standards such as RDF or OWL, which is a semantics-rich self-organized network. It reflects various semantic relations of concepts, news, and events. Moreover, in the case study, Knowle is used for organizing and mining health news, which shows the potential on forming the basis of designing and developing big data analytics based innovation framework in the health domain.     

Management Support with Structured and Unstructured Data—An Integrated Business Intelligence Framework

In the course of the evolution of management support towards corporate wide Business Intelligence infrastructures, the integration of components for handling unstructured data comes into focus. In this paper, three types of approaches for tackling the respective challenges are distinguished. The approaches are mapped to a three layer BI framework and discussed regarding challenges and business potential. The application of the framework is exemplified for the domains of Competitive Intelligence and Customer Relationship Management.     

Management Support with Structured and Unstructured Data—An Integrated Business Intelligence Framework

Abstract

In the course of the evolution of management support towards corporate wide Business Intelligence infrastructures, the integration of components for handling unstructured data comes into focus. In this paper, three types of approaches for tackling the respective challenges are distinguished. The approaches are mapped to a three layer BI framework and discussed regarding challenges and business potential. The application of the framework is exemplified for the domains of Competitive Intelligence and Customer Relationship Management.     

GRNN在翻斗式雨量计中的应用

针对当前翻斗式雨量计传感器存在的计量误差,提出了有效的应对措施,并使用3类曲线拟合算法对北京市7.21暴雨实际观测资料的雨量计数据进行预测和比对.实验结果表明:广义回归神经网络(GRNN)算法预测效果最好.针对气象部门对雨量计测量数据的使用方式局限性,据此结合预测数据给出了一种智能信息处理的方案,能够将雨量信息较为准确、直观和全面地展现出来,增强了气象部门对应急事件的处理能力.     

基于聚类的数据加权优化在犯罪预测中的应用

近年来，我国传统暴力犯罪与成年人犯罪呈下降态势，但是，犯罪案由层出不穷。为有效提升公安实践工作中犯罪预测能力，打击各类违法犯罪事件,本文针对犯罪数据，提出一种新型犯罪预测模型。利用密度聚类分析方法将犯罪数据分类，然后进行数据降维提取关键属性生成特征数据，继而对特征数据进行加权优化并采用机器学习的方式对特征数据进行学习，从而预测犯罪案由。实验结果表明，与传统方法相比，本文方法具有更好的预测效果，为公安实践工作中类似案件的侦破和预防，提供新的路径支撑。     

A modeling strategy for hybrid systems based on event structures

This paper considers hybrid systems which are continuous/discrete-time systems interacting with a decision maker which oversees the control and structure of the continuous/discrete-time system. These two segments combine with a processor which evaluates data to produce a three-segment model of a hybrid system having sufficient flexibility to represent a broad range of real-time situations and sufficient generality to incorporate the essential aspects of other models into a single framework. In particular the paper uses a graphically expressive controlled Petri net formulation of the decision maker and any of the usual models for the continuous/discrete-time system. Interaction between the systems occurs via three types of events: continuous/discrete-time events, decision-making events, and processor events. These types of events and their composition are rigorously defined to produce event structures and event histories. These events and event histories are used for the domain of interaction functions which specify the channels of communication between the three essential segments of the hybrid system. The event-based domains allow the disassociation of these communication channels from dependence on particular kinds of models or applications. The range of the interaction functions are binary vector-valued indicating the activation/deactivation processes in the respective segments. The entire modeling strategy is motivated by applications and models found in the literature especially flexible manufacturing systems and the C-net model of a hybrid system.This work was partially supported by the National Science Foundation under Grant No. ECS-8800910.     

基于大数据的安全态势感知系统研究

针对目前层出不穷的各类网络攻击事件,基于最新的大数据技术组件,构建集数据收集、数据处理、数据存储、数据分析、数据呈现于一体的安全态势感知系统框架.通过Flume和Kafka获取日志或网络攻击信息,使用MapReduce和Storm技术进行批量或实时分析,以达到对网络安全的感知;采用层次分析法确定指标权重,提取网络态势特...     

特殊事件对月售电量及其预测的影响分析

特殊事件会使月售电量发生很大变化,导致实际售电量曲线明显偏离典型售电量曲线。然而由不考虑特殊事件的传统预测模型得到的月售电量预测曲线却更接近于典型售电量曲线,这将不可避免地导致月售电量预测精度降低。为解决该问题,本文以异常高温,政治事件和超强台风为例,分析研究了特殊事件对月售电量及其预测的影响。首先,介绍了“互联网+”背景下基于大数据的月售电量预测模型,并对其预测精度进行了评估;其次,针对异常高温、政治事件及超强台风三种特殊事件,描述了各事件的特殊情况,以实际月售电量数据说明了特殊事件对月售电量的影响,然后利用月售电量预测模型研究了特殊事件对月售电量预测的影响,并详细分析了产生这种影响的原因,在此基础上,针对不同的特殊事件提出了相应的初步改善对策。     

面向生产管控的多源数据处理技术

为了解决流程型生产车间数据种类多、数据质量参差不齐影响生产管控的问题, 提出了面向多源数据的数据分类处理技术, 采用数据分类与滑动窗口相结合的方式进行数据处理. 首先, 根据生产数据特点建立数据模型, 然后进行数据分类. 主要分为状态数据、开关数据、逻辑数据 3类, 不同类型的数据使用不同处理算法; 同时采用滑动窗口解决不同任务对数据实时性和完整性要求不同的难点. 最后, 该数据分类处理模型在实际生产环境投入使用, 验证了对生产数据处理的准确性和实时性. 结果表明, 将处理后的数据应用于生产管控, 管控误差率降低至不足1%.