基于人工蜂群优化的数据流聚类算法

在传统分段式数据流聚类算法中,在线部分中的微簇阈值半径T取值不精确以及离线部分对微聚类的处理相对简单,导致了聚类质量不高.针对这一缺点,在现有动态滑动窗口模型基础上,提出了一种针对离线部分处理的基于人工蜂群优化的数据流聚类算法.该算法包括两部分:(1)在线部分根据数据在窗口内停留的时间长短来动态调整窗口的大小和改进微簇阈值半径T的取值,逐步得到微簇集.(2)离线部分利用改进的蜂群算法不断动态调整来求出最优聚类结果.实验结果证明,本文算法不但有较高的聚类质量,而且有较好的延展性和稳定性.     

复杂数据流在线集成分类算法综述

复杂数据流中所存在的概念漂移及不平衡问题降低了分类器的性能。传统的批量学习算法需要考虑内存以及运行时间等因素,在快速到达的海量数据流中性能并不突出,并且其中还包含着大量的漂移及类失衡现象,利用在线集成算法处理复杂数据流问题已经成为数据挖掘领域重要的研究课题。从集成策略的角度对bagging、boosting、stacking集成方法的在线版本进行了介绍与总结,并对比了不同模型之间的性能。首次对复杂数据流的在线集成分类算法进行了详细的总结与分析,从主动检测和被动自适应两个方面对概念漂移数据流检测与分类算法进行了介绍,从数据预处理和代价敏感两个方面介绍不平衡数据流,并分析了代表性算法的时空效率,之后对使用相同数据集的算法性能进行了对比。最后,针对复杂数据流在线集成分类研究领域的挑战提出了下一步研究方向。     

RFID供应链系统中的在线复杂事件检测方法

在实际的供应链系统中,物品通常会被包装起来流通,检测最低包装层级物品的标签代价高昂。现有的在线和离线的无线射频识别(radio frequency identification,RFID)复杂事件检测方法中都假定可以检测到每一个最低包装层级的标签,不支持含有多种包装层级数据的RFID数据流上的复杂事件检测。根据部署有RFID的供应链系统产生的RFID数据流的特点,提出了一种新的复杂事件检测方法。采用区间编码离线保存物品的包装关系,通过在线数据和离线数据结合来完成复杂事件检测,对不同类型的复杂事件采用不同的检测策略以提高复杂事件检测效率。实验证明该方法能够有效地支持供应链系统中的复杂事件检测,并具有较好的性能。     

衰减窗口中的不确定数据流聚类算法

针对现实不确定数据流具备分布非凸性和包含大量噪声等特点,提出不确定数据流聚类算法Clu_Ustream(clustering on uncertain stream)来解决对近期数据进行实时高效聚类演化问题.首先,在线部分利用子窗口采样机制采集滑动窗口中的不确定流数据,采用双层概要统计结构链表存储概率密度网格的统计信息;然后,离线聚类过程中通过衰减窗口机制弱化老旧数据的影响,并定期对窗口中的过期子窗口进行清理;同时采用动态异常网格删除机制有效过滤离群点,从而降低算法的时空复杂度.在模拟数据集和网络入侵真实数据集上的仿真结果表明,Clu_Ustream算法与其他同类算法相比具有较高的聚类质量和效率.     

基于仿射传播的进化数据流在线聚类算法

为提高数据流聚类的精度和时效性,提出一种具有时态特征与近邻传播思想的高效数据流聚类算法(TCAPStream).该算法利用改进的WAP将新检测到的类模式合并到聚类模型中,同时利用微簇时态密度表征数据流的时态演化特征,并提出在线动态删除机制对微簇进行维护,使算法模型既能体现数据流的时态特征,又能反映数据流的分布特性,得到更精确的聚类结果.实验结果表明,该算法在多个人工数据集和真实数据集上不仅具有良好的聚类效果,而且具有较好的伸缩性和可扩展性.     

一种时间复杂度最优的精确串匹配算法

现有的串匹配算法通常以模式长度作为滑动窗口大小.在窗口移动后,往往会丢弃掉一些已扫描正文的信息.提出了LDM(linear DAWG matching)串匹配算法,该算法将正文分为[n/m]个相互重叠、大小为2m-1的扫描窗口.在每个扫描窗口内,算法批量地尝试m个可能位置,首先使用反向后缀自动机从窗口中间位置向前扫描模式前缀;若成功,则再使用正向有限状态自动机从中间位置向后扫描剩余的模式后缀.分析证明,LDM算法的最差、最好、平均时间复杂度分别达到了理论最好结果:O(n),O(n/m),O(n(1og_σm)/m).实际性能测试也验证了平均时间复杂度最优这一理论结果.而且,对于在较大字母表下查找短模式的情况,LDM算法速度在被测试算法中最快.总之,LDM算法不但适合进行离线模式匹配,而且还特别适合需要进行在线高速匹配的应用.     

一种基于情感符号的在线突发事件检测方法

如何快速高效检测出海量数据流中的突发事件是目前的研究热点之一.文中针对微博数据流,提出了一种新颖的基于情感符号的在线突发事件检测算法框架.伴随着事件的发生,文本流中情感符号也存在突发现象.文中通过实时监测情感符号变化态势,及时发现情感符号的突发期,达到挖掘突发事件的目的.首先基于频繁模式挖掘和互信息相结合的算法构建情感符号模型,并通过此模型抽取数据流中的情感符号,采用改进Kleinberg算法检测突发期,通过启发式的近邻传播聚类算法检测突发事件并对事件进行合并.同时,算法设置了离线回收机制,对不含情感符号的博文进行回收利用以保证事件概要抽取的完备性.实验表明,该算法可有效地挖掘出突发事件,无论在速度还是精度上都能保证实时在线处理的要求.     

基于复杂事件处理机制的RFID数据流处理方法

射频识别（RFID）数据流处理技术中基于复杂事件处理机制（CEP）的方法受到业界广泛关注。针对射频识别数据的特点以及目前射频识别复杂事件处理方法的不足,通过扩展和改进高效模式匹配算法Rete,提出了复合事件处理方法ERD。该方法实现了事件检测机制与中间结果共享机制的有机统一,从而达到了提高系统整体检测效率的目的。仿真实验证明该方法具有较好的效果。     

动态滑动窗口的数据流聚类方法

数据流聚类是聚类分析中的重要问题。针对数据流的流速是变化的问题,在两阶段聚类框架基础上提出基于动态滑动窗口的数据流聚类算法。在线阶段,引入微聚类特征来存储数据流的概要信息,利用存储的概要信息动态调整滑动窗口规模,并计算数据点与微聚类中心的距离,以维护微聚类特征;离线阶段,对在线聚类阶段的聚类结果采用K-means算法进行宏聚类,生成最终聚类。实验结果表明,该算法具有较高的聚类质量和较好的伸缩性。     

基于混合差分进化的滑动窗口数据流聚类算法研究

针对传统的基于滑动窗口的数据流聚类算法存在的算法执行效率低、聚类质量较差等缺点,提出了一种基于混合差分进化的滑动窗口数据流聚类算法。该算法将数据流聚类过程分为两个部分：在线的时序窗口数据信息微簇特征向量生成和离线阶段的聚类优化。对在线生成的微簇进行微簇集合的更新与维护,利用改进的粒子群算法对离线的微簇数据信息进行适应度值的计算,将种群分为优势子种群和普通子种群,然后利用个体适应度值和平均适应度值的判别来生成当前个体环境的最优候选解,并迭代地对个体进行进化,输出具有最优适应度值的聚类集合,完成对数据流的聚类。仿真实验结果表明,算法在对数据流执行聚类时具有较高的执行效率,并且最后聚类的质量较好,算法实用性强。     

原始RFID数据流上复杂事件处理研究

一般的RFID复杂事件检测是建立在经过数据清洗的数据模型上,但RFID数据清洗往往代价较高且目的单一,更为影响效率的是其数据清洗步骤和复杂事件处理步骤需要扫描数据流两次.针对这些问题,提出直接在原始RFID数据流上进行复杂事件处理,将数据清洗步骤与复杂事件处理步骤相结合的方法,并设计出了集成此方法的复杂事件处理引擎架构,最后编程实现了上述架构的处理引擎.通过大量对比实验分析验证了该方法的正确性与高效性.     

基于相似三角形的SIFT错误匹配点剔除算法研究

图像匹配是图像处理应用于诸多领域的一项关键技术,基于不变特征的图像匹配是近年来图像匹配的研究热点。尺度不变特征是最有效的平移、尺度、旋转和亮度局部不变特征之一,但该算法一般会产生大量的错误匹配点。首先给出了交叉线和"一对多"类型的错误匹配点的剔除方法。然后针对一般性错误匹配点,提出了一种基于相似三角形的剔除方法,并通过实验将该算法与另外两种常用剔除算法进行了比较,证实本文提出的方法速度更快,且在剔除错误匹配点的同时保留了较多的正确匹配点。     

MedSMan: a live multimedia stream querying system

Querying live media streams is a challenging problem that is becoming an essential requirement in a growing number of applications. Research in multimedia information systems has addressed and made good progress in dealing with archived data. Meanwhile, research in stream databases has received significant attention for querying alphanumeric symbolic streams. The lack of a data model capable of representing different multimedia data in a declarative way, hiding the media heterogeneity and providing reasonable abstractions for querying live multimedia streams poses the challenge of how to make the best use of data in video, audio and other media sources for various applications. In this paper we propose a system that enables directly capturing media streams from sensors and automatically generating more meaningful feature streams that can be queried by a data stream processor. The system provides an effective combination between extendible digital processing techniques and general data stream management research. Together with other query techniques developed in related data stream management streams, our system can be used in those application areas where multifarious live media senors are deployed for surveillance, disaster response, live conferencing, telepresence, etc.

Detection and removal of infrequent behavior from event streams of business processes

Process mining aims at gaining insights into business processes by analyzing the event data that is generated and recorded during process execution. The vast majority of existing process mining techniques works offline, i.e. using static, historical data, stored in event logs. Recently, the notion of online process mining has emerged, in which techniques are applied on live event streams, i.e. as the process executions unfold. Analyzing event streams allows us to gain instant insights into business processes. However, most online process mining techniques assume the input stream to be completely free of noise and other anomalous behavior. Hence, applying these techniques to real data leads to results of inferior quality. In this paper, we propose an event processor that enables us to filter out infrequent behavior from live event streams. Our experiments show that we are able to effectively filter out events from the input stream and, as such, improve online process mining results.     

A spatio-temporal pyramid matching for video retrieval

An efficient video retrieval system is essential to search relevant video contents from a large set of video clips, which typically contain several heterogeneous video clips to match with. In this paper, we introduce a content-based video matching system that finds the most relevant video segments from video database for a given query video clip. Finding relevant video clips is not a trivial task, because objects in a video clip can constantly move over time. To perform this task efficiently, we propose a novel video matching called Spatio-Temporal Pyramid Matching (STPM). Considering features of objects in 2D space and time, STPM recursively divides a video clip into a 3D spatio-temporal pyramidal space and compares the features in different resolutions. In order to improve the retrieval performance, we consider both static and dynamic features of objects. We also provide a sufficient condition in which the matching can get the additional benefit from temporal information. The experimental results show that our STPM performs better than the other video matching methods.     

基于稀疏编码的时空金字塔匹配的动作识别

针对复杂场景下的动作识别,提出一种基于稀疏编码的时空金字塔匹配的动作识别方法.通过稀疏编码的方法学习更具有判别性的码书和计算局部块(cuboids)的稀疏表示;然后基于max pooling的时空金字塔匹配进行动作分类.该方法在KTH和YouTube两大公开数据集上进行了评价,实验结果表明,与基于K-means的时空金字塔匹配方法相比,该方法提高了2%-7%左右的识别率,在复杂的视频中取得了较好的识别效果.     

TMS-RFID: Temporal management of large-scale RFID applications

In coming years, there will be billions of RFID tags living in the world tagging almost everything for tracking and identification purposes. This phenomenon will impose a new challenge not only to the network capacity but also to the scalability of event processing of RFID applications. Since most RFID applications are time sensitive, we propose a notion of Time To Live (TTL), representing the period of time that an RFID event can legally live in an RFID data management system, to manage various temporal event patterns. TTL is critical in the “Internet of Things” for handling a tremendous amount of partial event-tracking results. Also, TTL can be used to provide prompt responses to time-critical events so that the RFID data streams can be handled timely. We divide TTL into four categories according to the general event-handling patterns. Moreover, to extract event sequence from an unordered event stream correctly and handle TTL constrained event sequence effectively, we design a new data structure, namely Double Level Sequence Instance List (DLSIList), to record intermediate stages of event sequences. On the basis of this, an RFID data management system, namely Temporal Management System over RFID data streams (TMS-RFID), has been developed. This system can be constructed as a stand-alone middleware component to manage temporal event patterns. We demonstrate the effectiveness of TMS-RFID on extracting complex temporal event patterns through a detailed performance study using a range of high-speed data streams and various queries. The results show that TMS-RFID has a very high throughput, namely 170,000–870,000 events per second for different highly complex continuous queries. Moreover, the experiments also show that the main structure to record the intermediate stages in TMS-RFID does not increase exponentially with the number of events. These results demonstrate that TMS-RFID not only supports high processing speeds, but is also highly scalable.     

基于网格的数据流连续约束Skyline处理技术研究

作为数据流上的一种重要查询,skyline对于很多在线应用都非常重要,包括移动运算环境、网络监控、传感器网络、股票交易等。与大多数数据流skyline处理技术不同,本文着重于约束skyline的处理。约束skyline支持用户定义在某些属性上的偏好,系统中存在多个约束skyline查询,为skyline查询处理技术带来了新的挑战。为了在高速数据流上对约束skyline进行高效处理,本文使用了一种网格索引存储元组,并提出两个算法用于计算和维护skyline集合,我们还为每个查询定义了影响区域,以减少在新元组到达和旧元组失效时需要处理的网格数目。理论分析和实验证明了该方法的有效性。     

在线RFID多复杂事件查询处理技术

在线无线射频识别(radio frequency identification,RFID)数据流上的复杂事件处理技术是一个新的课题。现有研究工作仅是针对单一的复杂事件查询,没有考虑多复杂事件同时查询的处理策略。在复杂事件语言SASE(stream-based and shared event processing)的基础上设计了专门针对多查询的自动机及相关的优化技术,解决了RFID数据流上多复杂事件查询的问题。实验结果表明,算法在查询数量较大时,时间与空间上较传统算法有更好的表现。