基于滑动窗口的数据流压缩技术及连续查询处理方法

基于滑动窗口的连续查询处理是数据流研究领域的一个热点问题．已有的研究工作均假设滑动窗口内的数据能够全部保存在主存中，若滑动窗口内的数据量超过了可用主存空间，已有的查询处理方法则无法正常工作．提出两种数据流上的滑动窗口压缩技术，有效地降低了滑动窗口的存储空间需求．同时，给出了基于压缩滑动窗口的连续查询处理算法，理论分析和实验结果表明，这些算法具有很好的性能，能够满足数据流连续查询处理的实时性要求．     

一种基于滑动窗口的数据流摘要构造算法

由于数据流具有无限、高速等特性,使得对数据流的查询处理往往不是面向整个数据流,而是把查询处理的范围限定在某个可操作的范围内,比如一个数据窗口。另一方面,通过数据摘要近似表达数据,也是数据流查询处理应对存储空间约束的常用策略。本文提出一种基于滑动窗口的数据流小波摘要构造算法,利用了窗口技术与数据摘要技术的优点。算法的基本思路是基于滑动窗口模型,将数据流划分成若干等宽基本窗口,每个基本窗口内数据进行小波分解与系数约简,从而形成滑动小波摘要窗口。为使窗口内数据摘要绝对重构误差最优,定义一个系数删减标准,采用贪心策略对窗口内小波系数逐步求精,从而获得最优绝对误差小波摘要。实际应用结果证明了算法的有效性。     

数据流滑动窗口聚集查询降载策略研究*

滑动窗口聚集查询在数据流管理系统中应用广泛,数据流到达高峰期,必须考虑滑动窗口聚集查询中出现的降载问题。分析了子集模型的特点和已有降载策略的不足,给出了数据流滑动窗口聚集查询降载问题的约束条件,提出了能保证子集结果产生的基于丢弃窗口更新策略的降载算法。理论分析和实验结果表明,该算法对数据流滑动窗口聚集查询降载问题的处理具有较高的有效性和实用性。     

一种数据流滑动窗口范围连接上基于局部特征的查询索引

在数据流上的连续查询操作中,连接操作是比较重要的一类操作.数据流上数据的变化总体上呈现一个连续性,并且在很多实际的情况下变化是逐渐发生的.数据流系统中的局部性可以表现为数据之间的局部性及连续查询之间的局部性.认为这些特性可以被用来提高数据流系统和应用当中的查询处理性能,尤其是研究相对较少的范围连接.提出的一种基于局部特征的数据流滑动窗口的范围连接索引,充分考虑了用户提交的查询所带有的局部性特征和数据流本身局部性特征,设计了LAQI结构来提高范围连接性能,然后在此基础上提出了LAAQI结构,并针对周期更新滑动窗口提出了范围连接的相应策略.实验证明,这些策略相对于传统范围的连接方法具有很好的性能.     

基于滑动窗口的在线数据流增量聚集查询

增量查询技术由于能有效处理大量、快速、源源不断到达的数据流，因此备受关注。滑动窗口是动态数据流环境下的一种典型的窗口类型。该文研究了基于滑动窗口的数据流聚集查询，提出了一种新的增量聚集查询算法，采用了多种增量计算方法和查询共享技术，实现了多窗口资源共享。实验验证了该方法的有效性。     

一种基于优先级的数据流查询实时调度策略

针对一些高关键性的特殊应用，把传统实时系统中的截止期、空闲时间、关键性等概念引入数据流管理系统，根据系统中连续查询的特征，赋予其新的涵义。提出了一种基于优先级的实时调度策略，使得流截止期较早、空闲时间较短、关键性较高的查询具有更高的优先级；给出了一种优先级树结构，使得基于优先级的查询执行序列唯一化。实验表明该策略提高了连续查询的实现价值率和连续查询调度的成功率。     

滑动窗口连续查询结果存储优化

在数据流滑动窗口查询研究领域中,考虑查询结果失效的连续查询成为了一个新的研究热点.查询结果的维护代价直接影响连续查询效率.根据对不同更新模式连续查询结果的分析,提出了一种带分支链表的梯队列来维护滑动窗口连续查询结果.它利用分支链表结构收集具有相同截止期的数据,采用梯队列的"产卵"机制,能适应具有各种不同分布的数据维护,且能达到O(1)的均摊(amortized)时间复杂度.实验表明,该结构显著提高了滑动窗口连续查询效率,明显优于同类结构.     

分布式数据流上低通信开销的连续极值查询方法研究

数据流本质上是分布的,很多时候必须考虑通信开销.基于滑动窗口模型,考虑分布式数据流上的精确连续极值查询问题,对降低通信开销的策略进行了研究.分析了滑动窗口和极值查询的特性,提出了一种数据裁剪策略,系统只需保存少量数据即可满足极值查询的需求,并从理论上证明了该裁剪是存储最优的.远程节点在保证全局结果正确性的前提下尽量延迟数据传递,从而尽可能对局部数据流进行裁剪过滤,达到降低通信量的目的.理论分析和实验结果证明了上述方法的有效性.     

多数据流上共享窗口连接查询的降载策略

数据流模型作为一种新型的模型，在许多应用中扮演着重要的角色．基于数据流模型的查询处理技术也得到了广泛的研究．为了提高查询系统的性能，现有的研究成果主要可以划分为两类：调度优化和降低负载方法．调度优化方法通过改变元组执行次序来提高查询性能．降低负载方法在负载超出系统处理能力时，通过减少输入流量来提高吞吐率．然而，同时运用这两种方法来提高查询性能的研究工作还很少．结合共享滑动窗口查询操作的调度优化方法和降低负载方法，提出了两种在burst环境下提高查询吞吐率的策略：均匀降载策略和小窗口准确降载策略．理论分析和实验结果均证明这两种策略能显著提高系统的性能．     

不确定数据流上的并行反Skyline查询

作为Skyline查询的一种重要变体,不确定数据流上的反Skyline查询已经成为研究的热点。已有的单机算法无法应对诸如高速数据流、高数据维度、大滑动窗口等情况,相应提出并行查询处理算法PRSUDS。算法采用基于角度划分的分发策略将处理任务分发至各并行节点,给出该分发策略的正确性证明,进而设计、实现算法的并行处理框架。实验结果表明PRSUDS算法较单机算法具有更好的综合性能,更能满足数据流查询的实时性要求。     

数据广播环境下实时查询处理

现有的实时数据广播研究中,只考虑了具有截止期约束的单个数据请求的调度问题,而支持实时查询处理的数据广播技术尚未得到足够的关注。该文研究在on-demand数据广播环境下,如何有效地处理实时查询问题,提出一种新的数据调度算法(QSA)。通过仿真实验与目前最为有效的数据请求调度算法SIN进行了比较,结果显示QSA具有更低的错过截止期比率,在最好的情况下,QSA比SIN降低了17.45%。     

非规则流中高维数据流典型相关性分析并行计算方法

为了满足在计算资源受限的环境下高维数据流处理的实时性要求,提出一种方法——基于GPU(graphic processing unit)的非规则流中高维数据流的处理模型和具体的可行架构,并分析设计了相关的并行算法.该六层模型是将GPU处理数据的高宽带性能结合进滑动窗口中数据流的分析,进而在该框架下基于统一计算设备架构(compute unified device architecture,简称CUDA),使用数据立方模型以及降维约简技术并行分析了多条高维数据流的典型相关性.理论分析和实验结果均表明,该并行处理方法能够在线精确地识别同步滑动窗口模式下高维数据流之间的相关性.相对于纯CPU方法,该方法具有显著的速度优势,很好地满足了高维数据流的实时性需求,可以作为通用的分析方法广泛应用于数据流挖掘领域.     

一种支持实时性查询的数据流操作语言

论文提出一种数据流管理系统中支持实时性查询的数据流操作语言PQL。PQL以SQL_99为蓝本,引入了时间戳、快照窗口、标记窗口、滑动窗口以及连续查询等一系列相关概念,对数据流连续查询中的近似查询和查询的实时性也给出了充分的语法和语义支持。PQL充分地实现了数据流的操作特征,它不仅可以实现数据流上的选择、投影、连接等操作,支持物理时间和逻辑时间两种时间戳,而且可以实现数据流与关系表的连接操作。     

实时数据库的事务调度研究

实时数据库系统的事务调度一般只考虑事务的截止期,但是,在很多情况下,它还与数据截止期直接相关。对不同类型调度策略能否充分考虑数据截止期进行了具体分析,对其中存在的规律进行了归纳总结,并且在全面估算事务运行时间的基础上,给出了基于数据截止期和事务截止期的事务处理策略。     

基于数据流的桥梁健康监测海量数据处理

采用数据流的滑动窗口技术,建立了一种基于数据流滑动窗口的桥梁健康监测系统数据处理及存储模型,进行了基于数据流的桥梁健康监测数据处理的研究.桥梁健康监测是对桥梁结构进行实时监控和结构状态的智能化评估.这对确保桥梁的运营安全及早发现桥梁病害,对延长桥梁的使用寿命起着积极的作用.基于数据流的滑动窗口技术,对传感器采集的数据进...     

挖掘滑动窗口中的数据流频繁项算法

滑动窗口是一种对最近一段时间内的数据进行挖掘的有效的技术,本文提出一种基于滑动窗口的流数据频繁项挖掘算法.算法采用了链表队列策略大大简化了算法,提高了挖掘的效率.对于给定的阈值S、误差ε和窗口长度n,算法可以检测在窗口内频度超过Sn的数据流频繁项,且使误差在εn以内.算法的空间复杂度为O(ε-1),对每个数据项的处理和查询时间均为O(1).在此基础上,我们还将该算法进行了扩展,可以通过参数的变化得到不同的流数据频繁项挖掘算法,使得算法的时间和空间复杂度之间得到调节.通过大量的实验证明,本文算法比其它类似算法具有更好的精度以及时间和空间效率.     

滑动窗口数据流聚类算法在IDS中的应用

针对传统入侵检测系统难于适应日益增长数据量对实时处理能力的需求问题,运用滑动窗口、数据流聚类技术,设计了基于滑动窗口数据流聚类算法,并构建了基于该算法的IDS网络安全防御模型。通过对该模型仿真验证,证明该网络安全防御模型能较好地适应高速网络的入侵检测需求。     

实时数据库事务处理的并发控制策略

实时数据库系统不仅要求数据库的一致性,而且还要满足时间约束.在实时数据库系统中,紧迫性和时限是进行实时事务处理的两个重要特征.本文介绍基于这两个特征的并发控制策略.     

基于至少连续满足弱硬实时限制的调度算法

对至少连续满足弱硬实时限制的性质进行了扩充，提出并证明了任务不满足子序列长度与任务连续满足的截止期限数之间的关系.在此基础上提出了改进的弱硬实时限制调度算法：MRA．MRA用于在弱硬实时系统中保证任务满足至少连续满足限制，是一种高效、易于实现的调度算法,仿真实验的结果表明，MRA调度算法在提高任务对限制的满足率和保证任务实时性方面优于同类算法．     

Mining neighbor-based patterns in data streams

Discovery of complex patterns such as clusters, outliers, and associations from huge volumes of streaming data has been recognized as critical for many application domains. However, little research effort has been made toward detecting patterns within sliding window semantics as required by real-time monitoring tasks, ranging from real time traffic monitoring to stock trend analysis. Applying static pattern detection algorithms from scratch to every window is impractical due to their high algorithmic complexity and the real-time responsiveness required by streaming applications. In this work, we develop methods for the incremental detection of neighbor-based patterns, in particular, density-based clusters and distance-based outliers over sliding stream windows. Incremental computation for pattern detection queries is challenging. This is because purging of to-be-expired data from previously formed patterns may cause birth, shrinkage, splitting or termination of these complex patterns. To overcome this, we exploit the “predictability” property of sliding windows to elegantly discount the effect of expired objects with little maintenance cost. Our solution achieves guaranteed minimal CPU consumption, while keeping the memory utilization linear in the number of objects in the window. To thoroughly analyze the performance of our proposed methods, we develop a cost model characterizing the performance of our proposed neighbor-based pattern mining strategies. We conduct an analysis study to not only identify the key performance factors for each strategy but also show under which conditions each of them are most efficient. Our comprehensive experimental study, using both synthetic and real data from domains of moving object monitoring and stock trades, demonstrates superiority of our proposed strategies over alternate methods in both CPU processing resources and in memory utilization.