基于滑动窗口的数据流连接聚集查询降载策略

基于单个数据流的滑动窗口聚集查询降载技术和数据流连接技术,提出滑动窗口模型下的数据流连接聚集查询降载策略,给出判断系统是否过载的负载方程和使过载系统恢复到轻载状态的降载算法,使降载后的查询结果同时拥有较小的相对误差和最大的元组输出率。实验结果表明,该降载策略具有较好的可行性和适应性。     

数据流系统中的一种查询调度及负载脱落模型

如何在资源有限的情况下,快速执行查询处理并最大限度地减少查询精度的损失是数据流查询处理的主要任务之一.从操作符的优化调度和负载脱落两个方面研究了这一问题.分析了影响操作符调度的主要因素,结合操作符对不同元组的不同处理特性以及系统运行状态,设计并实现了一个基于优先级的调度模型.其中采用人工神经元网络中的算法对影响操作符优先级的权重系数进行训练,实现了基于动态优先级的调度.使用负载脱落技术可以使系统在大量突发数据流元组进入系统而系统无法处理时及时脱落其中的部分数据,维持系统的正常运转,提高系统查询处理的可用性.针对存在两个数据流连接操作符的查询请求,研究了负载脱落和反脱落的时机、数量、位置、谓词等问题,设计并实现了一个基于语义的负载脱落模型.算法和模型的运行结果表明该模型在过载时系统能够及时降载,在欠载时能及时进行反脱落操作,减少了性能的损失.     

数据流滑动窗口聚集查询降载策略研究*

滑动窗口聚集查询在数据流管理系统中应用广泛,数据流到达高峰期,必须考虑滑动窗口聚集查询中出现的降载问题。分析了子集模型的特点和已有降载策略的不足,给出了数据流滑动窗口聚集查询降载问题的约束条件,提出了能保证子集结果产生的基于丢弃窗口更新策略的降载算法。理论分析和实验结果表明,该算法对数据流滑动窗口聚集查询降载问题的处理具有较高的有效性和实用性。     

基于机器学习的分布式星载RTs系统负载调度算法

分布式星载多RTs(Remote Terminal)系统的任务主要基于功能进行分配,而数据处理任务的突发性往往会使不同计算机之间负载不均衡。运用灵活的负载调度机制,可以有效调节不同计算机间的负载差异,从而在一定程度上提升计算机系统的整体性能。文中提出了一种基于机器学习的分布式星载RTs系统负载调度算法,包含样本采集、任务吞吐率预测模型构建、吞吐率预测和负载调度等4个步骤。在构建任务吞吐率预测模型环节,通过机器学习的线性回归正规方程获取模型权重,缩短了构建模型消耗的时间。在负载调度环节,若RTs的吞吐率之和大于系统总的负载数据量,则按吞吐率比例给各RTs分配数据,否则只给负载数据量小于自身吞吐率的RTs分配一定量的数据。在多台星载计算机电性能产品构建的地面模拟系统上的实验结果表明,该算法可以使系统所有节点的平均CPU利用率提高23.78%,节点间的CPU利用率方差降低至34.59%,同时目标任务的系统总吞吐量显著提升225.97%。也就是说,该方法在确保系统负载均衡性的同时,可有效提高系统的资源利用率,提升星载计算机系统的数据实时处理性能。     

基于滑动窗口的数据流压缩技术及连续查询处理方法

基于滑动窗口的连续查询处理是数据流研究领域的一个热点问题．已有的研究工作均假设滑动窗口内的数据能够全部保存在主存中，若滑动窗口内的数据量超过了可用主存空间，已有的查询处理方法则无法正常工作．提出两种数据流上的滑动窗口压缩技术，有效地降低了滑动窗口的存储空间需求．同时，给出了基于压缩滑动窗口的连续查询处理算法，理论分析和实验结果表明，这些算法具有很好的性能，能够满足数据流连续查询处理的实时性要求．     

HoliAdapt——数据流中一种适应性查询处理策略

针对数据流上连续查询处理的特征,我们从选择率和执行时间的角度出发,考虑内存使用量和输出延迟适应性因素,提出一种适应性的查询处理策略—HoliAdapt。该策略基于查询窗口动态地收集统计信息,利用数学方法不断地优化查询计划,通过核心调度方法,对操作符进行适应性的调度,有效地减少时间延迟和内存使用量,提高系统查询的效率。     

数据流处理系统的调度策略研究

对于高速网络中大容量数据流的实时查询处理,由于数据流的突发性,要求调度策略能够适应这一特点,在不降低处理系统性能的情况下进行较合适地处理.以链式调度为基础,综合先进先出和贪心策略的优点,采用一种低延迟的分段调度策略来处理数据流,可以尽量避免这些调度策略的缺陷,既能在一定程度上降低运行期间系统的存储需求,同时保持较低的输出延迟.     

流系统的降载技术

流数据连续查询及优化研究已成为当前国际数据库研究领域的一个热点。数据流的到达速率经常是不可预测的且具有很高的突发性,数据流速这种不规则的变化会引起系统负载急剧的波动。当输入速率超过系统处理能力时,系统会发生过载并且导致系统性能的恶化,降载技术是解决此问题最有效的途径之一。对降载技术中系统负载估计、降载器的最佳的放置位置、降载量的大小、降载器合并等关键问题进行了讨论。     

一种数据流上截止期敏感的滑动窗口处理策略

在数据流上定义了截止期作为连续查询的实时约束,并建立了基于截止期的滑动窗口处理模型;提出了一种基于预测的截止期敏感的滑动窗口处理策略;在多滑动窗口查询处理环境中,提出了一种（k,m ）截止期约束机制,在提高查询实时性的前提下,尽可能的满足不同查询对结果丢失率的不同约束。实验结果表明该处理策略能够有效提高数据流上滑动窗口查询的截止期满足率。     

数据流上多滑动窗口聚集查询的优化算法

在数据流的查询处理中,聚集查询是一种常用的查询类型.系统经常需要在同一个数据源上处理多个聚集查询,而单独地执行每个查询会导致严重的可扩展性问题和性能问题,因此实现相似查询之间的资源共享变得至关重要.针对多个具有不同时间窗口的聚集查询,本文提出了一种优化的窗口聚集算法OPWA(Optimized Paired Window Aggregation).先根据各时间窗口参数对聚集查询进行分组,使得相似查询可以同步调度;再采用paired技术对数据流进行分割.一方面减少了时间切片的数目,降低了空间的需求;另一方面同步地执行相似查询,减少了系统的计算开销.实验表明OPWA具有较好的性能.     

数据流系统中卸载技术研究综述

随着数据流应用系统的快速流行,流数据管理对数据库技术提出了巨大挑战。由于数据流经常是爆发性的且数据特征可能随时变化,因此要求数据流管理系统具有很好的自适应性。当输入速率超过系统处理能力时,系统会产生过载且性能下降。为了解决这一问题,卸载技术是有效的途径之一。卸载时间、卸载地点和卸载数量是与卸载技术密切相关的三个主要问题,本文主要从这三个方面来综述和分析目前各个数据流系统所采用的卸载技术。     

Semantic approximation of data stream joins

We consider the problem of approximating sliding window joins over data streams in a data stream processing system with limited resources. In our model, we deal with resource constraints by shedding load in the form of dropping tuples from the data streams. We make two main contributions. First, we define the problem space by discussing architectural models for data stream join processing and surveying suitable measures for the quality of an approximation of a set-valued query result. Second, we examine in detail a large part of this problem space. More precisely, we consider the number of generated result tuples as the quality measure and we propose optimal offline and fast online algorithms for it. In a thorough experimental study with synthetic and real data, we show the efficacy of our solutions.     

Query processing of multi-way stream window joins

This paper introduces a class of join algorithms, termed W-join, for joining multiple infinite data streams. W-join addresses the infinite nature of the data streams by joining stream data items that lie within a sliding window and that match a certain join condition. In addition to its general applicability in stream query processing, W-join can be used to track the motion of a moving object or detect the propagation of clouds of hazardous material or pollution spills over time in a sensor network environment. We describe two new algorithms for W-join and address variations and local/global optimizations related to specifying the nature of the window constraints to fulfill the posed queries. The performance of the proposed algorithms is studied experimentally in a prototype stream database system, using synthetic data streams and real time-series data. Tradeoffs of the proposed algorithms and their advantages and disadvantages are highlighted, given variations in the aggregate arrival rates of the input data streams and the desired response times per query. This is an extended version of the paper published in the Proceedings of the 15th International Conference on Scientific and Statistical Database Management, SSDBM 2003, Boston, U.S.A., pp. 75–84.     

MIMO干扰信道中一种新的分布式迭代预编码算法

MIMO技术可以有效地提高通信系统的容量,但会带来很严重的用户间干扰问题。预编码技术以其能简化接收机和抑制干扰的作用将会在未来通信中扮演着重要角色。将多数据流的预编码矩阵设计转换成单数据流预编码矢量设计,提出了基于信干噪比最大的分布式迭代算法,以及将虚拟信干噪和最小均方误差方法相结合的迭代算法。数值仿真结果表明提出的算法可以有效提高系统容量。     

易变数据流的系统资源配置方法

大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。     

一种多数据流MIMO系统中的改进自适应算法

研究表明自适应MIMO技术是无线频谱资源有限情况下提高通信系统吞吐量的一种有效方式.文中对数据流MIMO系统提出一种基于MMSE检测的改进自适应算法,首先利用基于奇异值分解(SVD)的注水算法进行初始功率分配和数据流选择,然后选用信干噪比(SINR)作为等效信道质量指示(CQI),在总发射功率和误帧率(FER)一定的前提下,根据现有一种迭代算法进一步计算每个数据流上分配的功率及其使用的调制编码模式.仿真结果表明该自适应算法能改善系统吞吐量,且在低信噪比下简化了原来的迭代算法.     

Techniques for Scheduling I/O in a High Performance Multimedia-on-Demand Server

One of the key components of a multiuser multimedia-on-demand system is the data server. Digitalization of traditionally analog data such as video and audio, and the feasibility of obtaining network bandwidths above the gigabit-per-second range, are two important advances that have made possible the realization, in the near future, of interactive distributed multimedia systems. Secondary-to-main memory I/O technology has not kept pace with advances in networking, main memory, and CPU processing power. Consequently, the performance of the server has a direct bearing on the overall performance of such a system. In this paper, we present a highperformance solution to the I/O retrieval problem in a distributed multimedia system. We develop a model for the architecture of a server for such a system. Parallelism of data retrieval is achieved by striping the data across multiple disks. We present the algorithms for server operation when servicing a constant number of streams, as well as the admission control policy for accepting requests for new streams. The performance of any server ultimately depends on the data access patterns. Two modifications of the basic retrieval algorithm are presented to exploit data access patterns in order to improve system throughput and response time. Finally, we present preliminary performance results of these algorithms on the IBM SP1 and Intel Paragon parallel computers.     

分布式数据流查询方案及优化

流式数据库系统是一种新型数据库系统,方便于执行连续数据流查询。许多基于流的应用都是分布式的, 由于输入流速率及其他系统参数如可用的计算资源是易变的,所以一个流查询方案必须能适应这些变化。 提出一种分布式流查询方案并进行了优化,使用元组响应时间及系统吞吐量来评价方案的性能。同时,通过实验和其他方案进行比较,证明了方案是最佳的。