数据流中一种适应性查询优化方法

对数据流中的查询处理机制进行了深入的研究,从内存使用量和查询的实时性两方面进行综合考虑,提出了一种基于多因素的动态查询优化及调度策略MultiFactor,它根据各操作符消耗系统中元组数量的快慢来动态调整操作符调度次序,按查询的截止时间来确定各操作符调度时间,同时提出了多流连接查询的调度方法。给出了Multi-Factor适应性优化的时机以及调整策略。     

数据流持续查询中调度策略的适应性研究

处于高速网络环境中的许多应用所需要处理的数据是以数据流的形式存在的，数据到达可能是突发性的。数据到达速率是随着时间变化的，对数据流的实时查询处理要能适应数据流的特性和网络的波动环境。文章对数据流查询计划中调度策略的适应性进行分析，实现在降低运行时系统存储需求的同时保持较低的输出延迟，在一定程度上能够适应数据流到达速度的变化。     

数据流中一种适应性查询处理机制

针对数据流中连续查询特征,本文提出一种适应性的查询处理机制,它不但能在有限时间内最大可能地输出结果元组,也可对有限的元组以最快时限输出。而此查询处理机制主要依托于基于输出速率的代价模型,此模型将不断变化的流速、谓词选择率、操作符处理时间作为代价函数变量,将输出速率作为代价模型的函数值。因此此代价模型可适应环境以及数据流本身不断变化的因素,并可作为查询计划动态选择的标准。实验证明此适应性查询处理机制最终能有效地提高输出速率、增加查询吞吐量、减少时间延迟,降低查询间内存占有量。     

数据流上的一种适应性查询优化及调度策略

针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量和查询的实时性两方面进行综合考虑,提出了一种适应性查询优化策略Slope.该策略一方面可以根据各操作符的选择度和单位时间处理元组个数来适时调整查询计划;另一方面可以按调整后的查询计划进行非等值时间片轮转调度.还给出了Slope策略的相应算法并进行了性能测试.     

数据流上的一种适应性调度策略MultiFactor

本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势.     

数据流上的一种适应性调度策略 MultiFactor

本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势.     

数据流管理系统中适应性查询机制的研究

介绍了数据流技术的发展现状,然后讨论了适应性查询在数据管理中的发展演变,特别是在数据流管理中的特殊性。最后,在此基础上,提出了一个支持适应性查询的数据流管理系统RealStream,并详细介绍了其适应性查询处理机制。     

一种基于优先级的数据流查询实时调度策略

针对一些高关键性的特殊应用，把传统实时系统中的截止期、空闲时间、关键性等概念引入数据流管理系统，根据系统中连续查询的特征，赋予其新的涵义。提出了一种基于优先级的实时调度策略，使得流截止期较早、空闲时间较短、关键性较高的查询具有更高的优先级；给出了一种优先级树结构，使得基于优先级的查询执行序列唯一化。实验表明该策略提高了连续查询的实现价值率和连续查询调度的成功率。     

数据流查询处理中一种共享的分级窗口维护策略

由于数据流具有无界的特性,数据流系统中的查询多为带有窗口的查询,对带有窗口的查询,现有方法常由操作符直接维护窗口,但操作符的类型及排列方式可能会导致窗口难以维护,且冗余度较大.因此提出一种查询处理中的分级窗口维护策略,将窗口分为流窗口和操作符窗口,以流窗口为主并控制操作符窗口的维护,使查询中的窗口保持一致,解决了窗口维护问题,并且符合流查询语言的语义,各级窗口中的数据通过共享来解决内存消耗问题.     

数据流查询计划的并行迁移策略

数据流中的查询计划需要不断进行适应性优化,针对该特征提出一种查询计划的并行迁移策略。该策略能确保在输出过程中不丢。失元组或产生冗余元组,维持正确的元组输出时序。实验结果证明,该策略可以使查询计划平滑过渡,避免迁移过程出现无元组输出的空自期,在系统资源紧张和数据流流速过大时,维持较少的中间元组数和较大输出速率。     

数据流多连续查询优化技术

根据数据流连续达到、大小无界和实时性强的特点,引出数据流多连续查询的基本概念.针对多连续查询的特点和用户的需求,将多连续查询优化技术分为单流多查询和多流多查询.详细论述了单流过滤型多连续查询优化技术和基于共享的多流多连续查询优化技术,通过全面系统地分析每种优化算法的基本思想,得出每种查询技术的优缺点及适用场合.     

数据流处理系统的调度策略研究

对于高速网络中大容量数据流的实时查询处理,由于数据流的突发性,要求调度策略能够适应这一特点,在不降低处理系统性能的情况下进行较合适地处理.以链式调度为基础,综合先进先出和贪心策略的优点,采用一种低延迟的分段调度策略来处理数据流,可以尽量避免这些调度策略的缺陷,既能在一定程度上降低运行期间系统的存储需求,同时保持较低的输出延迟.     

一种分布式数据流查询重用算法研究*

提出了一种基于查询树匹配的查询重用算法.首先,系统中原有查询树与新生成的查询树进行匹配并计算对新查询树的重用收益;然后根据重用收益来实现重叠的查询操作的重用.实验结果表明,该算法能够有效地减少连续查询的执行代价总量.     

基于下推自动机的XML数据流递归查询研究

针对具有子孙轴(//)和谓词([])结构特征的XPath对具有不同递归深度的XML数据流进行递归查询处理问题,提出了基于下推自动机技术的处理方法,通过将XPath各类置步转化成相对应的处理模块,由算法将各类处理模块组合起来,建立了自上而下的树状查询模型.由于查询过程中将会发生多重匹配,从而会产生大量的匹配模式,该模型通过有效的匹配策略和缓存操作,对匹配模式进行保存及检验,成功地实现XML数据流递归查询.实验结果表明,该算法在性能上要优于传统方法.     

面向不确定数据流的近似ER-Topk查询处理

随着移动互联网的快速发展以及信息技术的普遍应用,在许多应用中都产生了海量、不确定性数据,包括金融、军事、位置服务、医疗以及气象等。然而,传统的确定性数据管理方法很难管理不确定数据,亟需开发新型数据管理方法。可能世界模型被广泛用于为不确定数据建模,通过该模型可以衍生出诸多确定性的可能世界实例。不确定性数据流是指高速到达的海量不确定元组序列,因而不确定数据流管理比不确定性静态数据管理更具挑战性。面向于不确定数据流的ER-Topk查询是一个典型问题,但是处理复杂度高。提出一种近似算法来处理该查询,具有较小的空间复杂度;同时,还通过搜索策略优化来进一步提升查询处理效率。实验结果验证了所提方法的有效性和高效性。     

面向数据流离线分析的无共享并行查询中间件研究

通过分析网络监控离线分析处理的负载特征,给出了一种面向数据流离线分析处理的并行多策略查询中间件,并利用多策略及DBMS实现了局部结果的汇总,对需后处理查询的系统扩展性、不需后处理查询的系统扩展性分别进行了评价分析。评价分析结果表明:提出的基于面向数据流离线分析处理的并行多策略查询中间件,不但做到了中间件的轻量级,实现了查询内部的并行化;同时,能利用多策略及DBMS实现子节点间并行查询,能提高查询的响应时间,从而在多节点时保持较好的扩展比,避免了系统过载,提高了资源利用率。     

分布式数据流查询方案及优化

流式数据库系统是一种新型数据库系统,方便于执行连续数据流查询。许多基于流的应用都是分布式的, 由于输入流速率及其他系统参数如可用的计算资源是易变的,所以一个流查询方案必须能适应这些变化。 提出一种分布式流查询方案并进行了优化,使用元组响应时间及系统吞吐量来评价方案的性能。同时,通过实验和其他方案进行比较,证明了方案是最佳的。     

数据集成系统中的动态查询处理

为实现数据集成查询我们会用到查询优化器,而传统的查询优化器生成的执行计划会由于以下几个原因产生不良的结果：成本估计不正确,运行时可用的内存不足和数据传输率无法预测,所有这些问题都要求助于动态策略来修正静态的查询执行计划。介绍了一个动态的查询处理框架和这个框架用到的动态策略。     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

基于结构化P2P的分布式数据流系统的查询处理模型

分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题（主要是内存）,提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。