基于滑动窗口的数据流连续J-A查询的处理方法

数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为O(α×β),其中(,(为参加连接两个滑动窗口的大小.在数据流的查询处理中,内存是最重要的计算资源.提出了两种滑动窗口J-A连续查询处理算法--IC算法和TC算法,使得查询处理的空间开销降为Ο(α+β).理论分析和实验结果表明,所提出的算法具有更高的效率.     

基于滑动窗口的数据流压缩技术及连续查询处理方法

基于滑动窗口的连续查询处理是数据流研究领域的一个热点问题．已有的研究工作均假设滑动窗口内的数据能够全部保存在主存中，若滑动窗口内的数据量超过了可用主存空间，已有的查询处理方法则无法正常工作．提出两种数据流上的滑动窗口压缩技术，有效地降低了滑动窗口的存储空间需求．同时，给出了基于压缩滑动窗口的连续查询处理算法，理论分析和实验结果表明，这些算法具有很好的性能，能够满足数据流连续查询处理的实时性要求．     

存储最优的连续MAX查询方法

考虑滑动窗口数据流上的连续MAX查询问题,提出了一种存储最优的方法.该方法只需保存数据集中可能成为极大值点的部分数据(候选点集),而将所有完全不可能成为极值点的数据进行丢弃,从而可以有效降低存储开销;提出了一个动态维护候选点集的方法,当数据独立分布时,处理一个新到数据所需的时间为O(1og N),处理数据失效的时间开销为O(1),其中N为滑动窗口包含的全部数据数目.理论分析和实验结果表明了该方法能够适应流速很快的场景,具有较高的效率.     

面向不确定感知数据的频繁项查询算法

随着计算机网络技术的快速发展,无线传感器网络产生了大量的感知数据流.同时,传感器自身的特点使得感知数据具有不确定的特征,因此需要对传感器网络中不确定感知数据流处理技术进行研究.在传感器网络中,频繁项查询在环境监控和关联规则挖掘等方面具有重要意义.文中首先提出了基本算法,用以连续维护传感器网络中的概率阈值频繁项查询结果.针对基本算法需要维护所有元素的问题,又提出了一种优化算法,算法在两方面进行了优化:(1)设计了一种通过预测元素概率上界的方法进行候选集的构造,仅维护必要信息从而提高查询效率;(2)设计了一种新的cp-list结构,可以压缩不同窗口候选集中的重复元素,降低存储开销.实验结果表明文中提出的算法可以减少连续维护传感器网络中频繁项查询的计算代价和存储空间.     

无线传感器网络中滑动窗口轮廓查询算法

提出了一种基于过滤的算法(filter based algorithm,FBA)来连续地维护传感器网络中的滑动窗口轮廓查询。首先,研究了利用元组过滤器和格过滤器来减少网络中数据传输量的两种方法。由于它们各有利弊,提出了根据数据分布来选择合适的过滤器的自适应过滤法;另外,提出了一系列的优化方法来进一步提高算法的能量有效性。仿真和真实数据的实验结果表明,FBA及其优化方法能有效地减少连续维护传感器网络中滑动窗口轮廓时的通信代价,进而节约传感器网络的能量。     

滑动窗口规模的动态调整算法

讨论当数据流系统的数据流流速或连续查询发生变化时,滑动窗口规模的动态调整问题.根据可用内存空间大小和连续查询需求,提出了3类动态调整滑动窗口规模的算法,实现了对连续查询3种服务质量级别的支持,提高了连续查询处理的效率和效果.理论分析与实验结果表明,提出的算法可以有效地应用于数据流系统.     

滑动窗口数据流上多极值查询资源共享策略研究

为了提高在同一数据流上同时计算多个连续极值查询(MAX或MIN)时的处理能力,对查询间资源共享技术进行了研究.提出了一种称为"关键点集"的裁剪策略,系统仅需保存少量数据即可满足所有查询的需要.发掘多个查询间的相似性和可共享的计算存储资源,提出了一个多极值查询处理算法MCEQP.采用链表结构实现的该算法,当一个新数据到达时最多需要O(M K)时间即可更新全部K个查询的结果,其中M为关键点集包含数据的个数.MCEQP采用触发器驱动的方式,只在某些特定时刻才需要计算因数据失效引起的查询结果变化,更新K个查询结果所需时间为O(K).理论分析和实验证明,对于滑动窗口数据流上的多个极值查询,MCEQP算法在降低存储开销和提高性能方面均优于现有的通用方法.     

一种数据流滑动窗口范围连接上基于局部特征的查询索引

在数据流上的连续查询操作中,连接操作是比较重要的一类操作.数据流上数据的变化总体上呈现一个连续性,并且在很多实际的情况下变化是逐渐发生的.数据流系统中的局部性可以表现为数据之间的局部性及连续查询之间的局部性.认为这些特性可以被用来提高数据流系统和应用当中的查询处理性能,尤其是研究相对较少的范围连接.提出的一种基于局部特征的数据流滑动窗口的范围连接索引,充分考虑了用户提交的查询所带有的局部性特征和数据流本身局部性特征,设计了LAQI结构来提高范围连接性能,然后在此基础上提出了LAAQI结构,并针对周期更新滑动窗口提出了范围连接的相应策略.实验证明,这些策略相对于传统范围的连接方法具有很好的性能.     

n-of-N 数据流模型上高效概率Skyline 计算

研究概率数据流上的q-skyline计算问题.与只支持滑动窗口数据流模型的已有方法相比,所提出的方法能够支持更为通用的n-of-N数据流模型.采用将q-skyline查询转换为区间树上刺入查询的方法支持n-of-N数据流模型.提出PnNM算法维护支持n-of-N数据流模型所需的相关数据结构,高效处理了不确定对象候选集合更新和区间更新等维护工作;提出PnNCont算法实现连续查询处理.理论分析和实验结果表明,算法能够有效地支持概率数据流n-of-N模型上的q-skyline查询处理.     

一种数据流上截止期敏感的滑动窗口处理策略

在数据流上定义了截止期作为连续查询的实时约束，并建立了基于截止期的滑动窗口处理模型；提出了一种基于预测的截止期敏感的滑动窗口处理策略；在多滑动窗口查询处理环境中，提出了一种（k,m ）截止期约束机制，在提高查询实时性的前提下，尽可能的满足不同查询对结果丢失率的不同约束。实验结果表明该处理策略能够有效提高数据流上滑动窗口查询的截止期满足率。     

基于并行处理的RFID防冲突算法

为解决RFID系统中的标签碰撞问题,在分析经典二进制搜索算法的基础上,提出一种基于二进制搜索的改进算法以实现标签的快速识别。算法采用栈和队列技术、后退策略、碰撞位跟踪及并行处理思想,在碰撞处理中,读写器只需发送一个三维向量命令,标签以部分碰撞位参数为应答,减少传输数据量和识别次数;利用队列存储已识别的ID,将读写操作与碰撞处理并行,省去单独读写时间;采用模块并行处理,使读写器具有双核处理能力。测试结果表明,该算法在减少传输数据量和识别次数上优于经典二进制算法。     

PLC梯形图的广义表转换

提出了利用串并联归并算法以实现PLC梯形图到指令表的转换方法。该算法将梯形图转化为有向无环图，对图中的串并联关系进行分类归并，将串并联结构按层次存储在广义表中，根据广义表生成指令表。该算法克服了传统拓扑排序算法在梯形图结构复杂时产生误判的缺陷，增加了检查逻辑错误的功能。在最佳情况下，该算法的时间复杂度为O(n)，最差情况下为O(n2)，与拓扑排序算法基本一致，有时略优于拓扑排序算法。     

一种高效的连续不确定XML小枝模式匹配算法

针对目前不确定XML小枝模式匹配算法均基于归并,易造成很大的空间和时间浪费问题,提出基于P-文档模型的连续不确定XML的非归并的小枝模式匹配算法.算法在节点入队列和出队列时分别进行过滤剪枝操作,减少待处理节点的个数,匹配过程使用相互关联的链表存储中间结果,不需要归并.理论分析与实验结果表明,该算法是一种高效的连续不确定XML查询算法.     

优先队列的并行插入和删除

优先队列广泛地使用在许多并行算法中(例如,多处理机调度和某些组合优化算法)。在这些算法中,共享优先队列的存取冲突限制了加速比的提高。本文提出一种链表优先队列的并行插入和删除方法,具有较小并行开销和较大的并行度,并且保证和串行存取算法的优先顺序完全一致,即删除操作返回已经插入和正在插入的所有元素中的最佳元素。同时,我们还介绍了目前性能最好的堆的并行插入和删除算法,并对准和链表结构并行插入和删除算法的性能和适用范围进行了比较,进一步提出了散列结构的优先队列。在ENCORE Multimax520多处理机上的实验结果验证了我们的理论分析结果:使用链表结构的并行分枝限界算法性能上可获得很大提高。     

适应性查询处理——Internet数据查询面临的挑战与解决技术

随着基于Internet的数据查询系统的发展与普及,适应性查询处理逐渐成为一项重要的技术。目前的Internet可以看作一个庞大的分布式和异构化数据库,各个数据源具有自治性,加上广域网网络传输带宽的限制,各个数据源数据的可访问性以及传输速度是经常变化和不可预测的。传统的采用“停止-进行”方式的查询处理不能很好地处理这种情况。而能够在查询执行过程中动态调整查询计划的适应性查询处理是针对此类应用的最佳选择。文章论述适应性查询处理涉及的研究课题及解决技术,并例举最新的研究成果。     

基于有序事件列表的高效复杂事件匹配算法

针对现有的复杂事件匹配处理方法存在的匹配代价高的问题,提出了一种利用事件缓冲区（有序事件列表）进行递归遍历的复杂事件匹配算法ReCEP。不同于现有方法利用自动机在事件流上进行匹配,该算法将复杂事件查询模式中的约束条件分解为不同类型,再在有序列表上对不同约束分别进行递归校验。首先,根据查询模式将相关事件实例按照事件类型进行缓存;其次,在有序列表上对事件实例执行查询过滤操作,并给出了一种基于递归遍历的算法来确定初始事件实例并且获取候选序列;最后,对候选序列的属性约束进行进一步的校验。基于股票交易模拟数据进行的实验测试和分析的结果表明,与当前主流的匹配方法 SASE和Siddhi相比,ReCEP算法能够有效地减少查询匹配的处理时间,总体性能上均更优,查询匹配效率提升了8.64%以上。可见,所提出的复杂事件匹配方法能够有效提高复杂事件匹配的效率。     

Efficient processing of exact top-k queries over disk-resident sorted lists

The top-k query is employed in a wide range of applications to generate a ranked list of data that have the highest aggregate scores over certain attributes. As the pool of attributes for selection by individual queries may be large, the data are indexed with per-attribute sorted lists, and a threshold algorithm (TA) is applied on the lists involved in each query. The TA executes in two phases—find a cut-off threshold for the top-k result scores, then evaluate all the records that could score above the threshold. In this paper, we focus on exact top-k queries that involve monotonic linear scoring functions over disk-resident sorted lists. We introduce a model for estimating the depths to which each sorted list needs to be processed in the two phases, so that (most of) the required records can be fetched efficiently through sequential or batched I/Os. We also devise a mechanism to quickly rank the data that qualify for the query answer and to eliminate those that do not, in order to reduce the computation demand of the query processor. Extensive experiments with four different datasets confirm that our schemes achieve substantial performance speed-up of between two times and two orders of magnitude over existing TAs, at the expense of a memory overhead of 4.8 bits per attribute value. Moreover, our scheme is robust to different data distributions and query characteristics.     

An efficient continuous k-nearest neighbor query processing scheme for multimedia data sharing and transmission in location based services

The continuous k-nearest neighbor query is one of the most important query types to share multimedia data or to continuously identify transportable users in LBS. Various methods have been proposed to efficiently process the continuous k-NN query. However, most of the existing methods suffer from high computation time and larger memory requirement because they unnecessarily access cells to find the nearest cells on a grid index. Furthermore, most methods do not consider the movement of a query. In this paper, we propose a new processing scheme to process the continuous k nearest neighbor query for efficiently support multimedia data sharing and transmission in LBS. The proposed method uses the patterns of the distance relationships among the cells in a grid index. The basic idea is to normalize the distance relationships as certain patterns. Using this approach, the proposed scheme significantly improves the overall performance of the query processing. It is shown through various experiments that our proposed method outperforms the existing methods in terms of query processing time and storage overhead.

     

基于哈希算法的脏数据回写磁盘实时调优策略

针对传统数据库缓冲池脏数据回写磁盘策略实时性与安全性差的问题,提出基于Hash算法与先入先出(FIFO)双向链表的数据库缓冲池脏数据回写磁盘实时调优策略。利用基于负载的调优策略创建多个内存FIFO队列链表,通过Hash算法将数据库缓冲区内的脏数据块按最后修改时间随机分配到不同队列负载中,实现FIFO队列链表的负载均衡,并利用全局时序约束将链表队列中的脏数据块分批回写磁盘,以解决传统脏数据回写磁盘策略系统资源消耗大与宕机后数据丢失风险高的问题。实验结果证明,该策略能提高脏数据回写的实时性及安全性,降低数据丢失率。     

Query processing with quality control in the World Wide Web

Recent research on integrating database and World Wide Web (WWW) technologies has changed the navigation approach to searching information in the Web. People now can issue queries via a simple query interface or a databaselike query language to retrieve information from semistructured WWW data sources. However, the quality of query processing in the WWW is still low due to many factors such as unpredictable response time, irrelevant results, and outofdate data. Such lowquality query processing is intolerable to either users or service providers. In this paper, we present a qualitycontrolled query processing method in the WWW. Quality parameters that users can specify with their queries are introduced. Distance functions that are used to evaluate the goodness of query quality parameters are defined. A query processing model with quality control is introduced. A quality control protocol in query processing is presented. Qualitycontrolled query scheduling algorithms including admission scheduling, promotion/demotion scheduling and execution scheduling are proposed. Other relevant issues such as query classification, system parameter estimation, and query queue management are also discussed. Query processing with quality control is a promising way to solve the uncertain and lowquality query processing problems in the WWW.