一种数据流查询共享模型的设计

为了提高查询效率,从数据流查询过程中查询操作单元和查询存储结构的共享两个方面展开研究.设计一种基于共享的二级索引队列,用于存储数据流中间结果.该结构使得中间查询结果可以再利用的同时也为数据共享情况下的迁移提供了一定的灵活性.对于多查询共享,通过抽取相同数据流中的相同谓词进行查询共享,实现一处计算多处使用的目的.最后对相关模型和算法进行了分析.     

数据流多连续查询优化技术

根据数据流连续达到、大小无界和实时性强的特点,引出数据流多连续查询的基本概念.针对多连续查询的特点和用户的需求,将多连续查询优化技术分为单流多查询和多流多查询.详细论述了单流过滤型多连续查询优化技术和基于共享的多流多连续查询优化技术,通过全面系统地分析每种优化算法的基本思想,得出每种查询技术的优缺点及适用场合.     

面向数据流离线分析的无共享并行查询中间件研究

通过分析网络监控离线分析处理的负载特征,给出了一种面向数据流离线分析处理的并行多策略查询中间件,并利用多策略及DBMS实现了局部结果的汇总,对需后处理查询的系统扩展性、不需后处理查询的系统扩展性分别进行了评价分析。评价分析结果表明:提出的基于面向数据流离线分析处理的并行多策略查询中间件,不但做到了中间件的轻量级,实现了查询内部的并行化;同时,能利用多策略及DBMS实现子节点间并行查询,能提高查询的响应时间,从而在多节点时保持较好的扩展比,避免了系统过载,提高了资源利用率。     

多查询共享技术研究综述

传统的数据库系统围绕单次查询的模型构建,独立地执行并发查询.由于该模型的限制,传统数据库无法一次对多个查询进行优化.多查询共享技术旨在共享查询之间的公共部分,从而达到提高系统整体响应时间和吞吐量的目的.将多查询执行模式分为两类,介绍了各自的原型系统——基于全局查询计划的多查询原型系统和以运算符为中心的多查询原型系统,并且讨论了两种系统的优势以及所适用场景.在之后的内容中,将多查询共享技术按照查询的各个阶段分为查询编译阶段中的多查询共享技术以及查询执行阶段中的多查询共享技术两大类.以这两个方向为线索,梳理了多查询计划的表示方法、多查询表达式合并、多查询共享算法、多查询优化等各种方向的研究成果.在此基础上,还介绍了共享查询技术在关系数据库和非关系数据库中的应用.最后,分析了共享查询技术面临的机遇和挑战.     

基于DHT的连续查询的设计与实现

DHT(分布式哈希表,Distributed Hashing Table)具有良好的可靠性和稳定性,Chord一种是基于DHT的典型路由管理策略,提供具有可扩展性和高效的服务。查询是P2P数据管理技术的一个重要研究内容,连续查询(continuous queues,简称CQ)用来监视数据流的变化,能够将被动的网络结构变成主动的网络结构,在信息监视等领域有广泛的应用前景。如何在P2P网络结构中开展有效的连续查询,实现高效的数据管理,是一个具有挑战性的问题。设计和分析一种经过改进的基于DHT的连续查询,采用super-peer管理查询,利用Chord组织节点和查询,备份节点能保证查询不丢失,负载平衡策略能很好保持系统的稳定性。     

基于super-peer的连续查询策略

连续查询是能够执行较长的一段时间、用来监视底层的数据流语义来触发用户定义的行为的查询,它将被动的网络结构转换成主动的网络结构,在大量数据被频繁地远程更新的分布式网络环境中特别有用.目前,连续查询领域已经成为倍受关注的P2P应用环境.现有P2P连续查询系统存在一定缺陷,作者提出一种基于super-peer的连续查询策略进行相似查询聚簇来减少重复操作,并提出相应的负载平衡算法对查询聚簇进行微调, 改善连续查询网络的负载平衡.该策略能有效地避免洪泛整个网络,具有很好的可扩展性;它不限制系统动态性,不易产生瓶颈,能在尽量少地影响查询聚簇的情况下,改善连续查询网络的负载平衡.     

分布式数据流上低通信开销的连续极值查询方法研究

数据流本质上是分布的,很多时候必须考虑通信开销.基于滑动窗口模型,考虑分布式数据流上的精确连续极值查询问题,对降低通信开销的策略进行了研究.分析了滑动窗口和极值查询的特性,提出了一种数据裁剪策略,系统只需保存少量数据即可满足极值查询的需求,并从理论上证明了该裁剪是存储最优的.远程节点在保证全局结果正确性的前提下尽量延迟数据传递,从而尽可能对局部数据流进行裁剪过滤,达到降低通信量的目的.理论分析和实验结果证明了上述方法的有效性.     

基于公共子树缓存的传感器网络查询技术研究

基于传感器节点存储空间小、电源有限等特点,提出了一种基于公共子树缓存的多sink传感器网络查询方法.该方法提取出网络中的公共子树,将某sink的查询结果按照一定策略缓存在公共子树的公共根.当其他sink节点再次发出同样的查询时,只需将缓存的查询结果发送至查询sink.为了实现更大规模的数据共享,提出了一种有效扩大公共子树规模的去环算法.实验结果表明,提出的去环算法和缓存查询技术可以显著地减少网络中查询消耗的平均能量,加快查询的响应速度.     

Multi-Radio无线传感器网络中基于缓存和信道切换的数据查询算法的研究

针对Multi-Radio Multi-Channel传感器网络中链路服务质量和信道冲突等问题,提出并证明了基于缓存和信道切换的数据查询问题是一个NP完全问题.根据数据流守恒和链路-信道等约束条件,建立线性规划方程,得到该问题的最优解模型,并提出了一个多项式时间的近似算法——贪心新覆盖数据算法.该算法采用动态规划策略最小化缓存节点将单位数据包传输到查询节点所需要的路径时延,再贪心选择其具有最小路径时延的缓存节点,收集其新覆盖数据.理论分析和实验结果表明,提出的方案能有效地减少数据收集时延,提高数据查询效率.     

纯Peer to Peer环境下有效的Top-k查询

目前大多数的Peer-to-Peer(P2P)系统只支持基于文件标识的搜索,用户不能根据文件的内容进行搜索.Top-k查询被广泛地应用于搜索引擎中,获得了巨大的成功.可是,由于P2P系统是一个动态的、分散的系统,在纯的P2P环境下进行top-k查询是具有挑战性的.提出了一种基于直方图的分层top-k查询算法.首先,采用层次化的方法实现分布式的top-k查询,将结果的合并和排序分散到P2P网络中的各个节点上,充分利用了网络中的资源.其次,根据节点返回的结果为节点构建直方图,利用直方图估计节点可能的分数上限,对节点进行选择,提高了查询效率.实验证明,top-k查询提高了查询效果,而直方图则提高了查询效率.     

XML数据库查询及优化研究

随着网络信息的大量涌现和广泛应用,原来简单的信息发布技术已经不能满足必需的信息交流与共享,XML(eX tensibleMarkupLanguage)的出现似乎为上述问题的解决提供了转化。随着XML技术的不断成熟,要构建基于XML的各种应用,从XML数据源中准确有效地查询所需信息,也就变得越来越重要。文中对XML数据库查询语言及对半结构化数据查询、转换输出、数据集成、XML数据索引、结构模糊查询展开分析,详细探讨了XML查询语言的特点、模式、处理过程和查询优化等技术。     

关联数据的自然语言查询方法

以RDF结构为基础的数据网的发展中,高效数据检索成为关键问题之一。形式化查询语言(如SPARQL)因其语法的复杂性及查询本体的相关性阻碍其效用的发挥,迫切需要新的方法或工具实现以自然语言为基础(如关键字检索)的检索。形式化查询语言是检索这类结构化数据的有效方式,用户习惯自然语言为基础的检索方式。因而如何自动将关键词为基础的检索方式转换成以形式化查询为基础的检索方式是实现数据网的重要一环。关联数据的自然语言查询方法自动将自然语言查询转换成SPARQL查询,提高系统的有效性和效率。文中在抽象转换度量模型的基础上,以本体为基础构建查询语义图及实现语义消歧,构建SPARQL查询。实验结果表明,该方法具有更高的召回率、精度及更低的时间消耗。     

网络环境下气象数据自动查询系统设计

针对传统的气象数据查询方法存在查询过程复杂、准确率低等问题,提出一种网络环境下气象数据自动查询系统设计方法;首先设置在网络环境下,设计气象数据查询系统的硬件部分和软件部分,其中,系统的硬件由上位机和下位机组成;软件设计包括气象数据查询系统气压查询软件设计、湿度数据查询系统气压查询软件设计、气象数据查询系统气压查询软件设计和气象数据查询系统风向风速查询软件设计,在此基础之上,最终实现气象数据的自动查询;仿真实验结果证明,所提方法可以方便、快捷、准确地查询气象数据信息。     

P2P环境下数据管理系统上的Top-k查询

目前大多数P2P系统只提供文件的共享,缺乏数据管理能力.基于关系数据库上的关键搜索,本文提出了一种在P2P环境下共享数据库的新框架,其中每个节点上的数据库被看成是一个文档集,用户不用考虑数据库的模式结构信念,简化了不同节点数据库模式间的映射过程,能更好地适应P2P的分散和动态特性.将基于直方图的分层Top-k查询算法扩展到P2P环境下的数据库管理系统上,文档集和数据库的查询被统一起来,一致对待.在查询处理期间,直方图可以自动更新,同时根据查询结果,邻居节点可以自调整,具有自适应性.实验结果表明,基于关键词的数据库共享突破了传统的数据库共享模式,简化了数据访问方式,而基于直方图的Top-k查询算法提高了查询效率.     

一种基于知识的多层概念化数据查询方法

近年来,越来越多的数据库查询研究工作开始致力于对模糊查询条件的概念化处理,称之为概念化查询.运用基于知识的数据查询方法可以实现这类查询,基本的方法是根据领域知识将用户的模糊概念转换成标准的SQL语句,实现概念化查询.但是,如果查询条件中包含了更高层次及多层次的模糊概念,则其概念转换非常复杂,查询的效率将受到严重影响.为了提高多层次数据查询的效率,以村镇住宅建筑产品查询为例,提出一种基于知识的多层概念化数据查询方法.首先需要建立描述模糊概念的知识库;然后,生成多层次的概念化数据,在概念化数据上实现基于知识库的多层数据查询处理.并采用人工数据集进行了实验分析,实验结果表明,在高层和多层概念化查询中,本文提出的方法与基本的方法相比查询效率至少提高40%.基于知识的多层概念化查询将为我国村镇住宅建筑产品查询提供高效的处理手段,能够满足不同知识水平用户的查询需求,具有较高的实用价值.     

链路感知的传感器网络空间范围查询处理算法

在无线传感器网络环境中,用户经常提交空间范围查询以获取网络某局部区域的统计信息,如最大温度、平均湿度等。现有的基于路线的空间范围查询处理算法假设节点通信模型为理想的圆盘模型,而实际的网络并不满足该假设,导致其能量消耗大且查询结果质量差。提出了一种链路感知的空间范围查询处理算法LSA,它根据网络拓扑和链路质量动态地将查询区域划分为若干个网格,依次收集各网格中节点的感知数据,以生成最终的查询结果。LSA算法通过遍历查询区域内的所有网格,保证了算法查询结果的质量。提出了启发式的网格划分方法以降低节点间数据通信的丢包率,给出链路感知的数据收集算法,以减少算法的能量消耗,提高查询结果的质量。通过仿真实验系统地分析和比较了LSA算法和现有的IWQE算法的能量消耗及查询结果质量,结果表明,在绝大多数情况下,LSA算法优于IWQE算法。     

一种P2P环境下基于查询日志的查询路由策略

在P2P文件共享系统里,通过文件描述可以描述文件的集合并且可以用它来决定查询的路由。但在这种模型下,会出现虚假匹配的现象,从而导致网络带宽和计算资源的浪费。文章提出了一种基于查询命中日志方法来较精确地划分网络结点文件描述的策略来减小虚假同现的发生,来提高查询路由的效率。     

面向路网连通关系的车辆轨迹数据查询技术研究

定位及通信技术的发展使获取和传输移动车辆的轨迹信息成为可能。从车辆轨迹数据中可以提取出大量的交通信息,这些信息是对交通状况的一个直接和全面的反映。但由于轨迹数据固有的网络特性及时空特性,使针对此类数据的查询成为一个难点,其中关键技术包括建立用于车辆轨迹数据的索引结构及其对应的轨迹数据查询语言。在比较现有轨迹数据索引结构的基础上,对轨迹数据查询语言的分类及其与索引结构之间的调用关系进行了初步的探讨,提出了面向连通关系的查询语言（connectivity-oriented query language, CQL）的定义、分类及实现方法,并简要讨论了车辆轨迹数据查询原型系统的结构和实现方法。     

并行查询下查询执行计划的选择

查询是数据库系统的主要负载,其效率决定了数据库性能的好坏。一个查询存在多种执行计划,当前,查询优化器只能按照数据库系统的配置参数,静态地为查询选择一个较优的执行计划。并行查询间存在复杂多变的资源争用,很难通过配置参数准确反映,而且同一执行计划在不同情景下的效率并不一致。并行查询下执行计划的选择需考虑查询间的相互影响——查询交互。基于此,提出了一种在并行查询下度量查询受查询交互影响大小的标准QIs。针对并行查询下查询执行计划的选择,还提出了一种动态地为查询选择执行计划的方法TRating,该方法通过比较查询组合中按不同执行计划执行的查询受查询交互影响的大小,选择受查询交互影响较小的执行计划作为该查询的较优执行计划。实验结果表明,TRating方法为查询选择较优执行计划的准确率达61%,相比查询优化器提高了25%;而且在为查询选择次优执行计划时,其准确率也高达69%。     

面向关联关系数据的分布式相似性查询方法

带有关联关系的数据在社网平台、电子商务平台、科学数据库等环境中普遍存在,对其进行相似性查询是在各种应用中常见的操作。随着社网、电子商务、云计算等技术的发展和普及,具有关联关系的数据飞速增长,对这种类型的数据进行相似性查询成为数据库领域的一个研究热点。在此应用背景下,提出了一种基于决策树的面向关联关系型数据的分布式相似性查询方法。该方法依据属性的重要度计算相似性,计算过程中达到一定的准确度时可以结束计算,从而在保证准确性的情况下减少了计算量。同时提出了两种分布式环境下面向大数据量的决策树计算方法,该方法具有较少的通信代价,并且有概率理论保证其准确度。最后通过大量的实验证明了方法的有效性。