基于数据网格面向服务的查询算法

面向服务的框架（SOA）为用户的服务提供了一个标准的平台，实现服务的提供、发现、配置和集成，以帮助用户查询和处理信息．数据网格是面向服务的架构，为用户进行分布式远程数据查询服务提供了保障．对网格环境下Hidden Web数据库的研究与开发逐渐成为人们关注的焦点问题．要回答用户的查询，数据集成系统需要解决网格上的需求语义分析和关键字查询、建立数据查询模型．将数据库抽象为无向图，节点对应数据库中的元组，边对应“主-外码”的关系．查询的结果是与元组连接的答案树，它与查询的关键字相匹配．针对以上这些问题提出了一个新的查询算法，将改进的动态规划算法用于查询模型，保证Top-1答案树最优，Top-K答案树近似最优；给出了实验测试和评估结果．     

科学数据挖掘网格服务框架*

在分析科学数据网格环境下数据挖掘之特点的基础上,提出了科学数据挖掘网格服务框架.科学数据挖掘网格服务以网格服务的形式提供了科学数据网格环境下的数据挖掘解决方案.与传统的数据挖掘系统相比,科学数据挖掘网格服务具有诸多优点,更适合科学数据网格和科学数据库环境.目前已经实际应用于几个数据库中,不仅具有简单的查询检索功能,而且可以进行数据统计分析及知识发现,进一步提高了科学数据网格服务的水平.     

AnyQuery:网格环境下基于服务的分布式查询处理系统

AnyQuery是一种适用于网格环境、基于服务的分布式查询处理系统，使用统一的数据格式（可扩展标记语言）来表示和传输数据，所有组成模块以网格服务的形式实现，网格服务之间通过标准的接口进行通信．这种接口和实现分离技术屏蔽了不同数据库及其运行节点的差异，为用户提供一致的虚拟关系数据视图和分布式数据查询支持．在分析和研究已有的并行数据库和分布式数据库查询技术的基础上，AnyQuery提出和实现了一种适用于动态网格环境的分布式查询计划生成和执行算法，该算法能够根据网格环境中各节点及其连接网络的实际情况确定查询计划，支持跨数据库的连接查询．基于Globus 3．0开发了AnyQuery的原型系统，性能测试表明该系统具有较好的可扩展性，尤其适合计算密集型的复杂查询．     

分布式空间数据库集成访问技术

提出了采用网格中间件技术解决面向分布式空间数据库的查询问题,设计并实现了一个网格中间件系统OGSA-SDQP.给出了该系统的设计思想,重点研究了其中的空间数据类型转换、空间数据集成、空间操作函数扩展、空间数据查询流程等关键技术,给出了系统实现及查询性能测试.实验结果表明,OGSA-SDQP能够高效处理网格环境下的分布式空间数据查询.     

浅析网格数据库的访问与查询技术

网格环境下的数据库研究是一个比较新的研究领域。针对高度异构的网格环境，研究了网格数据库访问与查询的设计与实现，使用户可以更方便、更高效地使用网格中的数据库资源。     

数据库网格:基于网格的多数据库系统

近年来,数据网格技术的快速发展为广域分布环境下的海量数据共享提供了强有力的支持。数据库网格是指主要由各种数据库管理系统构成的数据网格环境,其技术难点是在网格环境下研究解决分布式查询、事务、多数据源视图等传统的数据库领域的问题。该文通过讨论数据网格、数据库网格和多数据库的概念和特点,并比较上述问题在多数据库和数据库网格环境下的异同,对数据库网格的特点进行了总结,对数据库网格技术的研究和发展方向进行了探讨和展望。     

HyDB:集成MapReduce和数据库的高效SaaS架构

随着数据的快速增长和云计算的兴起,软件作为服务(SaaS)标志着计算机系统按需服务的应用的兴起.高效经济SaaS使得许多企业将大规模数据分析服务从部署在并行数据库的高端服务器转移至更便宜的无共享体系结构的低端服务器集群上.论文提出了集成MapReduce和数据库的高效经济SaaS架构—HyDB系统,解决海量结构化,半结构化与非结构化数据的高效查询服务,通过对数据的存储模型和查询模型进行研究,提出了完整的数据存储和查询服务方案,给出基于队列的作业调度算法,并支持针对简约数据查询的快速响应模式.最后通过可扩展实验,证明了该系统架构具有良好的加载性能、查询性能和容错能力,可以为用户提供优质的数据服务.     

最短路径在分布式资源目录中的应用

为了实现对海量多源数据资源的统一管理和资源共享,满足分布数据存储环境下对数据的统一管理和高效检索要求;利用LDAP (lightweight directory access protocol)轻量级目录服务访问协议进行设计并实现了分布式资源目录系统结构,并在此基础上针对服务器间查询速率低的问题提出了应用最短路径算法提高查询速率的方法.实验结果表明,利用LDAP协议实现了分布式资源目录的存储及管理,应用最短路径算法能够显著提高分布式资源目录的查询效率.     

金融网格框架设计及金融数据分析的仿真实现

银行的业务数据分散地存储在不同的数据库(可能是同构的,也可能是异构的)中,不易于统一查询访问,而且大量的历史数据脱机存放,无法进行联机查询.网格技术的出现给解决这一问题提供了新的方案.对实现金融网络环境下的资源共享的方法进行了设计,并以此为基础设计了一个金融网格服务实例.最后利用开放网格体系结构OGSA构建了一个网格实验平台,平台上实现金融网格服务的部署和异构数据系统的访问.仿真结果表明网格技术能较好地解决金融网络环境下的资源共享的问题,能消除金融网络的信息孤岛.     

基于网格服务的半连接查询优化算法研究

随着网格计算技术的快速发展,其应用领域在不断扩大,然而,跨网络分布式数据的联合查询往往成为性能的瓶颈,因此文中从提高分布式数据的联合查询的效率出发,以网格计算这一新型web体系结构为技术平台,研究基于网格服务的查询优化目标、查询优化对象和查询优化策略。文中采用了应用非常广泛的启发式搜索算法来缩小策略空间这一优化策略,并在该策略的基础上提出了一种基于网格服务的2-way半连接查询优化算法,最后在网格计算环境下对该算法与一般的全连接算法做了实验对比,证明基于网格服务的2-way半连接查询优化算法可大大缩短查询响应时间。     

纯Peer to Peer环境下有效的Top-k查询

目前大多数的Peer-to-Peer(P2P)系统只支持基于文件标识的搜索,用户不能根据文件的内容进行搜索.Top-k查询被广泛地应用于搜索引擎中,获得了巨大的成功.可是,由于P2P系统是一个动态的、分散的系统,在纯的P2P环境下进行top-k查询是具有挑战性的.提出了一种基于直方图的分层top-k查询算法.首先,采用层次化的方法实现分布式的top-k查询,将结果的合并和排序分散到P2P网络中的各个节点上,充分利用了网络中的资源.其次,根据节点返回的结果为节点构建直方图,利用直方图估计节点可能的分数上限,对节点进行选择,提高了查询效率.实验证明,top-k查询提高了查询效果,而直方图则提高了查询效率.     

无线传感器网络Top-k多查询算法

针对无线传感器网络中多个Top-k查询问题,提出了一种Top-k多查询处理的算法,对接收到的多个Top-k查询请求进行预处理,预处理依据是约束条件,得出两类不同的查询集合:单约束条件的多查询和多约束条件的多查询。针对单约束条件的多查询提出了ETOP算法,该算法首先对排在时间序列最前面的Top-k查询请求进行基于网内处理,然后把查询结果存入基站缓存,并把结果的最小值设定为阈值传输到各个节点,再根据后续查询请求的查询范围进行相应的查询,从而快速地获得Top-k查询结果。实验表明:Top-k多查询方法在能够很好地实现查询的同时,减少了无线传感器网络中的传输消耗和能量消耗。     

基于不确定理论的不确定性数据Top-k查询计算

在不确定性数据集中,基于参数化排名函数的Top-k查询研究近年来备受关注。给出了一种新的解决方法,该方法将不确定性数据集中的元组建模为不确定网络,将有序元组的Top-k查询等价转化为相应样本图中边的不确定测度关系,并对样本图依据所包含边的排序位置进行分类,从而 将不确定性数据中基于参数化排名函数的Top-k查询等价转换为依Top-k值不同的有限查询。本算法避免了计算所有元组在样本图中的排名不确定测度值,提高了不确定图的Top-k查询计算效率。 理论分析和实验结果表明,提出的Top-k查询算法能够从非确定角度解决不确定性数据的Top-k查询计算问题。     

基于阈值的快速启动Top-k查询处理算法

Top-k查询是搜索引擎领域广泛应用的技术之一,该算法从海量数据中返回最符合用户需求的前k 个结果,在执行时能避免对大部分无关文档的打分处理。Top-k 查询虽然极大提升了查询性能,但其存在的慢启动问题并未得到有效解决。为此,该文首先提取倒排索引的静态Top-k信息,再动态计算针对具体查询词项的初始阈值,在此基础上,结合MaxScore和WAND算法,提出了快速启动的Top-k查询处理算法。实验结果表明,该方法能够有效解决上述问题,具有良好的性能。     

关系型数据库中不确定性数据的Top-k查询研究

Top-k查询在传统的存储确定性数据的关系型数据库中得到了广泛的应用,但是对于存储不确定性数据的数据库,Top-k查询必须结合元组的分值和不确定性来处理.已有的Top-k查询没有很好地结合元组的分值和不确定性,因此,定义一种新的针对不确定性数据的Top-k查询语义,并且实现了查询算法,在新语义下,计算第i位排名时考虑了第i-1位元组,能够更好地权衡分值和不确定性.不同数据集上的实验显示,该算法是有效的.     

Result Merging for Structured Queries on the Deep Web with Active Relevance Weight Estimation

Data integration systems on the Deep Web offer a transparent means to query multiple data sources at once. Result merging– the generation of an overall ranked list of results from different sources in response to a query– is a key component of a data integration system. In this work we present a result merging model, called Active Relevance Weight Estimation model. Different from the existing techniques for result merging, we estimate the relevance of a data source in answering a query at query time. The relevances for a set of data sources are expressed with a (normalized) weighting scheme: the larger the weight for a data source the more relevant the source is in answering a query. We estimate the weights of a data source in each subset of the data sources involved in a training query. Because an online query may not exactly match any training query, we devise methods to obtain a subset of training queries that are related to the online query. We estimate the relevance weights of the online query from the weights of this subset of training queries. Our experiments show that our method outperforms the leading merging algorithms with comparable response time.     

大规模动态图中概率游走约束的节点相似Top-k查询方法

大规模动态图节点相似Top-k查询方法对大规模图查询效率较低,且当图发生动态变化时难以对查询结果进行自适应更新,导致查询结果准确度不高。利用大规模动态图概率路径游走约束条件,提出一种节点相似Top-k查询方法。通过引入PageRank概率游走机制实现将基大图生成多个小规模单向图,并利用单边弱化因子对PageRank进行概率游走约束,避免单向图反复选取少数边的情况。采用Monte Carlo模拟法进行单向图集上的相似度累积计算,以Top-k取值为衡量准则递增游走步数,避免次优相似度叠加问题。结合图的动态性特点,依据局部自适应原则提出基大图触发更新策略与单向图集联动更新策略,在保证查询准确度的同时最大限度地降低更新维护代价。实验结果表明,与FR、KM、SimRank、P-SimRank等方法相比,该方法可有效提高查询效率、查询准确度与更新效率。     

两层传感器网络中基于位表的隐私保护Top-k查询算法

两层传感器网络中的隐私保护Top-k查询是当前传感网络领域的研究热点,且传感器网络面临严重的隐私保护问题。因此,本文提出了一种两层传感器网络中基于位表的隐私保护Top-k查询算法BTTQ(BitsTable-Based Top-k Query)。BTTQ算法利用保序函数将原始数据分布P映射到目标分布T,并利用取模运算对目标分布T的范围进行扰动,从而保证了感知数据的隐私性;BTTQ通过位表来表示扰动后的数据,所以在查询过程中只需传输位表信息,从而能够有效地降低了网络的通信代价,节省了能耗。理论分析和实验结果表明,与现有Top-k查询算法相比,BTTQ在不泄漏感知数据信息的前提下,算法具有能量高效、安全和高精确性特点。     

网格环境下基于服务的分布式查询处理机制研究

OGSA-DQP是一种用于网格环境、基于服务的分布式查询处理系统,实现了运行在不同平台的分布式数据密集型应用的高级数据访问与集成服务方法,为用户提供一致的虚拟关系数据视图和分布式数据查询支持。文章描述了其体系结构、分析了其查询和优化机制,并在不同条件下测试了查询性能,为寻找系统查询性能瓶颈、提高系统查询响应时间提供依据。     

两层传感器网络中可验证隐私保护Top-k查询协议

无线传感器网络中隐私保护技术已经成为研究热点,其中隐私保护精确Top-k查询协议已成为富有挑战性的研究问题.文中提出了一种两层传感器网络中可验证隐私保护Top-k查询协议SafeTQ(Safe Top-k Query),SafeTQ由隐私保护Top-k查询协议和两种完整性验证模式组成.SafeTQ使用加随机数扰乱、加密和高资源节点之间安全计算第k位数据值等策略,能够在不泄漏隐私信息的情况下,精确地完成传感器网络Top-k查询.SafeTQ中两种完整性验证模式分别使用邻居数据项形成加密链和空间邻居节点概率发送验证消息策略,使Sink能够检测和拒绝不正确或不完整查询响应.文中通过理论分析和使用真实数据集实验验证了SafeTQ的安全性和有效性.