P2P环境下数据管理系统上的Top-k查询

目前大多数P2P系统只提供文件的共享,缺乏数据管理能力.基于关系数据库上的关键搜索,本文提出了一种在P2P环境下共享数据库的新框架,其中每个节点上的数据库被看成是一个文档集,用户不用考虑数据库的模式结构信念,简化了不同节点数据库模式间的映射过程,能更好地适应P2P的分散和动态特性.将基于直方图的分层Top-k查询算法扩展到P2P环境下的数据库管理系统上,文档集和数据库的查询被统一起来,一致对待.在查询处理期间,直方图可以自动更新,同时根据查询结果,邻居节点可以自调整,具有自适应性.实验结果表明,基于关键词的数据库共享突破了传统的数据库共享模式,简化了数据访问方式,而基于直方图的Top-k查询算法提高了查询效率.     

无线传感器网络Top-k多查询算法

针对无线传感器网络中多个Top-k查询问题,提出了一种Top-k多查询处理的算法,对接收到的多个Top-k查询请求进行预处理,预处理依据是约束条件,得出两类不同的查询集合:单约束条件的多查询和多约束条件的多查询。针对单约束条件的多查询提出了ETOP算法,该算法首先对排在时间序列最前面的Top-k查询请求进行基于网内处理,然后把查询结果存入基站缓存,并把结果的最小值设定为阈值传输到各个节点,再根据后续查询请求的查询范围进行相应的查询,从而快速地获得Top-k查询结果。实验表明:Top-k多查询方法在能够很好地实现查询的同时,减少了无线传感器网络中的传输消耗和能量消耗。     

多核平台上Top-k查询的性能优化

随着Web搜索引擎等实际应用的发展,Top-k查询的实时性能日益受人关注.为了提升Top-k查询在高性能计算机上的实时性能,本文针对领域中具有代表性的No Radom Access(NRA)程序进行性能分析,根据多核处理器的结构特点,采用分层的优化方法对NRA程序进行并行优化.通过使用数据结构调整,任务调度等方法优化,优化后程序在实验数据集上获得了59%的串行性能提升,并具有接近线性的加速比.     

K-匿名隐私保护模型下的Top-k查询

数据查询问题是K-匿名隐私保护模型下数据可用性问题之一。提出一种K-匿名数据的空间数据组织方法及其索引方法;定义了两种新的查询UK-Rank和NT-Rank,UK-Rank主要应用于一些需要排序的查询,NT-Rank应用于点查询或者范围查询;采用了Monte-Carlo积分近似计算的抽样方法来提高查询效率。对提出的相关算法进行了实验,结果表明,将K-匿名数据组织成空间数据的方法是可行的,并且应用抽样方法后,查询效率大大提高。     

分布式网络下改进的Top-k查询算法

现有Top-k查询算法主要运用在集中式关系型数据库中,当应用于分布式网络时会产生巨大的通信开销,导致算法效率低下。为此,提出一种改进的Top-k查询算法,利用预处理索引表对分布式网络中无关数据进行裁剪,在此基础上建立包含正确Top-k结果的候选子集并实现Top-k查询。实验结果表明,与Fagin和Naive Top-k查询算法相比,改进算法获得的查询结果更准确,运行时间更短,网络开销更小。     

动态的分布式环境下Top-k查询计算

分布式Top-k查询计算在多媒体近似匹配、网络监控、文档检索和Web数据搜索等技术中具有重要意义.分析分布式Top-k查询计算算法性能的重要标准是网络延迟和带宽消耗.早期的算法主要研究在集中式的环境中,提供有效地处理分布式Top-k查询计算.然而,在动态的、分布式环境中,这些方法还显得不够成熟.因此,提出了一种在网络查询过程中建立的树形拓扑结构,利用直方图统计信息和Bloomfilter数据压缩技术,有效地执行局部优化,及在中间节点(peer)进行部分结果的合并,最终得到全局处理的Top-k查询计算方法(称做TTC算法).这种算法不仅降低了网络延迟,有效地支持动态变化的分布式环境,而且减少网络带宽的消耗.实验结果表明,TTC算法在全局带宽的消耗和网络的响应时间上效果非常显著.     

MapReduce框架下的不确定数据Top-k查询计算

Top-k查询是不确定性数据管理中普遍采用的一种技术.基于参数化排名函数的Top-k查询语义是近年来提出的各种查询语义的统一.文中针对海量不确定数据,提出一种基于MapReduce框架的Top-k计算的有效方法.通过分析基于参数化排名函数的不确定数据Top-k查询语义,设计一种获得未计算元组的排名函数值上界的算法,避免计算所有元组的排名函数值,解决Top-k计算中的剪枝问题.在MapReduce计算模型中提出两种不同的策略来实现该算法.文中针对单机环境和Hadoop分布式计算平台进行两组不同的对比实验.实验表明在处理海量不确定数据时,该算法在计算时间上有较高的性能提升.     

多用户偏好的 Top-k 查询处理算法研究磁

传统的 Top-k 查询处理都是利用单用户偏好来计算评分函数,这种方法有极大的局限性。针对基于多用户偏好的 Top-k 查询处理问题进行研究,为了提高查询效率,首先提出了预处理算法 PA 与 PVA ,生成一些具有代表性的系统用户偏好,并据此将初始数据集进行全排序,保存在物化视图中,以便利用它们进行 Top-k 查询。然后,提出了处理 Top-k 查询的 VBA 算法且进行了正确性与完备性论证。最后,实验结果表明,该算法比直接在原数据集中查询的效率有极大的提高。     

情境相关的室内空间群组Top-k查询

在室内空间移动对象管理中,研究热点之一是如何整合和支持更加灵活的查询操作,如Top-k查询等。针对室内空间群组Top-k查询需要同时考虑室内空间结构的特殊性、室内空间中复杂而丰富的情境信息以及群组的整体情况的问题,提出了一个近似算法ICGTop-k（Indoor Context-dependent Group Top-k）来计算情境相关的室内群组Top-k查询的结果集合,进行两次Top-k查询得到最终的查询结果,并采用聚集优化方法对算法进行优化。通过实验对ICGTop-k算法、KBest算法和GPM算法进行了对比分析。结果表明,ICGTop-k相比于KBest和GPM在查询执行时间和查询精度都有显著提高。     

纯Peer to Peer环境下有效的Top-k查询

目前大多数的Peer-to-Peer(P2P)系统只支持基于文件标识的搜索,用户不能根据文件的内容进行搜索.Top-k查询被广泛地应用于搜索引擎中,获得了巨大的成功.可是,由于P2P系统是一个动态的、分散的系统,在纯的P2P环境下进行top-k查询是具有挑战性的.提出了一种基于直方图的分层top-k查询算法.首先,采用层次化的方法实现分布式的top-k查询,将结果的合并和排序分散到P2P网络中的各个节点上,充分利用了网络中的资源.其次,根据节点返回的结果为节点构建直方图,利用直方图估计节点可能的分数上限,对节点进行选择,提高了查询效率.实验证明,top-k查询提高了查询效果,而直方图则提高了查询效率.     

网络环境下通用查询软件的设计

在管理信息系统中，对数据库的数据进行按条件查询是一种最常用的功能。如何构成查询功能强、条件设置方便、界面友好、通用性强的查询软件模块是MIS系统开发中的一项重要工作。本文介绍一种在网络环境下对共享数据库进行多条件查询的通用查询软件设计方法。     

关系型数据库中不确定性数据的Top-k查询研究

Top-k查询在传统的存储确定性数据的关系型数据库中得到了广泛的应用,但是对于存储不确定性数据的数据库,Top-k查询必须结合元组的分值和不确定性来处理.已有的Top-k查询没有很好地结合元组的分值和不确定性,因此,定义一种新的针对不确定性数据的Top-k查询语义,并且实现了查询算法,在新语义下,计算第i位排名时考虑了第i-1位元组,能够更好地权衡分值和不确定性.不同数据集上的实验显示,该算法是有效的.     

两层传感器网络中安全Top-k查询协议

在两层结构传感器网络中,存储节点收集传感器采集的数据,负责处理Sink的查询.在敌对环境中,存储节点可能会被攻击者妥协而泄露传感器所采集的敏感数据以及向Sink返回不完整的或虚假的查询结果.为此,提出了一种安全Top-k查询协议:SecTQ,SecTQ在保证存储节点正确执行查询的同时能有效防止敏感数据的泄露.为了保护数据的隐私性,首先将不同传感器采集的数据之间的直接比较转换成传感器采集的数据与Sink提供的查询比较值进行比较,并提出了一种基于扰动多项式函数的隐私保护方案.该方案利用扰动函数对传感器采集的数据和Sink提供的查询比较值进行编码,保证存储节点在不知道数据和查询比较值真实内容的情况下正确地执行查询处理.为了保护查询结果的完整性,提出了一种称之为水印链的方案,该方案能有效检测查询结果的完整性.     

基于空间网络数据库的组最近邻居查询

组最近邻居查询是空间数据库在最近邻居查询上的新问题.目前,对组最近邻居查询的研究局限于欧氏空间,考察的只是对象间的相对位置关系,无法处理现实生活中对象间的连通性问题.鉴于此,本文基于空间网络数据库提出以网络距离为度量标准的组最近邻居查询概念,进而提出作为其算法基础的增量最近邻居查询算法INNN,最后构造出算法NMQM.
实验证明,NMQM是一种有效的组最近邻居查询算法.     

两层传感器网络中安全Top-k查询处理技术综述

无线传感网中安全数据查询技术的研究已引起了广泛的关注,其中以存储节点为中间层的两层传感器网络中安全Top-k查询技术的研究具有重要的现实意义。现有的安全Top-k查询技术主要针对查询过程中数据的隐私保护和查询结果的完整性验证等问题开展研究工作。从安全性能和通信性能两个维度出发对现有的两层传感器网络中的安全Top-k查询技术进行了总结,介绍了网络模型查询模型,以及查询过程中存在的安全性问题;同时分析和总结了现有的各协议所采用的关键技术以及其主要优点和不足,最后指出了未来可能的研究方向。     

基于阈值的快速启动Top-k查询处理算法

Top-k查询是搜索引擎领域广泛应用的技术之一,该算法从海量数据中返回最符合用户需求的前k 个结果,在执行时能避免对大部分无关文档的打分处理。Top-k 查询虽然极大提升了查询性能,但其存在的慢启动问题并未得到有效解决。为此,该文首先提取倒排索引的静态Top-k信息,再动态计算针对具体查询词项的初始阈值,在此基础上,结合MaxScore和WAND算法,提出了快速启动的Top-k查询处理算法。实验结果表明,该方法能够有效解决上述问题,具有良好的性能。     

海量高维向量的并行Top-k连接查询

在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapReduce作为一个并行处理框架,能够有效地处理大规模数据.由于其高可扩展性、高可用性等特点,MapReduce已经成为海量数据处理的首选实现方案,在很多领域都得到了广泛的应用.文中基于分段累积近似法对高维向量进行降维,然后利用符号累积近似法对高维向量进行分组;在此基础上,结合MapReduce框架,提出了基于SAX的并行Top-k连接查询算法.实验表明,文中所提方案具有良好的性能和扩展性.     

MapReduce框架下一种负载均衡的Top-k连接查询算法

针对传统Top-k连接查询算法在处理海量数据时的时效问题,提出一种基于MapReduce框架的负载均衡的并行Top-k连接查询算法(P-TKJ)。使用直方图形式来存储数据,有助于提高CPU的利用率。同时融入了提前终止策略和磁盘数据的选择性访问,以便提高对HDFS数据访问的性能。另外,提出了一种基于最长处理时间优先(LPT)算法的负载均衡策略来均衡Reduce任务,以此设计出高效的并行Top-k连接算法。一个集群实验结果表明,该方法能够有效缩短算法的执行时间。     

面向匹配结果不可排序的Top-k查询算法研究与实现

随着互联网技术发展,同构发布/订阅系统的应用也越来越广泛.怎么能快速高效的为用户推荐k个最优的候选环匹配是同构对称发布/订阅系统中研究的关键问题之一.就匹配结果不能通过调用打分函数打分的问题,文章提出基于k-支配Skyline查询的面向匹配结果不可排序的Top-k查询算法.先扩展了同构对称发布/订阅的模型;再对算法得基本思想及基本操作做详细的描述.通过实验表明文章提出的算法查全率和查准率都在94%以上.     

GPU加速的分段Top-k查询算法

现有Top-k查询优化算法无法充分利用图形处理器(GPU)强大的并行吞吐量及时获取查询结果,为此提出了一种基于统一计算设备架构(CUDA)模型的大规模分段查询算法。通过划分查询过程以及采用分段并行处理策略,该算法可最大限度地提升查询过程中的计算和比较效率。实验结果表明,与4线程多核优化算法相比,所提算法具有明显的性能优势,当有序列表数量为6,遍历步长为120时,性能达到最优,此时比多核算法快40倍。