高效的Top-k相互Skyline查询算法

Top-k相互Skyline查询返回相互Skyline查询中的前k个对象.这种查询是数据分析者寻找有意义对象进行决策支持的一种重要直觉工具.然而,这种查询还没有引起研究社区足够的注意力.介绍了几种新颖的算法,包括Topk-TBBS,Topk-dMBBS,Topk-wMBBS.主要的思想是信息重用和高效的修剪策略.特别地,Topk-wMBBS算法由于完全重用了搜索中的节点信息,并利用了最好优先BF搜索策略.因而它获得了最好的性能.同时证明了该算法有最优的I/O访问效率.最后,使用了2个真实数据集和4个服从不同分布的合成数据集进行了集中实验.实验结果表明,提出的算法无论是变化参数k的大小、数据集的尺寸和Cache尺寸都是有效的,且具有很高的效率,尤其Topk-wMBBS具有最小的I/O访问次数.     

多用户偏好的 Top-k 查询处理算法研究磁

传统的 Top-k 查询处理都是利用单用户偏好来计算评分函数,这种方法有极大的局限性。针对基于多用户偏好的 Top-k 查询处理问题进行研究,为了提高查询效率,首先提出了预处理算法 PA 与 PVA ,生成一些具有代表性的系统用户偏好,并据此将初始数据集进行全排序,保存在物化视图中,以便利用它们进行 Top-k 查询。然后,提出了处理 Top-k 查询的 VBA 算法且进行了正确性与完备性论证。最后,实验结果表明,该算法比直接在原数据集中查询的效率有极大的提高。     

无线传感器网络Top-k多查询算法

针对无线传感器网络中多个Top-k查询问题,提出了一种Top-k多查询处理的算法,对接收到的多个Top-k查询请求进行预处理,预处理依据是约束条件,得出两类不同的查询集合:单约束条件的多查询和多约束条件的多查询。针对单约束条件的多查询提出了ETOP算法,该算法首先对排在时间序列最前面的Top-k查询请求进行基于网内处理,然后把查询结果存入基站缓存,并把结果的最小值设定为阈值传输到各个节点,再根据后续查询请求的查询范围进行相应的查询,从而快速地获得Top-k查询结果。实验表明:Top-k多查询方法在能够很好地实现查询的同时,减少了无线传感器网络中的传输消耗和能量消耗。     

面向大规模数据集的并行化Top-k Skyline查询算法

随着数据规模的日益庞大,在大规模数据集中帮助用户定位出数据量可控的代表性信息显得越发重要。虽然Top-k Skyline查询能够找到数据集中前k个最具代表性的信息,在获取代表性信息的同时又控制了结果规模,满足了上述要求,但是现有的Top-k Skyline查询在面对大规模数据集时效率较低,并不适用于大规模数据集。为了解决这个问题,将Top-k Skyline查询与并行化处理相结合,提出了一种面向大规模数据集的并行化Top-k Skyline查询算法PTKS（parallel Top-k Skyline）,通过充分利用分布式资源,将原有查询进行有效的并行化处理,同时设计了基于用户偏好的用于缩减结果数据量的筛选规则,满足用户需求。在真实数据集上进行了相关实验,并与现有方法进行了对比,结果表明PTKS在大规模数据集上的查询效率更具有优势,能很好地适用于大规模数据集。     

面向双层传感网的安全Top-k查询协议

在物联网感知系统中,双层传感器网络(two-tiered wireless sensor networks, TWSNs)因其具有较好的网络健壮性和可扩展性而备受关注.然而,TWSNs中仍存在一些安全问题需要解决.在TWSNs中,位于上层的主管节点是其关键节点,攻击者易通过捕获主管节点来破坏数据的隐私性,甚至破坏查询结果的数据完整性.针对TWSNs中Top-k查询的数据隐私性和完整性保护问题,提出了一种基于顺序保留加密技术(order preserving encryption scheme, OPES)、对称密钥加密技术和数据权值关联技术的安全Top-k查询处理协议(verifiable privacy-and-integrity preservation, VPP).利用这些技术,VPP通过制定特定的传感器节点数据预处理方法和主管节点查询处理方法,并利用Sink(用户)端的Top-k查询结果数据完整性检验方法来实现Top-k查询的数据隐私性和完整性保护.理论分析和实验结果表明:VPP不仅具有更好的安全性,同时在Top-k查询处理的能效性方面也优于已有工作,并具有较低的计算复杂度.     

时序图中Top-k稠密子图查询算法研究

稠密子图的查询是图分析领域的重要研究问题之一,在社交用户相关性分析、Web中社群分析等方面都有着广泛的应用.目前,关于稠密子图查询的研究工作主要基于静态图.而在实际应用中,时序信息会对稠密子图查询产生重要的影响,使得图拓扑结构随时间序列不断发生变化,包含的信息量也不断增加,使得已有的针对静态图的查找方法不再适用于时序图...     

度量空间中的Top-k反向Skyline查询算法

不同于传统的度量空间Skyline查询,提出了一种新颖的度量空间中的Skyline查询MkRS(metric top-k reverse skyline).MkRS从反向角度执行度量空间中的Skyline.给定查询对象q和单调参考函数f,MkRS返回k个包含m个数据对象的子集,以至于每个子集G的度量Skyline包含q.评估这种查询,需要执行从输入数据集P中n个数据对象里选择m个对象的穷举搜索以及每个排列子集的度量Skyline.这些计算由于巨大的搜索空间而需要极高成本.提出了基于排序机理的算法STS(sort and threshold skyline),它可以提前终止计算,仅需要检查很少部分的子集.然后,利用信息重用技术给出了基于重用的STS算法rSTS(reuse STS),进一步减少了STS中80%以上的I/O访问.大量的实验表明提出的算法有效、快速.     

基于阈值的快速启动Top-k查询处理算法

Top-k查询是搜索引擎领域广泛应用的技术之一,该算法从海量数据中返回最符合用户需求的前k 个结果,在执行时能避免对大部分无关文档的打分处理。Top-k 查询虽然极大提升了查询性能,但其存在的慢启动问题并未得到有效解决。为此,该文首先提取倒排索引的静态Top-k信息,再动态计算针对具体查询词项的初始阈值,在此基础上,结合MaxScore和WAND算法,提出了快速启动的Top-k查询处理算法。实验结果表明,该方法能够有效解决上述问题,具有良好的性能。     

多核平台上Top-k查询的性能优化

随着Web搜索引擎等实际应用的发展,Top-k查询的实时性能日益受人关注.为了提升Top-k查询在高性能计算机上的实时性能,本文针对领域中具有代表性的No Radom Access(NRA)程序进行性能分析,根据多核处理器的结构特点,采用分层的优化方法对NRA程序进行并行优化.通过使用数据结构调整,任务调度等方法优化,优化后程序在实验数据集上获得了59%的串行性能提升,并具有接近线性的加速比.     

GPU加速的分段Top-k查询算法

现有Top-k查询优化算法无法充分利用图形处理器(GPU)强大的并行吞吐量及时获取查询结果,为此提出了一种基于统一计算设备架构(CUDA)模型的大规模分段查询算法。通过划分查询过程以及采用分段并行处理策略,该算法可最大限度地提升查询过程中的计算和比较效率。实验结果表明,与4线程多核优化算法相比,所提算法具有明显的性能优势,当有序列表数量为6,遍历步长为120时,性能达到最优,此时比多核算法快40倍。     

一种支持语义的发布／订阅系统

针对基于内容的发布／订阅系统中消息异构导致匹配准确率降低的问题,本文通过定义事件和订阅属性间的语义关系,利用语义转换模块,提出一种支持语义的发布／订阅系统的设计方法,并将其应用于SINEA发布订阅系统中。实验结果表明,该方法可在一定程度上支持语义异构,提高匹配的准确度。     

基于SOA的发布/订阅系统设计

企业电子商务的迅猛发展已经改变了分布式系统的规模.传统的基于请求/应答的点对点、同步通信已不能满足大规模动态分布式应用环境.基于SOA的发布/订阅系统模型是目前广泛使用的通信模型.支持发布者和订阅者之间在时间、空间和控制流方面的非耦合以及多对多通信模式.提供了分布式系统所要求的松散耦合.本文提出并实践了一种基于SOA的发布/订阅系统设计方法,为大规模分布式环境中应用系统之间的协作提供了有力保障.     

内容发布订阅系统的组播路由

基于内容的发布订阅系统多数采用泛洪和匹配优先的路由算法。本文提出了基于事件空间划分的发布订阅系统的实现方法,采用组播的方式实现了目标代理到多个订阅者之间的通知路由算法。与采用贪婪路由思想的单播路由算法相比较,该算法提高了在通知路由阶段的发布订阅系统的路由效率。算法对解决基于内容的发布订阅系统中相关的路由问题具有重要的作用和意义。最后给出了算法的仿真实验。     

基于内容的发布订阅系统综述

随着信息技术的不断发展,针对如何能够实现发布/订阅系统(Pubish/Subscribe系统)最大限度的应用,是我们当前应对的一个重要挑战。结合发布/订阅自身(异步、多点通信等)的特点,首先概述了发布/订阅系统的概念及分类,提出了当前的研究热点即基于内容的发布/订阅系统,并总结了发布/订阅系统当前国内外的研究现状,最后指出要想提高发布订阅系统的匹配速度必须完善现有的匹配算法。     

基于内容的Pub/Sub系统中分发器网络自重构的研究*

提出了提高基于内容的Pub/Sub系统健壮性和交互效率的系统自重构方法。该方法包括系统的恢复策略和系统的自组织策略。系统的恢复策略,预防了节点的意外崩溃造成的系统瘫痪;系统自组织策略, 有效地降低了系统的事件交互成本,提高了基于内容的Pub/Sub系统的效率。自重构方法在基于内容的Pub/Sub系统SOES中得到了体现。     

基于发布/订阅系统的事件服务体系结构

网格环境下软硬设施的异构性、通信的异步性以及协同工作的特点使得基于事件的交互成为虚拟组织成员交互的自然抽象。适用于网格环境下的事件服务是发布/订阅系统。该文结合科学数据网格的特点,采用基于内容的发布/订阅系统实现事件服务。并且提出科学数据网格的事件服务体系结构,给出了系统框架及实现中的核心算法———路由算法和匹配算法。该方案已经应用于科学数据网格项目中,结果表明它能够很好地适用于数据网格环境中。     

发布/订阅系统中多级索引匹配过滤器

发布/订阅过滤器采用计数器算法匹配影响系统的匹配时间,一种优化思想是考虑订阅集合的多级索引,层层筛选,避免重复匹配,提出了支持订阅覆盖的多级索引匹配过滤器设计思想,讨论了支持订阅覆盖的多级索引匹配过滤器的构造原理。采用多级索引搜索,可以快速找到与订阅消息符合的事件,大大减少了重复匹配,有效地提高系统性能。     

可配置可扩展发布订阅系统的研究及其实现

分析了当前发布订阅系统的主要类型和存在的问题.基于发布订阅系统的主要设计模型,采用分层与插件相结合的动态体系结构设计方法,设计和实现了可配置和可扩展的发布订阅系统ACT-PS(ACT-Publish/Subscribe System),支持基于应用需求的配置和扩展.在具体的电子政务数据交换系统当中的配置运行表明,ACT-PS系统为通过可配置和可扩展的方式建立发布订阅系统提供了新的途径.     

基于P2P的入侵警报发布/订阅系统

针对集中式发布/订阅系统不可扩展性的问题,本文提出一种构建于结构化P2P网络的入侵警报发布/订阅系统,节点之间通过发布/订阅机制分享入侵情报信息,以形成对于当前网络威胁的全局观点;提出了一种多属性的警报关联方案,从初级入侵警报中提取重要的入侵模式;在Pastry上实现了一个原型系统,通过Witty蠕虫数据集对系统进行仿真评估。实验结果表明,该方案具有良好的负载均衡特性。