高效处理分布式数据流上skyline 持续查询算法

基于非共享策略,围绕着降低系统反应延迟与通信负荷的目标,提出了一种分两阶段渐进求解的分布式算法BOCS(based on the change of skyline),并对算法的关键实现环节,如协调站点与远程站点间的通信、skyline 增量的计算等进行了系统优化,使算法在通信负荷与反应延迟上达到了较好的综合性能.理论分析证明,在所有基于非 共享策略的算法中,BOCS 算法通信最优.大量的对比实验结果也表明,所提出的算法高效、稳定且具有良好的可扩展性.     

数据广播环境下基于数据共享的位置相关skyline查询

数据广播环境下位置相关skyline查询是同时涉及空间位置属性和非空间多维属性的一类新的skyline查询类型,可广泛地应用于地理信息系统、城市规划、智能交通等领域。与传统环境下的位置相关skyline查询相比,数据广播环境下位置skyline查询面临一些新的问题,如广播信道的线性特性、移动设备资源受限性等。针对这些问题,本文提出了基于数据共享的位置相关查询算法,该方法通过共享邻近移动设备缓存的查询结果来改进查询算法的性能。广泛的实验结果显示,在移动设备密度较大的对等网络中,本文提出的算法具有较明显的优势,能显著地提升查询性能。     

无线传感器网络中一种能量高效的skyline查询算法

针对分布式无线传感器网络环境下的skyline查询问题,提出了KSkySenor算法,有效地从传感器网络中获取更有意义的skyline结果;KSkySenor算法对感知数据进行预处理计算每个元组的支配能力,按照支配能力与各维度值之和对其进行排序,设计了一个基于聚簇的结构用于收集所有传感器读数,提出了一个剪枝方法用于渐进的从传感器网中获取skyline结果集;实验中分别改变传感器网络规模大小、数据维度、支配属性个数k,对KSkySensor算法进行测试,实验结果表明KSkySenor算法与先前的skyline查询处理算法相比具有很高效率,减少了无线传感器网络中的数据传输量,延长了网络生命周期。     

DQP:网格上的一种分布式查询处理器

网格计算是近年来兴起的一个研究热点，它旨在使互联网上所有资源（计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等）实现全面共享与协同工作，使整个因特网整合成一台巨大的超级计算机，为用户提供“即连即用”式的服务。文中介绍了网格计算的概念、特点，以及开放网格服务体系结构（OGSA），详细介绍了OGSA—DQP的功能、架构、实现方法以及执行流程。     

DQP:网格上的一种分布式查询处理器

网格计算是近年来兴起的一个研究热点,它旨在使互联网上所有资源(计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等)实现全面共享与协同工作,使整个因特网整合成一台巨大的超级计算机,为用户提供“即连即用”式的服务。文中介绍了网格计算的概念、特点,以及开放网格服务体系结构(OGSA),详细介绍了OGSA-DQP的功能、架构、实现方法以及执行流程。     

二分网格的多密度聚类算法

利用单元间的数据分布特征,提出了二分网格的多密度聚类算法BGMC.该算法根据两相邻单元的相邻区域中样本数量的积比两相邻单元的数据量积的相对数,判断两单元间的关系,寻找相似单元和边界单元,确定边界单元数据归属.实验结果表明,该算法可以很好的区分不同密度、形状和大小的类,聚类结果与数据输入顺序和起始单元选择顺序无关,算法执行效率高,具有良好的空间和维数的可扩展性.     

一种快速有效的分布式开采多层关联规则的算法

关联规则（association rules）是数据开采的重要研究内容,建立项目的层次关系可以发现更加有意义的规则,主要研究分布式环境下开采多层关联规则的问题,提出了一种快速有效的ＭＬＦＤＭ算法,采用的技术包括分布式编码交易表的有效修剪,侯选集的产生及修剪技术,侯选项集的全局支持数的计算方法等,论述了它的原理,具体实现方法及其几个改进算法,实验结果表明,算法ＭＬＦＤＭ是有效的,并对ＭＬＦＤＭ算法的几个变种进行了讨论。     

一种使用简化预排序的k-支配Skyline查询算法

近年来,Skyline查询在多目标决策、数据挖掘、数据库可视化等方面得到广泛应用.然而在高维空间环境下,skyline查询因为返回的结果集过大而不能提供有用的信息.因此,学术界提出了七-支配skyline查询的概念.它通过弱化数据点之间的支配关系,使数据点间更容易产生支配关系,从而使结果集的大小保持在一个合适的范围内.现有七-支配skyline查询算法分为建立索引和不建立索引两种类型.其中不建立索引的算法在高维空间,反相关数据和渐近输出等方面表现比较差,而基于索引的算法花费大量时间去建立索引,整体性能都不高.本文提出一种基于简化预排序的七-支配skyline查询算法(SPA),实现用O(n)的时间复杂度对数据进行简化预排序.理论论证和实验数据都显示了SPA算法远比国内外现有的最好算法更加高效.     

分布式结构化数据分页查询中的动态归并算法

本设计实现一种动态归并算法,主要应用在对于分布式结构化数据的跨节点跨表实时分页查询的业务场景中.分布式数据库中数据表都会被拆分为若干子表并存储于若干数据节点中,在对数据进行单表查询和多表查询时都需要进行数据的归并,本算法被设计用来处理中间数据的归并问题,在归并策略上采用了二路归并,从而保证了较高的节点并发度,使得归并的计算负载能够均衡地分配在各计算节点上;采用动态的归并过程而不是在任务一开始就确定节点之间的归并配对关系,确保算法的自适应性,避免了预先制定归并策略而可能导致的数据等待.实验结果表明随着参与归并的节点数量的提高,该算法执行效率明显优于单节点归并以及预先设定归并策略的多节点归并.     

一种网格环境下的FP-树分布式构造算法

针对分布式环境下FP-tree的构造及合并,给出了一种网格环境下FP-tree的分布式构造算法GridDBMA。该算法中,各站点根据全局项目头表,独立构造局部频繁模式树BFP-tree,然后,利用合并算法将各局部树合并为一棵全局频繁模式树,并在全局频繁模式树上提取出所求的频繁项目集,通过对传统频繁模式树的存储结构的改进,减少了树的规模及站点间的网络通信量,并使树的遍历更加方便有效,提高了合并效率,从而提高了整个频繁项目集的挖掘效率。最后,采用天体光谱数据作为形式背景,实验验证了该算法的正确性和有效性。     

一种高效的分布式序敏感轮廓查询处理算法

提出了一种新颖的分布环境中的序敏感轮廓查询算法（即找出不被别的对象所“支配”的且聚集值较高的对象）。现有的算法在节点数m较大时会消耗大量的网络带宽。提出了一种新的分布式序敏感轮廓查询处理算法（Distributed Rank-aware Skylining,DRS）。DRS算法在任意数据集上只需要4次交互就能完成,并且通过剪除不必要的对象来减少通讯代价。通过模拟数据验证了DRS算法的效率。实验表明,当节点数m大于4时,DRS算法性能优于现有算法的性能。     

分布式数据库中查询处理的新方法研究

在分布式数据库系统中,由于数据的分布和冗余,使得分布式查询处理增加了许多新的内容和复杂性,通过分析现有分布式数据库查询处理技术,根据应用实际提出一种新的查询处理方法,该方法通过将常用查询结果存储在本地来减少查询时的数据传输量,从而缩短了响应时间.实验证明了该方法是有效的.     

Efficient k-dominant skyline query over incomplete data using MapReduce

Skyline queries are extensively incorporated in various real-life applications by filtering uninteresting data objects. Sometimes, a skyline query may return so many results because it cannot control the retrieval conditions especially for highdimensional datasets. As an extension of skyline query, the kdominant skyline query reduces the control of the dimension by controlling the value of the parameter kto achieve the purpose of reducing the retrieval objects. In addition, with the continuous promotion of Bigdata applications, the data we acquired may not have the entire content that people wanted for some practically reasons of delivery failure, no power of battery, accidental loss, so that the data might be incomplete with missing values in some attributes. Obviously, the k-dominant skyline query algorithms of incomplete data depend on the user definition in some degree and the results cannot be shared. Meanwhile, the existing algorithms are unsuitable for directly used to the incomplete big data. Based on the above situations, this paper mainly studies k-dominant skyline query problem over incomplete dataset and combines this problem with the distributed structure like MapReduce environment. First, we propose an index structure over incomplete data, named incomplete data index based on dominate hierarchical tree (ID-DHT). Applying the bucket strategy, the incomplete data is divided into different buckets according to the dimensions of missing attributes. Second, we also put forward query algorithm for incomplete data in MapReduce environment, named MapReduce incomplete data based on dominant hierarchical tree algorithm (MR-ID-DHTA). The data in the bucket is allocated to the subspace according to the dominant condition by Map function. Reduce function controls the data according to the key value and returns the k-dominant skyline query result. The effective experiments demonstrate the validity and usability of our index structure and the algorithm.     

基于数据网格的分布式查询优化模型

智能交通系统（ITS）中多个异构的、地理位置分散的数据源能使用像数据网格这样的分布式计算技术进行集成,这种集成所面临的真正挑战是分布式查询处理引擎的设计和开发。一般而言,分布式查询优化按照以下三个阶段进行：查询所涉及节点的确定,并行执行方案的生成,执行查询的最佳节点选择。由于这三个阶段的相互隔离可能会导致得到的查询方案并不是最佳的,提出了一个新的分布式查询优化模型,该模型集成了查询优化的三个阶段,综合考虑了查询优化各个阶段所涉及的参数,如节点的有效内存、处理速度、数据传输容错能力等。     

Efficient skyline query processing in SpatialHadoop

This paper studies the problem of computing the skyline of a vast-sized spatial dataset in SpatialHadoop, an extension of Hadoop that supports spatial operations efficiently. The problem is particularly interesting due to advent of Big Spatial Data that are generated by modern applications run on mobile devices, and also because of the importance of the skyline operator for decision-making and supporting business intelligence. To this end, we present a scalable and efficient framework for skyline query processing that operates on top of SpatialHadoop, and can be parameterized by individual techniques related to filtering of candidate points as well as merging of local skyline sets. Then, we introduce two novel algorithms that follow the pattern of the framework and boost the performance of skyline query processing. Our algorithms employ specific optimizations based on effective filtering and efficient merging, the combination of which is responsible for improved efficiency. We compare our solution against the state-of-the-art skyline algorithm in SpatialHadoop. The results show that our techniques are more efficient and outperform the competitor significantly, especially in the case of large skyline output size.     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

关联数据分布树在分布式查询中的应用

连接操作是影响分布式查询性能的关键因素,数据存储是影响连接操作的重要因素.为了提高分布式系统的查询性能,通过研究数据之间的关系,提出一个关联数据分布树.利用该关联数据分布树来构造一系列的关联元组集合,然后按照各个站点的负载能力,把这些关联数据集合分配给相关站点.实验结果表明,当多个关系频繁的进行连接操作时,关联数据分布树能有效地提高整个分布式系统的查询性能.     

网格环境下基于Weka4WS的分布式聚类算法*

Weka4WS采用WSRF技术用于执行远程的数据挖掘和管理分布式计算,支持分布式数据挖掘任务。基于Weka4WS和网格环境,尝试了一种新的分布式聚类方法,并成功地将其嵌入到Weka4WS框架中,借助Weka Library实现分布式数据挖掘算法,同时引入了距离代价和混合概率的概念,将网格与Web服务技术融合,以分布式问题求解环境和开源数据挖掘类库Weka为底层支持环境,构建了网格环境下面向服务的分布式数据挖掘体系,并以基于Weka4WS的分布式聚类算法验证了算法的有效性和体系结构的可行性。     

基于查询优化器的分布式空间查询优化方法

为了实现分布式空间数据库之间的互操作,需要对分布式查询进行优化处理,这种查询处理指的是在任何一个数据处理语句中它访问的是各个节点的数据而不是仅仅对发起查询的节点。提出了一种查询优化器的体系结构,针对上述查询最优化做了详细的讨论,着重讨论包含空间选择和连接的复杂空间查询。建立了典型的空间数据库的案例程序,通过分析表明,带有过滤和修正的查询优化器在时间与空间上的效率优势比较明显,获得了具有参考价值的结果。     

一种面向分布式数据库的多并发OLAP型查询性能预测方法

数据库查询性能预测即预测查询的执行延迟时间。数据库查询延迟预测技术能够用于查询调度和查询进度显示等。当前的查询性能预测技术都具有一定的局限性,不能准确预测分布式数据库中多并发查询导致CPU、I/O资源争用情形下的查询延迟。针对这一问题,该论文提出了一种在分布式数据库中预测并发OLAP型查询延迟的技术,该技术通过建立查询干扰度和查询敏感度模型来衡量资源（I/O,网络）竞争的激烈程度,并据此来预测不同执行环境下的查询性能。TPC-DS的实验结果表明,分析型查询预测的误差率在25%以下,说明该技术能够较准确地预测查询执行时间。