一种求解动态数据集中k-支配轮廓的算法

在对高维数据集进行轮廓查询时,K-支配轮廓查询算法能够返回较少的轮廓点,有利于用户的决策,但目前的算法都是针对静态数据集设计,无法对动态数据集进行处理.动态数据可分为非数据流数据和数据流数据,本文针对这两种情况提出了相应的增量求解算法,即当数据集发生变化时,以现有的K-支配轮廓为基础,通过对部分数据点进行计算得到新的K-支配轮廓.证明了算法的正确性和有效性,并通过实验对算法进行了分析和验证.     

基于Flink的k-支配skyline体并行求解算法

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算法MKSSOA,该算法对每名用户的候选集和中间集分别进行存储,同时在k-支配检查过程中利用2集合中数据点出现的先后次序将候选集中的非k-支配skyline点存储到对应用户的中间集中,以便下一名用户筛选使用,这样可以减少数据点之间的比较次数,避免重复计算,从而提升查询效率。同时,提出了面向多用户的k-支配skyline体并行求解算法MKSPSA,通过Apache Flink并行处理框架有效减少了数据点的比较时间。理论研究和实验结果显示,提出的算法具有较高的效率,能很好地处理多用户k-支配skyline问题。     

k支配能力排序轮廓查询算法

随着轮廓查询应用的扩展,轮廓查询被扩展为其他更复杂的查询问题,包括k支配轮廓、reverse轮廓、k最多支配轮廓等等.然而,现存的轮廓查询不符合某些用户需求,还需要研究新的轮廓查询及其相关算法.为了满足用户需求,提出k支配能力轮廓的概念,同时提出一种快速的k支配能力排序轮廓查询算法(KRA).由于不确定性数据带有概率,KRA算法不能直接应用于不确定性数据.针对不确定性轮廓查询的特点,提出不确定性k支配能力轮廓的概念,并提出不确定性k支配能力排序轮廓查询算法(KRA_U).实验结果表明,算法KRA和KRA_U均可以高效地计算出k支配能力轮廓.     

一种基于索引的高效k-支配Skyline算法

由于在多标准决策支持等应用上具有重要的意义,skyline查询成为近年来数据库和数据挖掘领域的一个研究热点.然而随着数据集维数的增加,数据点之间形成支配关系的可能性越来越小,导致了skyline点数目过多而无法提供任何有效信息.为了在高维数据集中找到更重要和更有意义的skyline点,人们提出了k-支配skyline的定义.但现有的用于k-支配skyline的算法在时间效率、空间复杂度和渐进输出性上都有待提高.该文提出了一种基于索引的高效k-支配skyline算法,通过为数据集建立两个索引,算法可以高效地进行计算,在时间、空间和渐进性上均优于现有的算法.     

求解最小连通r-跳k-支配集的启发式算法

针对最小连通r-跳k-支配集的求解问题,提出一种基于节点度贪心策略的启发式算法。把网络节点集合作为初始解,从中选出度数最小的节点,通过判断节点的连通性决定是否将该节点从当前可行解中删除,由此逐步缩小连通支配集的规模,直至处理完所有节点。在单位圆盘图上进行算法复杂性分析和模拟实验,结果表明,相比同类算法,该算法得到的连通r-跳k-支配点集更少,且性能稳定。     

一种面向不完整数据流上的k-支配skyline查询算法

skyline查询是数据挖掘一个重要的研究方向,在基于数据的决策支持等应用中有着重要的作用.由于现实应用中存在着大量的不完整数据流,但大多数现有的skyline查询算法都依赖于如下的假设:1)任意数据点的所有维度值都是已知的;2)数据集是稳定、有界的并且可以随意访问.此外,随着数据维度的增加,skyline数据点的个数会变得过多,因此引入了k-支配skyline的概念,但是不完整数据的k-支配关系并不具有传递性,现有的skyline查询算法都无法适用.基于这些问题,考虑到数据流高维、无界、顺序性的特点,并且在某些维度上可能具有缺失值的特性,提出了一种新的基于滑动窗口的不完整数据流的k-支配skyline查询算法,实验结果表明,算法不仅可以支持不完整数据流上的k-支配skyline计算,并能够保证效率和性能.     

动态空间集下的轮廓更新算法

现有的轮廓查询算法都是针对静态空间集设计的,不适用于空间集变化的情况。针对上述问题,提出动态空间集下的轮廓更新算法。当空间集发生变化导致现有轮廓失效时,无须重新计算所有数据点,只需在共享策略的基础上对部分数据点进行判断,即可快速完成轮廓的更新。理论分析和实验结果证明,该算法可有效减少冗余操作,保证结果的正确性和完整性。     

一种ρ-支配轮廓查询的高效处理算法

近年来,作为重要的多目标决策手段的轮廓查询逐渐得到学术界的重视,相继提出了基于不同支配关系的多种轮廓变体查询.首先,通过对实际应用需求进行分析,提出了基于元组对应数值间比例值大小的ρ-支配关系的定义,进而提出了ρ-支配轮廓查询的概念.其次,对ρ-支配轮廓的基本性质进行了细致而深入的分析,在此基础上,提出了基于分支定界的...     

数据流中ρ-支配轮廓查询算法

数据流上的轮廓查询算法不能直接处理ρ-支配轮廓查询,而传统的ρ-支配轮廓查询无法在数据更新频繁时满足查询处理的实时性需求。因此,提出了数据流上的ρ-支配轮廓查询算法。首先,系统地介绍了完全支配、ρ-支配和ρ-支配轮廓的定义,进而提出了数据流上ρ-支配轮廓的定义。然后,通过深入分析数据流上的ρ-支配轮廓的性质,得出基于时序支配的数据过滤方法,并提出了基于滑动窗口的ρ-支配轮廓查询算法(ρ-dominant skyline query over sliding window,DSSW),提高了数据流上的ρ-支配轮廓计算的效率。最后,通过大量的实验证明,DSSW算法相比较于传统的ρ-支配轮廓查询算法,在响应时间及存储空间上均有明显优势。     

一种使用简化预排序的k-支配Skyline查询算法

近年来,Skyline查询在多目标决策、数据挖掘、数据库可视化等方面得到广泛应用.然而在高维空间环境下,skyline查询因为返回的结果集过大而不能提供有用的信息.因此,学术界提出了七-支配skyline查询的概念.它通过弱化数据点之间的支配关系,使数据点间更容易产生支配关系,从而使结果集的大小保持在一个合适的范围内.现有七-支配skyline查询算法分为建立索引和不建立索引两种类型.其中不建立索引的算法在高维空间,反相关数据和渐近输出等方面表现比较差,而基于索引的算法花费大量时间去建立索引,整体性能都不高.本文提出一种基于简化预排序的七-支配skyline查询算法(SPA),实现用O(n)的时间复杂度对数据进行简化预排序.理论论证和实验数据都显示了SPA算法远比国内外现有的最好算法更加高效.     

Skyline查询处理数据立方体代数

维空间的Skyline查询处理技术是近年来数据库技术领域的一个研究重点和热点.目前所有的研究工作都是直接在原始数据表上执行关系查询代数操作来获得最终的结果集,然而,随着原始数据表的数据量和维目标个数的增大,这些研究工作将不再适用.基于此,首次研究Skyline集合上的查询代数操作,使得Skyline查询处理的输入数据来自于小规模的Skyline结果集,而非海量的原始数据表.并且,首次给出一个集成多维对象集合和该对象集合上的Skyline结果集的形式化模型,该模型适合目前Skyline查询计算的应用,并在该模型的实例上研究Skyline集合的查询代数操作.同时,给出查询代数体系的代价评估模型.实验表明,给出的数据模型和查询代数体系具有有效性和实用性.     

数据立方体的预计算方法

Cube算子的计算在OLAP应用中起着极为重要的作用。本文分析了在高维Cube算子计算中传统流水线方法的不足之处,提出了通过有选择地实例化Cube中的部分节点以提高OLAP性能的解决方案,并给出了一个获取需要实例化节点的算法。     

一种新的封闭立方体查询算法

提出了一种新的封闭立方体查询算法,缩小了查询时需搜索的记录的范围,提高了查询效率。给出了相关的理论分析和证明,并给出相关的封闭掩码集生成算法。实验结果和理论分析证明了新算法是有效的,在75%的情况下能将需查询范围包含的记录数减少到传统方法的92%左右,提高了对封闭立方体的查询效率。     

基于MapReduce的Skyline查询处理算法

Skyline查询是一个典型的多目标优化查询,在多目标优化、数据挖掘等领域有着广泛的应用。现有的Skyline查询处理算法大都假定数据集存放在单一数据库服务器中,查询处理算法通常也被设计成针对单一服务器的串行算法。随着数据量的急剧增长,特别是在大数据背景下,传统的基于单机的串行Skyline算法已经远远不能满足用户的需求。基于流行的分布式并行编程框架MapReduce,研究了适用于大数据集的并行Skyline查询算法。针对影响MapReduce计算的因素,对现有基于角度的划分策略进行了改进,提出了Balanced Angular划分策略;同时,为了减少Reduce过程的计算量,提出了在Map端预先进行数据过滤的策略。实验结果显示所提出的Skyline查询算法能显著提升系统性能。     

计算SKY的预排序分组算法

在SFS算法的预排序思想基础上,借助数据集R上的单调分值函数,将R的点分组,提出计算Skyline的迭代算法。算法有效地支持用户的偏爱。给出证明：若R的点的个数为n,R的Skyline的点的个数为m,则在计算R的Skyline的过程中,需要对点之间所做的支配比较的次数不超过m(n-m/2-1/2);如果分组的组数为k,则分组算法比SFS减少比较次数不少于m(m-k)/2k。     

一种优化的字符串seed的求解算法

研究了一种重要的字符规律性--字符串的seed.我们利用等价类的概念,提出了等价类树的结构.并在构建前缀等价类树和后缀等价类树的过程中,实时地求解出任意长度的字符串的seed.给定长度为n的字符串,这一算法的时间复杂度为O(nlogn).     

油井管道问题的分治解法

分治算法是解决许多实际问题的重要而有效的方法。该文首先对油井的管道问题进行了分析,然后提出一种基于分治策略的解决方案,并给出了其实现算法,最后对所提出算法的复杂度进行了分析。