一种高效的分布式动态Skyline查询算法

随着数据规模的增长,集中式环境下的查询算法已无法满足对大规模数据的查询需求,对此提出一种分布式动态Skyline查询(Distributed Dynamic Skyline Query, DDSQ)算法。DDSQ算法包含本地计算和合并计算两个过程。本地计算中,基于B树索引提出基础扫描算法(Basic Scan Algorithm based on B-tree, BSAB)来快速计算分布式动态Skyline候选集;提出优化的扫描算法(Optimized Scan Algorithm based on B-tree, OSAB),与BSAB相比,OSAB进一步减少了扫描空间,提高了计算效率。合并计算中,采用轮转策略对动态Skyline候选集进行合并计算。通过一系列实验验证了DDSQ算法的有效性。     

基于位置的路网Skyline查询处理研究

基于位置的路网Skyline查询可根据用户的需求及用户所处的位置,从大量数据中快速返回给用户期望的数据,但已有的道路网络技术需要计算大量的路网距离及数据点间支配关系的运算,导致查询效率较低。提出一种基于路网数据点的倒排索引查询算法DSR。通过计算少量数据点的路网距离求得最终结果,减小路网距离计算的代价,从而加快数据点间支配关系的判定,提升查询效率。在此基础上,在数据点更新情况下给出算法的动态维护,仅通过维护少量数据,DSR即可以快速地计算出Skyline集合。实验结果表明,与SSI、BSS等算法相比,该算法具有较高的查询效率,且时间性能明显提升。     

FODU:不确定数据集中快速离群点检测方法

离群点检测是数据管理领域中的热点问题之一,在医疗诊断、金融诈骗、环境监测等领域中具有广泛的应用。目前,随着传感器等设备在数据采集方面的应用,人们发现数据的不确定性普遍存在。与确定性数据相比,挖掘出不确定数据集中潜在的富有价值的信息变得十分困难。针对上述问题,提出了一种快速的不确定离群点检测算法FODU（Fast Outlier Detection approach on Uncertain data sets）。采用分层次划分思想给出了索引的构建策略,这种索引结构不仅克服了传统索引对多维数据管理的局限性,而且能够被快速地进行空间剪枝;为了快速地挖掘出不确定离群点,提出了高效的过滤方法。该方法通过批量过滤与单点过滤两个过程减少了大量的冗余计算,从而提高了检测效率,为了避免可能世界的空间膨胀,给出了数据对象离群概率值的计算方法。通过实验验证了所提算法的有效性,结果表明,相对于现有研究,该算法可以显著提高不确定离群点的检测效率。     

MapReduce集群中最大收益问题的研究

MapReduce是目前最为流行的用于大数据分析的并行系统之一.许多企业已经搭建了自己的MapReduce集群,为广大用户提供计算服务.用户可以向集群提交具有完成时限要求的MapReduce作业,若作业被按时完成,则企业可以获得一定的收益.针对这种应用场景,该文首次提出了MapReduce集群中的最大收益问题.为有效地解决该问题,首先提出了一种基于序列的任务调度策略(简称为SEQ策略),并证明了在处理具有完成时限约束的作业时SEQ策略存在优势.基于SEQ策略,该文提出了最大收益的调度算法(Scheduling Algorithm for Maximum Benefit,简称AMB算法),该算法可以快速地确定可接收作业,并给出有效的执行方案,以达到最大化收益的目的.另外,针对在实际应用中的某些异常情况(如节点宕机),该文也设计了有效的超时处理策略,进一步增加了算法的实用性.最后,通过大量的实验验证了该文所提出算法的有效性.     

支持大数据管理的NoSQL系统研究综述

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统。针对基于key-value数据模型的 NoSQL 数据库的相关研究进行综述。首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望。     

ITIC:一种高效的k-影响社区top-r查询算法

k-影响社区(k-Influential Community, k-IC)是网络中具有较大影响值且无包含关系的最大连通k-core。k-IC的top-r查询的目标是返回影响值较大的前r个k-IC。针对此问题，提出W-D(Weight-Degree)索引用于管理网络。提出k-IC的top-r查询优化算法ITIC(Index-based Top-r Query Algorithm for k-Influential Community),该算法无须频繁计算连通分量，并且从权重较大的节点开始处理，一般只对部分节点进行处理即可求得结果。同时，该算法是渐进输出k-IC,可根据用户需求随时终止算法。通过实验验证所提算法的有效性。实验结果表明，相对于现有算法，ITIC可以显著提高计算效率。