发现时间序列数据中的高质量惊奇模式

时间序列数据库中的惊奇模式发现是一个重要问题。已有的算法根据时间序列的形态特征定义并发现惊奇模式,而忽视时间序列内在的机理及其统计规律。为克服此缺点,提出基于时间序列预测的惊奇模式定义,即,其中包含了足够多例外的事件,并提出系统化的惊奇模式发现算法。首先将时间序列离散化为0和1组成的字串;然后用一个简单的算法从此字串中发现所有的惊奇模式。实验表明,所提算法不仅可以发现Keogh等人定义的惊奇模式,而且避免了发现无意义的惊奇模式。     

一种对噪音健壮的数据流分类算法

数据流挖掘中的主要问题是概念流动和噪音污染。目前的数据流挖掘算法不能有效地处理数据流中的噪音,而一个理想的学习算法应该同时拥有对概念流动的敏感性和对噪音的健壮性。文中探讨了如何使用聚类方法在数据流中区分出噪音实例和难以学习的实例,并提出了相应的概念流动检测方法。在此基础上设计了基于推进技术的集合分类器算法RobustBoosting。通过在合成数据集和实际数据集上的实验,表明文中的算法即使在高达40%的类噪音时,与AdaptiveBoosting算法[1]相比,仍能保持更高的分类准确度,更快地收敛到新的目标概念。     

基于位图的日志溢出保护机制研究

在借鉴数据库系统以及数据容灾系统的基础上，针对现有日志技术无法解决日志大小限制的问题，设计了一种基于位图的日志溢出保护机制。围绕数据一致性、原子操作机制分析了这个溢出保护机制的实现流程，比较了该机制与传统机制的优越性。原型实验表明，该机制有效地解决了由于网络拥塞或者I/O请求数量突然增加造成的日志溢出问题，为数据复制提供了保障。     

面向Dataflow的异构集群混合式资源调度框架研究

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%     

基于增量局部加权学习的查询模板自适应基数估计

基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性.     

设备复制系统灾难恢复机制优化方法研究

设备复制系统采用数据复制技术实现数据容灾,而灾难恢复是整个系统的目的和意义所在.在分析设备复制系统现有灾难恢复机制的基础上,提出了一个基于生灭过程的远程备份副本数目选择的可用度指标,讨论了满足系统特点的主系统和备份副本的描述模型和灾难恢复总费用指标,并在此基础上建立了一个基于自律计算的灾难恢复机制优化模型,解决了灾难恢复机制相关量化评价问题,为实现科学、高效、自律的灾难恢复提供了支持.     

一种基于区域特征关联的图像语义标注方法

图像语义的标注需要解决图像高层语义和底层特征间存在的语义鸿沟。采用基于图像分割、并结合图像区域特征抽取的方法,建立图像区域语义与底层特征间的关联,采用基于距离的分类算法,计算区域特征间的相似性,并对具有相同或相近特征的区域的语义采用关联关键字的方法进行区分,用关键字实现图像语义的自动标注。     

人工智能赋能的数据管理、分析与系统专刊前言

大数据时代,数据规模庞大,数据管理应用场景复杂,传统数据库和数据管理技术面临很大的挑战.人工智能技术因其强大的学习、推理、规划能力,为数据库系统提供了新的发展机遇.专刊强调数据管理与人工智能的深度融合,研究人工智能赋能的数据库新技术和新型系统,包括两方面:(1)传统数据管理、数据分析技术及系统与人工智能相结合,将会焕发新的生机;(2)大数据管理与分析是新一代人工智能技术发展的基石.因此,围绕传统数据管理的不同技术层面,需要新的理论和系统经验.     

分布式大数据函数依赖发现

在关系数据库中,函数依赖发现是一种十分重要的数据库分析技术,在知识发现、数据库语义分析、数据质量评估以及数据库设计等领域有着广泛的应用.现有的函数依赖发现算法主要针对集中式数据,通常仅适用于数据规模比较小的情况.在大数据背景下,分布式环境函数依赖发现更富有挑战性.提出了一种分布式环境下大数据的函数依赖发现算法,其基本思想是首先在各个节点利用本地数据并行进行函数依赖发现,基于以上发现的结果对函数依赖候选集进行剪枝,然后进一步利用函数依赖的左部(left hand side,LHS)的特征,对函数依赖候选集进行分组,针对每一组候选函数依赖并行执行分布式环境发现算法,最终得到所有函数依赖.对不同分组情况下所能检测的候选函数依赖数量进行了分析,在算法的执行过程中,综合考虑了数据迁移量和负载均衡的问题.在真实的大数据集上的实验表明,提出的检测算法在检测效率方面与已有方法相比有明显的提升.     

一种SAN上的数据迁移算法设计与实现

业务执行繁忙和资源分配不均可能降低个别磁盘池的I／O响应速度,影响请求的正常响应。该文通过在不同磁盘池之间进行逻辑磁盘（LD）移动处理,利用空闲磁盘池中的容量做成一个预约LD,在空闲时间后台并行进行数据迁移,使存储系统的IOPS提高了8％左右。通过交换LD元数据信息,可以避免外部Mount点的变化。