面向区块链的高效物化视图维护和可信查询

区块链具有去中心化、不可篡改和可追溯等特性,可应用于金融、物流等诸多行业.由于所有交易数据按照交易时间顺序存储在各个区块,相同类型的交易数据通常会散布在诸多区块之中,降低了面向历史区块的追溯查询的处理效率.索引构建和物化视图是提升查询性能的两种典型方法,但当待处理数据分布于多个区块时,使用索引无法改善I/O访问效率,而物化视图可有效应对这个问题.然而,由于区块链系统的特点明显区别于关系数据库,传统的面向关系数据库的物化视图技术无法被直接应用到区块链之中.鉴于此,首次提出一种面向区块链的高效物化视图机制,具有如下特征:(1)将视图维护操作与共识过程同时执行,降低该操作对系统性能的影响;(2)使用字典树加快以区块为单位的多物化视图维护进程;(3)以默克尔验证的方式确保物化结果不被恶意篡改,进而确保查询结果可信.所提出的物化视图维护机制已经被集成到一个区块链系统中,并通过实验来验证该机制的高效性.     

数据驱动的开源贡献度量化评估与持续优化方法

在当今数字化时代,开源技术、开源软件和开源社区日益重要,而通过量化分析方法研究开源领域的问题也已经成为一个重要的趋势。开发者是开源项目中的核心,其贡献度的量化以及量化后的贡献度提升策略,是开源项目能够健康发展的关键。文中提出了一种数据驱动的开源贡献度量化评估与持续优化方法,并通过一个实际的工具框架Rosstor(Robotic Open Source Software Mentor)进行了实现。该框架包含两个主要部分:1)贡献度评估模型,采取了熵权法,可以动态客观地评估开发者的贡献度;2)贡献度持续优化模型,采取了深度强化学习方法,最大化了开发者的贡献度。文中选取了GitHub上若干著名的开源项目的贡献者数据,通过大量且充分的实验验证了Rosstor不仅能够使所有项目上开发者的贡献度得到大幅度提升,而且还具有一定的抗干扰性,充分证明了所提方法和框架的有效性。Rosstor框架为当下广泛开展的开源项目和开源社区的可持续健康发展提供了方法和工具方面的支持。     

区块链数据管理专题前言

近几十年来,数据管理技术取得了飞速发展并在很多重要领域广泛应用.传统的数据库管理系统(包括分布式数据库)往往由单一机构进行管理和维护,该机构对整个数据库具有最高权限.这种模式并不适用于由非完全互信的多个机构共同管理数据,在互联网应用环境中该问题尤为突出.区块链作为一种去中心化、不可篡改、可追溯、多方共同维护的新型分布式数据库,适合于在这种非互信场景下进行有效的数据管理.由于新旧数据管理架构的差异性非常显著,无法照搬现有的数据库管理技术,必须在区块链数据管理技术上有所创新.但总体而言,区块链数据管理的研究仍然处于起步阶段,存在诸多待解决的问题.本专题试图汇集区块链数据管理的最新研究成果,为区块链数据管理领域的相关人员提供参考.     

区块链与可信数据管理:问题与方法

作为支撑比特币实现无中心高可信的账本管理的技术,区块链在金融领域得到了广泛关注.区块链实现了不完全可信环境中的可信数据管理,具有去中心化、防篡改、不可抵赖、强一致和完整性等特性,同时也具有高延迟和低吞吐率的性能问题.在互联网技术发展,新型应用层出不穷的大背景下,借鉴区块链在数字加密货币应用中的成功经验,探索可信数据管理的理论、技术,并设计、实现系统,是学术界所面临的重要问题.本文从可信数据管理角度,介绍区块链相关的技术和研究进展,包括分布式共识、智能合约、数据溯源等,并分析应用对可信数据管理所提的需求和研究挑战.     

产教融合打通数据学科研究生培养的"最后一公里路"

针对人工智能课程现状,提出一种依托产学合作开展人工智能课程改革与建设的模式,阐述如何借助百度公司强大的技术团队以及数据资源、算力方面的支持,把握技术前沿,强化学生实践动手和创新能力的培养,全面提升课程教学质量.     

基于自回归移动平均反转的在线投资组合选择

针对现有均值反转类策略未充分考虑噪声数据、单周期假设和数据的非平稳性等问题，提出了一种基于多周期的高效的在线自回归移动平均反转（OLAR）算法。首先，利用自回归移动平均算法得到了股价预测模型，并经过合理的假设将其转化为自回归模型；然后，结合损失函数和正则项构造出了目标函数，并利用损失函数的二阶信息得到了参数的闭式解；接着，利用在线被动攻击（PA）算法得到了投资组合的闭式更新。理论分析和实验仿真结果表明，与鲁棒中位数反转（RMR）相比，OLAR在NYSE（O）、NYSE（N）、道琼斯工业指数（DJIA）和MSCI数据集上的累积收益分别提高了455.6%，221.5%，11.2%和50.3%；同时，统计检验结果表明，OLAR的表现并不是由随机因素造成的。此外，与RMR和在线滑动平均反转（OLMAR）等算法相比，OLAR获得了最大的年化收益率、夏普比率和Calmar比率；最后，OLAR的运行时间与RMR和OLMAR基本相同，因此也适合大规模的实时应用。     

基于深度学习的新型视频分析系统综述

摄像设备在生活中的普及使得视频数据快速增长,这些数据中蕴含丰富的信息.早期,研究人员基于传统的计算机视觉技术开发视频分析系统,用于提取并分析视频数据.近年来,深度学习技术在人脸识别等领域取得了突破性进展,基于深度学习的新型视频分析系统不断涌现.本文从应用、技术、系统等角度,综述了新型视频分析系统的研究进展.首先,本文回顾视频分析系统的发展历史,指出了新型视频分析系统与传统视频分析系统的区别.其次,本文分析了新型视频分析系统在计算和存储两方面面临的挑战,从视频数据的组织分布和视频分析的应用需求两方面探讨了新型视频分析系统的影响因素.再次,本文将新型视频分析系统划分为针对计算优化的系统和针对存储优化的系统两大类,选取其中典型的代表并介绍其核心设计理念.最后,本文从多个维度对比和分析了新型视频分析系统,指出这些系统当前存在的问题,并据此展望了新型视频分析系统未来的研究与发展方向.     

基于申威众核处理器的NSGA-Ⅱ并行和优化方法

由申威众核处理器组成的“神威·太湖之光”是当前我国性能最高的超级计算机,可为大规模NSGA-Ⅱ求解提供硬件平台。基于硬件架构特点,设计了分岛/主从增强混合并行NSGA-Ⅱ。在主从模式基础上,利用从核间寄存器通信,实现核组内从核局部数据存储的共享。优化流程,实现更多算法模块在从核上的并行。运用DMA传输、向量化、双缓冲、存储优化等方法显著提高加速比。实验表明,优化的并行NSGA-Ⅱ在申威众核处理器上具有良好的加速比和扩展性。     

基于函数依赖与条件约束的数据修复方法

随着经济与信息技术的发展,在许多应用中均产生大量数据.然而,受硬件设备、人工操作、多源数据集成等诸多因素的影响,在这些应用之中往往存在较为严重的数据质量问题,特别是不一致性问题,从而无法有效管理数据.因此,首要的任务就是开发新型数据清洗技术来提升数据质量,以支持后续的数据管理与分析.现有工作主要研究基于函数依赖的数据修复技术,即以函数依赖来描述数据一致性约束,通过变更数据库中部分元组的属性值（而非增加/删除元组）来使得整个数据库遵循函数依赖集合.从一致性约束描述的角度来看,函数依赖并非是唯一的表达方式,还存在其他表达方式,例如硬约束、数量约束、等值约束、非等值约束等.然而,随着一致性约束种类的增加,其处理难度也远比仅有函数依赖的场景要困难.本文考虑以函数依赖与其他一致性约束共同表述数据库的一致性约束,并在此基础上设计数据修复算法,从而提升数据质量.实验结果表明,本文所提方法的执行效率较高.