浅述云计算在空管数据流程中的应用前景

该文简要探讨了云计算在空管数据的管理和处理中的潜在的应用和优势,为更安全可靠、经济环保和易于管理的空管数据管理提供新思路;该文首先阐述了空管系统中的大数据带来的挑战和云计算对于处理大数据的优势,然后分析了目前空管数据的存储、处理和分析中存在的不足,并相应地提出了基于云计算基础架构的改进优化方案;基于云计算的数据管理方案能极大地提高系统的可靠性和安全性,降低数据管理的复杂性、重复性;因此,合理地将云计算技术应用到空管数据管理中能在系统的可靠性、高效性和未来发展方面带来极大的益处。     

浅述云计算在空管数据流程中的应用前景

该文简要探讨了云计算在空管数据的管理和处理中的潜在的应用和优势,为更安全可靠、经济环保和易于管理的空管数据管理提供新思路;该文首先阐述了空管系统中的大数据带来的挑战和云计算对于处理大数据的优势,然后分析了目前空管数据的存储、处理和分析中存在的不足,并相应地提出了基于云计算基础架构的改进优化方案;基于云计算的数据管理方案能极大地提高系统的可靠性和安全性,降低数据管理的复杂性、重复性;因此,合理地将云计算技术应用到空管数据管理中能在系统的可靠性、高效性和未来发展方面带来极大的益处。     

新型数据管理系统研究进展与趋势

随着各类新型计算技术和新兴应用领域的浮现,传统数据库技术面临新的挑战,正在从适用常规应用的单一处理方法逐步转为面向各类特殊应用的多种数据处理方式.分析并展望了新型数据管理系统的研究进展和趋势,涵盖分布式数据库、图数据库、流数据库、时空数据库和众包数据库等多个领域.具体而言：分布式数据管理技术是支持可扩展的海量数据处理的关键技术;以社交网络为代表的大规模图结构数据的处理需求带来了图数据库技术的发展;流数据管理技术用来应对数据动态变化的管理需求;时空数据库主要用于支持移动对象管理;对多源、异构而且劣质数据源的集成需求催生出新型的众包数据库技术.最后讨论了新型数据库管理系统的未来发展趋势.     

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.     

人工智能赋能的数据管理、分析与系统专刊前言

大数据时代,数据规模庞大,数据管理应用场景复杂,传统数据库和数据管理技术面临很大的挑战.人工智能技术因其强大的学习、推理、规划能力,为数据库系统提供了新的发展机遇.专刊强调数据管理与人工智能的深度融合,研究人工智能赋能的数据库新技术和新型系统,包括两方面:(1)传统数据管理、数据分析技术及系统与人工智能相结合,将会焕发新的生机;(2)大数据管理与分析是新一代人工智能技术发展的基石.因此,围绕传统数据管理的不同技术层面,需要新的理论和系统经验.     

HNPG步态特征数据库管理系统设计与实现

为增强步态识别算法的评估和验证的可靠性,加速步态识别技术的实际应用进程,针对大量非结构化数据管理问题和当前小样本步态数据库的不足,采用面向对象的数据管理模型,基于平台化的总体思想,设计和实现了一个开放式的基础步态数据支撑平台.提出了包括数据规范、数据采集加工处理、数据管理模式、应用开发和设计等方面的系统解决方案.实践表明系统的数据采集规范、样本数量、步态数据清晰度、基础平台和开放性等指标都超过了同类型的数据库,系统具有较强的扩展性、安全性和可靠性,达到了预期目标.     

一种云环境下的大数据Top-K查询方法

Top-K查询在搜索引擎、电子商务等领域有着广泛的应用.Top-K查询从海量数据中返回最符合用户需求的前K个结果,主要目的是消除信息过载带来的负面影响.大数据背景下的Top-K查询,给数据管理和分析等方面带来新的挑战.结合MapReduce的特点,从数据划分、数据筛选等方面对云环境下的大数据Top-K查询问题进行深入研究.实验结果表明,该方法具有良好的性能和扩展性.     

基于XML的仿真数据管理技术

为了解决仿真中复杂数据的描述问题,实现数据管理,在仿真中引入了XML语言.介绍了XML语言的特点,研究了XML文档的典型结构,分析了XML语言在数据管理应用上的优势.基于XML语言实现了仿真输入数据和输出数据的描述,并结合XML语言灵活性、扩展性强的特点,研究了数据集成策略,实现了仿真数据管理.应用实践表明,XML可以很方便地描述各种不同类型的数据,有利于复杂数据整合和处理,能够提升仿真的数据管理效率.     

基于云计算的网络大数据均衡调度系统设计

由于传统大数据均衡调度系统应用下的网络吞吐量较低,因此提出基于云计算的网络大数据均衡调度系统。在系统硬件方面,设计了动态调度器和网络数据管理服务器,其中动态调度器执行系统均衡调度策略来辅助系统完成数据均衡调度任务,网络数据管理服务器对系统接收的网络大数据集成管理。在系统软件方面,首先采用网络爬虫技术对网络大数据样本进行采集,在数据矢量空间中建立映射关系;其次利用模糊循环迭代控制技术对网络大数据样本进行均衡处理;最后利用云计算技术对网络大数据均衡调度策略进行计算分析,以此实现系统设计。经实验证明,应用设计系统的网络吞吐量高于传统系统。     

区块链系统中的分布式数据管理技术——挑战与展望

区块链是在数字加密货币的应用基础之上发展起来的一种分布式数据库技术.区块链系统具有去中心化、不可篡改、分布共识、可溯源和最终一致性等特点,这使其可以用于解决不可信环境下数据管理问题.区块链独特的数据管理功能已经成为各领域应用中发挥区块链价值的关键.本文基于对比特币、以太坊、超级账本等代表性区块链系统的研究分析,阐述区块链系统中分布式数据管理技术.首先,深入讨论区块链系统与传统分布式数据库系统之间的异同点,从分布式部署模式、节点角色、链拓扑结构等多个方面给出区块链的分类.然后,详细分析各类区块链系统所使用的数据存储结构、分布式查询处理与优化技术及其优缺点.最后,总结区块链系统的分布式数据管理技术在各专门领域应用中所面临的挑战和发展趋势.     

Overview of emerging database architectures

A database system is a miniworld data repository representing some aspects of the real world. In a database system, information is well organized and has some inherent meaning. In recent years, the emergence of new types of computer applications, such as multimedia and computer-added manufacturing, have resulted in demands to manage complex data types that are beyond the capabilities of existing relational databases. At the same time, new developments in network technologies, artificial intelligence, semantic modeling, and object-oriented programming have inspired research in database topics such as distributed, deductive, object-oriented, active, and deductive and object-oriented databases (DOOD). Essentially, the most promising new database technologies combine the merits of different kinds of database architectures. Starting with the relational database architecture, this paper will review the emerging database technologies, and thereby, provide insight into current and future directions in database technologies.     

NoSQL数据管理技术

社交网络和微博等新型应用对数据管理技术提出了新的挑战,如海量数据高效存储、高并发访问、高可扩展性和高可用性等。而传统的关系数据库技术无法满足这些新型应用的需求,因此,NoSQL数据管理技术的研究、开发和应用越来越受到重视。本文从NoSQL数据模型、数据存储、查询处理以及SQL与NoSQL混合数据库解决方案等方面,综述了NoSQL数据管理技术发展现状和趋势,并介绍了几种典型的NoSQL产品。     

Dynamic learning,retrieval, and tracking to augment hundreds of photographs

Tracking is a major issue of virtual and augmented reality applications. Single object tracking on monocular video streams is fairly well understood. However, when it comes to multiple objects, existing methods lack scalability and can recognize only a limited number of objects. Thanks to recent progress in feature matching, state-of-the-art image retrieval techniques can deal with millions of images. However, these methods do not focus on real-time video processing and cannot track retrieved objects. In this paper, we present a method that combines the speed and accuracy of tracking with the scalability of image retrieval. At the heart of our approach is a bi-layer clustering process that allows our system to index and retrieve objects based on tracks of features, thereby effectively summarizing the information available on multiple video frames. Dynamic learning of new viewpoints as the camera moves naturally yields the kind of robustness and reliability expected from an augmented reality engine. As a result, our system is able to track in real-time multiple objects, recognized with low delay from a database of more than 300 entries. We released the source code of our system in a package called Polyora.     

支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.     

云数据管理索引技术研究

数据的爆炸式增长给传统的关系型数据库带来了巨大的挑战,使其在扩展性、容错性等方面遇到了瓶颈.而云计算技术依靠其高扩展性、高可用性、容错性等特点,成为大规模数据管理的有效方案.然而现有的云数据管理系统也存在不足之处,其只能支持基于主键的快速查询,因缺乏索引、视图等机制,所以不能提供高效的多维查询、join等操作,这限制了云计算在很多方面的应用.主要对云数据管理中的索引技术的相关工作进行了深入调研,并作了对比分析,指出了其各自的优点和不足;对在云计算环境下针对海量物联网数据的多维索引技术研究工作进行了简单介绍;最后指出了在云计算环境下针对大数据索引技术的若干挑战性问题.     

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。     

基于列存储的MapReduce分布式Hash连接算法

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点。传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce分布式Hash连接算法。首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于Hadoop的原型系统。通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性。     

数据库与MapReduce融合的大数据管理技术探索

大数据管理是随着时代和技术发展而提出和演化的命题。随着大数据从传统的结构化数据向无结构化数据的转移,Key/value存储、NoSQL、MapReduce等技术成为数据库技术之外大数据管理的多样化手段。MapReduce以其开放性成为当前大数据的代表技术,在大数据应用中,如何让MapReduce与数据库高效协同,发挥各自的技术优势和平台优势,提供高性能、高可扩展性、高可用性的大数据服务平台成为重要的研究课题。本文讨论在大数据存储、管理与服务主题上的观点和技术路线,探索将MapReduce作为数据库新的应用与开发平台的可行性。     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

云计算中nosql集群自动配置框架的研究与实现

针对云计算中大数据的管理与存储需要手动扩展或释放资源,效率低下、成本高等问题,提出一种云计算环境下nosql数据自动配置管理解决方案,设计并实现有良好的伸缩性、自适应性、可扩展性,支持负载动态变化的nosql自动配置框架,该框架支持所有nosql数据库,广泛集成第三方云平台如亚马逊EC2、openstack、eucalyptus等。在该框架的基础上,实现了Nosman自动配置系统,经运行,该系统能够正常提供大数据的存储与管理,在保证用户SLA的情况下,能够随负载的动态变化自动配置nosql集群资源。