数据管理系统评测基准:从传统数据库到新兴大数据

时代发展到今天,技术已经带领人类进入了大数据时代,新技术、新系统和产品的出现,使得采用大数据进行评测的系统成为了热门.这与传统的数据库系统的建立有些许相似之处,就是在数据库系统的建立过程中,基准评测扮演了很重要的角色,在数据库系统的长足发展中成为了系统系能的规范.用于不同数据库性能的评测标准,能够将数据库系统的性能、差距、技术进步等加以反应,得到数据库健康发展和数据技术应用的相关数据.根据数据管理的发展需要,对数据刊进行技术的革新,得到新的数据管理系统的测评标准,如今的数据管理系统的评测基准种类呈现了多样性,并且催生出数据管理系统和平台,造成关系型数据的基准评测的结构化向着对象数据、空间数据、流数据的方向发展.成为新的数据系统.而且关于大数据管理系统的评测基准的研究正在不断地深入,成为了新的热点.与此相关的评测基准的大数据研究也成为了当今最为人们的专业.从现有的数据管理系统的基准评测,还不能得到关于大数据特征的定论,但是从数十年的关于数据管理系统评测基准的发展经验来看,关于大数据系统的研发的结论都是很宝贵的经验,值得借鉴和思考.本文就数据管理系统评测基准的发展历史开始加以阐释,对数据管理系统的成就和未来发展进行论证.     

大数据评测基准的研发现状与趋势

工业界、学术界,以及最终用户都急切需要一个大数据的评测基准, 用以评估现有的大数据系统,改进现有技术以及开发新的技术。回顾了近几年来大数据评测基准研发方面的主要工作。 对它们的特点和缺点进行了比较分析。在此基础上, 对研发新的大数据评测基准提出了一系列考虑因素:1)为了对整个大数据平台的不同子工具进行评测, 以及把大数据平台作为一个整体进行评测, 需要研发面向组件的评测基准和面向大数据平台整体的评测基准, 后者是前者的有机组合;2)工作负载除了SQL查询之外, 必须包含大数据分析任务所需要的各种复杂分析功能, 涵盖各类应用需求;3)在评测指标方面,除了性能指标(响应时间和吞吐量)之外, 还需要考虑其他指标的评测, 包括系统的可扩展性、容错性、节能性和安全性等。     

人工智能赋能的数据管理、分析与系统专刊前言

大数据时代,数据规模庞大,数据管理应用场景复杂,传统数据库和数据管理技术面临很大的挑战.人工智能技术因其强大的学习、推理、规划能力,为数据库系统提供了新的发展机遇.专刊强调数据管理与人工智能的深度融合,研究人工智能赋能的数据库新技术和新型系统,包括两方面:(1)传统数据管理、数据分析技术及系统与人工智能相结合,将会焕发新的生机;(2)大数据管理与分析是新一代人工智能技术发展的基石.因此,围绕传统数据管理的不同技术层面,需要新的理论和系统经验.     

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

随着数据量的日益增加,大数据存储在整个大数据应用框架体系中居于重要地位.对大数据存储系统进行性能评测可以指导大数据应用开发人员分析性能瓶颈,进行大数据系统的性能优化.在以往的工作中,通常使用基准测试的方式来对不同大数据框架进行性能评测,或者采用插桩并分析轨迹文件的方式对分布式文件系统进行性能分析.这2种方法采用的分析角...     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

面向流数据的数据管理系统的研究

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据, 对于一些新的应用领域, 信息是以数据序列的形式产生并且需要实时地、持续地进行处理, 这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统, 它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构, 重点讨论基于流数据的数据模型和流查询。     

流式数据查询系统

近年来,随着互联网和物联网的快速发展,海量的数据在很多应用中都会出现,而这其中有很大一部分数据是以流数据的形式存在的. 流数据的特点是快速、大量、无序,并且要求快速的响应. 研究表明,传统的关系型数据库并不适用于这种流式数据的应用场景,因此如何开发出一套新型的数据查询系统来满足流式数据的处理需求就成为当前研究的一个热点课题. 本文借鉴当前几个有代表性的流式数据管理系统的优点,分析流式数据查询系统的关键问题,综合考虑流数据接口定义、数据预处理,查询语言定义、查询执行过程,系统监控、系统界面等问题,设计并实现一个可用的流式数据查询系统. 最后,通过采集具体的新闻流式数据验证系统的各项功能和性能,实验结果表明,该流式数据查询系统具有良好的数据查询性能.     

人工智能赋能的数据管理技术研究

大数据时代,数据规模庞大、数据管理应用场景复杂,传统数据库和数据管理技术面临很大的挑战.人工智能技术因其强大的学习、推理、规划能力,为数据库系统提供了新的发展机遇.人工智能赋能的数据库系统通过对数据分布、查询负载、性能表现等特征进行建模和学习,自动地进行查询负载预测、数据库配置参数调优、数据分区、索引维护、查询优化、查询调度等,以不断提高数据库针对特定硬件、数据和负载的性能.同时,一些机器学习模型可以替代数据库系统中的部分组件,有效减少开销,如学习型索引结构等.分析了人工智能赋能的数据管理新技术的研究进展,总结了现有方法的问题和解决思路,并对未来研究方向进行了展望.     

大数据管理系统的历史、现状与未来

大数据管理技术正在经历以软件为中心到以数据为中心的计算平台的变迁,传统的关系型数据库管理系统无法满足现在以数据为中心的大数据管理的需求,设计新型大数据管理系统迫在眉睫.首先回顾了数据管理技术的发展历史;之后,从大数据管理的存储、数据模型、计算模式、查询引擎等方面分析了大数据管理系统的现状,指出目前大数据管理系统具有模块化和松耦合的特点,并进一步介绍了大数据管理系统应具备的数据特征、系统特征和应用特征,指出大数据管理系统技术还在快速进化之中,预测未来的大数据管理系统应具备多数据模型并存、多计算模式融合、可伸缩调整、新硬件驱动、自适应调优等特点.     

PostgreSQL数据库运行状态数据的统计收集机制分析

对象关系数据库是新一代的数据库管理系统,它将关系数据库系统与面向对象数据库系统两方面的特征相结合,不仅能很好地支持对象管理和规则管理,而且能更好地支持原有的关系数据管理.要维护一个对象关系数据库管理系统长期正常有效地运行,其中一个不可忽略的机制就是数据库的清理机制.PostgreSQL是一个面向公众的、开放源代码的对象关系数据库管理系统,受到了人们的普遍认可和欢迎.对该系统数据清理机制的一个重要组成部分--数据库运行状态的数据统计收集机制进行了全面分析,给出了统计收集信息的种类、主要函数、数据结构和实现算法,这将有助于维护和完善该数据库系统.     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

数据网格的数据管理策略

数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能，数据网格主要包括数据存储系统和数据管理系统两大部分．数据管理系统对所存储的数据进行管理，主要包括数据的传送和复制等操作．文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作．     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

重建数据立方体的数据覆盖方法

数据切片体现了数据立方体某方面的数据特征,当产生数据切片的数据立方体由于某种原因不可访问时,通过已知的多个数据切片尽可能地恢复数据立方体中的原始信息,有利于对数据的深入分析和理解.提出了一种基于数据切片重建数据立方体的方法,通过数据切片的连接生成多维细粒度空间,利用数据覆盖操作逐步细分每个数据切片所对应的多维空间,以逼近多维细粒度空间.提出了重建后数据立方体的可查询判据.该方法直接利用数据库中的基本操作来实现,高效地支持大数据量的应用环境.     

虚拟数据中心的数据映射与数据路由策略研究

数据中心基础数据积累通常使用三种手段:1)ETL技术;2)数据联邦技术;3)中间件技术.但三种技术侧重各有不同,不能同时满足数据集成的持久性与可用性.结合技术优势提出数据虚拟整合,为解决数据虚拟异构数据模型间的数据转换问题,通过对数据虚拟的分析,提出了一种基于元数据驱动的数据虚拟系统体系结构.构建了用于描述和存储映射策略的支撑元模型,并建立了相应数据路由策略.提出了对等主键思想,降低了处理阻抗.     

基于数据中台的数据资产管理体系

公司经过十多年的信息化建设,信息系统已全面覆盖企业经营、电网运行和客户服务等业务领域及各层级应用,为公司各项业务有效运转提供了有力支撑.但现今仍缺乏一套统一的企业级数据资产管理体系.为进一步提升数据在电网企业的价值,本文提出了一套基于数据中台的企业级数据资产管理体系,主要从数据质量提升优化、数据资产管理、数据共享服务构建3个方面对如何进行数据资产管理进行论述.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

基于数据仓库的数据转移方法

数据转移是企业实施数据仓库的关键 ,针对数据仓库的技术特点 ,结合微软公司的数据仓库解决方案和数据转移服务 DTS,对数据转移过程中的几个典型问题 ,给出了其各自的解决方案     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.