学习索引:现状与研究展望

索引是数据库系统中用于提升数据存取性能的主要技术之一.在大数据时代,随着数据量的不断增长,传统索引（如B+树）的问题日益突出：（1）空间代价过高.例如,B+树索引需要借助O（n）规模的额外空间来索引原始的数据,这对于大数据环境而言是难以容忍的.（2）每次查询需要多次的间接搜索.例如,B+树中的每次查询都需要访问从树根到叶节点路径上的所有节点,这使得B+树的查找性能受限于数据规模.自2018年来,人工智能与数据库领域的结合催生了“学习索引”这一新的研究方向.学习索引利用机器学习技术学习数据分布和查询负载特征,并用基于数据分布拟合函数的直接式查找代替传统的间接式索引查找,从而降低索引的空间代价并提升查询性能.首先对学习索引技术的现有工作进行了系统梳理和分类;然后,介绍了各种学习索引技术的研究动机与关键技术,对比分析了各种索引结构的优劣;最后,对学习索引的未来研究方向进行了展望.     

机器学习化数据库系统研究综述

数据库系统经过近50年的发展,虽然已经普遍商用,但随着大数据时代的到来,数据库系统在2个方面面临挑战.首先数据量持续增大期望单个查询任务具有更快的处理速度;其次查询负载的快速变化及其多样性使得基于DBA经验的数据库配置和查询优化偏好不能实时地调整为最佳运行时状态.而数据库系统的性能优化进入瓶颈期,优化空间收窄,进一步优化只能依托新的硬件加速器来实现,传统的数据库系统不能够有效利用现代的硬件加速器;数据库系统具有成百个可调参数,面对工作负载频繁变化,大量繁琐的参数配置已经超出DBA的能力,这使得数据库系统面对快速而又多样性的变化缺乏实时响应能力.当下机器学习技术恰好同时符合这2个条件：应用现代加速器以及从众多参数调节经验中学习.机器学习化数据库系统将机器学习技术引入到数据库系统设计中.一方面将顺序扫描转化为计算模型,从而能够利用现代硬件加速平台;另一方面将DBA的经验转化为预测模型,从而使得数据库系统更加智能地动态适应工作负载的快速多样性变化.将对机器学习化数据库系统当前的研究工作进行总结与归纳,主要包括存储管理、查询优化的机器学习化研究以及自动化的数据库管理系统.在对已有技术分析的基础上,指出了机器学习化数据库系统的未来研究方向及可能面临的问题与挑战.     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

WCSR:一个弱一致性的复制数据库系统

介绍了一个弱一致性的复制数据库系统ＷＣＳＲ。ＷＣＳＲ系统支持服务的移动性与断接,采用Ｒｅａｄ－Ａｎｙ－Ｗｒｉｔｅ－Ａｎｙ复制范型,通过周期同步方式维护系统的一致性,     

数据库系统性能模型建模方法综述

数据库系统性能模型是数据库系统管理的重要基础技术支撑,广泛用于查询调度、资源分配、性能调优等任务中。当前的性能模型主要分为分析型和统计型两种,分析型模型需要深入研究数据库系统查询执行过程,对动态查询的适应性较好,无须成本高昂的采样实验,但在查询并行执行情景下建模复杂,对不同的数据库系统有不同的理论模型。统计型模型无须分析查询执行过程,通过采集查询执行参数并训练某个数学模型。统计型建模过程简单,能够较好地描述查询交互,预测效果较好,但采样成本很高,对动态查询的适应性差。对数据库系统性能建模的主要文献进行综述,重点介绍数据库系统性能建模的主要方法,并讨论这两类模型各自的优缺点、建模的难点以及应对策略。在此基础上,对数据库系统性能模型领域的研究做了展望,为有关该领域的研究提供参考。     

数据库系统中汉字数据的校验

当今许多企事业单位的计算机管理信息系统大多都是采用XBASE数据库来存放大量的数据信息的,在系统的应用过程中,数据库中数据的正确与否将直接影响到系统运行的正确性与安全性。     

并行数据库系统的数据重组研究

数据倾斜对并行数据库系统性能的影响极大，本文提出解决初始数据倾斜的记录移动法，确定了数据平衡的记录移动法，负载平衡的记录移动法，及通常的重新划分之间取得的界线，并举例进行模拟研究。     

实时数据库系统的关系数据模型

实时数据库系统的定时限制包括数据的定时限制和事务的定时限制。本文详细讨论了实时数据的各种时特征,包括数据的外部有效期、相互一致性、采用样同步性、数据截止期等;在引出元组生命周期其映射概率的基础上,建立了实时数据库系统的地关系数据模型ＲＴＲＤＭ。     

Delphi单机数据库系统的安全性研究与应用

本文深入讨论了Delphi环境下流的工作原理，通过重载ToleStream流的读(Read)、写(Write)函数，并结合OLE复合文档实现数据加密，有效地增强单机数据库系统的安全性。     

H-T:一种适用于嵌入式数据库系统的存取机制

嵌入式实时数据库系统的内存资源十分宝贵，但它又需要快速的数据存取机制，目前性能较好的存取机制是Hybrid-TH,本文提出的H—T是对Hybrid—TH的进一步改进，将HASH表和树的特点有机地结合起来，在有效地降低查询时间的同时，减少空间的消耗，使之适应嵌入式实时数据库的新要求。     

Database Research: Achievements and Challenges

Database system is the infrastructure of the modern information system. The R＆D in the database system and its technologies is one of the important research topics in the field. The database R＆D in China took off later but it moves along by giant steps. This report presents the achievements Renmin University of China （RUC） has made in the past 25 years and at the same time addresses some of the research projects we, RUC, are currently working on. The National Natural Science Foundation of China supports and initiates most of our research projects and these successfully conducted projects have produced fruitful results.     

浅谈分布式数据库系统查询优化

分布式数据库系统的查询优化,就是要寻找执行代价最小的查询执行策略,使系统执行效率达到最高。我们在应用中需要选择适当优化方法,在执行代价和便捷度之间得到最佳执行方案。     

KAL:一个可学习的知识获取环境

可学习的知识获取环境KAL帮助软件工程师从领域专家那儿获取专家知识,形成一个具有继承性的概念层次结构.该环境为知识获取提供视图(viewing)、图示(graphing)、概念聚类和概念发现等工具.     

Learning in relational databases: an attribute-oriented approach

The development of efficient algorithms for learning from large relational databases is an important task in applicative machine learning. In this paper, we study knowledge discovery in relational databases and develop an attribute-oriented learning method which extracts generalization rules from relational databases. The method adopts the artificial intelligence “learning-from-examples” paradigm and applies in the learning process an attribute-oriented concept tree ascending technique which integrates database operations with the learning process and provides a simple and efficient way of learning from databases. The method learns both characteristic rules and classification rules of a learning concept, where a characteristic rule characterizes the properties shared by all the facts of the class being learned; while a classification rule characterizes the properties that distinguish the class being learned from other classes. The learning result could be a conjunctive rule or a rule with a small number of disjuncts. Moreover, learning can be performed with databases containing noisy data and exceptional cases using database statistics. Our analysis of the algorithms shows that attribute-oriented induction substantially reduces the computational complexity of the database learning process. Le développement d'algorithmes efficaces permettant l'apprentissage à partir de bases de donnees relationnelles est une fonction importante de l'apprentissage automatique applicatif. Dans cet article, les auteurs examinent la découverte des connaissances dans les bases de données relationnelles et élaborent une méthode d'apprentissage orientée sur l'attribut qui extrait des bases de données relationnelles les règies de généralisation. La méthode adopte le paradigme d'apprentissage à partir d'exemples et applique au processus d'apprentissage la technique de l'arbre des concepts orientés sur l'attribut qui incorpore les opérations de base de données au processus d'apprentissage, ce qui permet d'obtenir une méthode simple et efficace d'apprentissage à partir des bases de données. La méthode fait l'apprentissage des règies caractéristiques et des règies de classification d'un concept d'apprentissage; la règie caractéristique qualifie les pro-priétés communes à tous les faits d'une categorie faisant l'objet d'un apprentissage alors que la règie de classification caractérise les propriétés qui distinguent la catégorie faisant l'objet d'un apprentissage des autres catégories. Le résultat peut ětre une règie conjonctive ou une règie ayant un petit nombre de disjonctifs. Qui plus est, 1′apprentissage peut se faire avec des bases de données contenant des donnees bruitees et des cas exceptionnels utilisant des statistiques de bases de données. L'analyse des algorithmes démontre que l'induction orientée sur l'attribut réduit considérablement la complexité informàtique du processus d'apprentissage des bases de données.     

智能数据分区与布局研究

大数据时代,数据规模庞大,由数据进行驱动的应用分析场景日益增多.如何快速、高效地从这些海量数据中提取出用以分析决策的信息,给数据库系统带来重大挑战.同时,现代商业分析决策对分析数据的实时性要求数据库系统能够同时快速处理ACID事务和复杂的分析查询.然而,传统的数据分区粒度太粗,且不能适应动态变化的复杂分析负载;传统的数据布局单一,不能应对现代大量增加的混合事务分析应用场景.为了解决以上问题,“智能数据分区与布局”成为当前的研究热点之一,它通过数据挖掘、机器学习等技术抽取工作负载的有效特征,设计最佳的分区策略来避免扫描大量不相关的数据,指导布局结构设计以适应不同类型的工作负载.首先介绍了智能数据分区与布局的相关背景知识,然后对智能数据分区与布局技术的研究动机、发展趋势、关键技术进行详细的阐述.最后,对智能数据分区与布局技术的研究前景做出总结与展望.     

一种嵌入式实时数据库系统查询优化算法

针对嵌入式实时数据库系统的特点,提出了一种新的连接顺序优化算法 (Greedy Iterative Improvement, GII)。该算法结合了贪婪算法和迭代改进算法的优点,能满足系统的实时要求,可以控制查询优化时间,比传统查询优化策略更好地适应不同类型事务的需要。模拟实验结果表明,该算法在穷举式搜索适用时,能以比它小得多的时间和内存开销找到最优解;在穷举式搜索无法实现优化时,GII算法生成解的质量也明显优于贪婪算法和迭代改进。     

数据库系统中SQL语句优化

查询是数据库中最基本、最常用、最复杂的操作,查询操作的优劣直接影响数据库应用程序的性能。本文主要讨论了基于SQL查询重写技术的数据库查询优化策略,通过查询重写可以把用户所写的效率不高的SQL语句重新优化组合,使之成为效率较高的查询语句。     

并行数据库的体系结构

本文从系统结构的角度论述了并行数据库系统的研究内容、技术与方法。