基于Aurora系统的持续型查询语言设计与实现

随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统Aurora上进行了实现。为验证新语言的表达能力,该系统使用新语言定义了数据流基准测试Linear Road Benchmark的查询集,在Aurora系统上部署运行。测试结果表明针对Linear Road Benchmark的测试用例,新语言具有较完备的语义和良好的表达能力。     

分布式文件元数据管理系统设计

简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点,给出了设计思路,并结合目标系统的记录新增操作、查询操作的测试性能,讨论了进一步的工作。     

元数据驱动的个性化查询工具设计与实现

传统查询定制工具只关注动态组合SQL语句,并没有关注与业务相关的实体,如用户、专业等。用户无法定制个性化的查询,企业不能对数据按专业、查询对象和用户等组织多维度、多专业的数据查询。为解决上述问题,提出了一个元数据驱动的个性化查询定制框架,用元数据描述用户需求和企业环境。用户通过个性定制工具,形成用户需求的元数据描述,查询引擎通过元数据读取用户需求,然后查询专业数据库并形成个性化界面。既有通用查询的通用数据接口,又有友好、个性化的用户接口,在油田企业信息集成中得到应用,并取得良好应用效果。     

基于元数据的地理空间数据管理

针对目前油田勘探开发工作中,积累的大量地理空间数据不能有效的进行存储,管理和共享这一问题,提出了基于元数据的地理空间数据管理.通过分析目前的元数据及管理,在借鉴其它元数据管理模型的基础上,提出了一个三层的地球物理元数据模型框架.通过基础元数据,属性元数据和实体元数据三层对信息进行管理,并对该模型进行了分析说明,给出了基于该模型的地震数据综合管理系统的总体方案以及元数据及元数据库的建设.     

基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。     

块级连续数据保护系统元数据管理方法

为有效组织连续数据保护(CDP)的历史数据以提高灾难发生时系统的恢复效率,研究了影响CDP系统恢复性能的元数据管理方法,设计并实现了三种元数据管理方法。其中两种(DIR-MySQL和OPT-MySQL)是简单的基于MySQL数据库的实现,而另一种(META-CDP)是根据应用特点而设计的。实验结果表明,三种管理方法均能够有效提高系统的恢复效率。其中,前两种方式随着恢复数据量的增加,所需要的恢复时间剧增;而后一种方式随着数据量的增加,恢复时间增加很小,其效率比前两种方法高很多,而且其性能也在可接受范围内。     

面向图数据的结构化正则路径查询方法

正则路径查询是一种应用正则表达式在图数据上进行查询的技术,通常利用有限状态自动机实现查询匹配。现有正则路径查询方法的匹配结果为顶点对的序列,未能充分保留图的结构,为了解决这一问题,提出了一种面向图数据的结构化正则路径查询方法,通过在不同的序列间加以结构化约束,使得查询结果由路径转变为子图。为了实现这一目的,首先定义了一种结构化的正则路径查询语言,并设计了结构化的查询解析以及基于此结构的匹配算法。实验在模拟数据集和真实数据集上进行了测试与分析,验证了网络规模对查询速度的影响,并设置了对照实验。实验结果表明,提出方法能够在保证满足正则表达式约束的前提下实现结构化查询。     

基于企业知识图谱构建的实体关联查询系统

针对目前知识图谱查询中节点之间语义关联性不高、查询效率低等问题,提出了一种实体关联的查询方法,然后以此为基础设计并实现了基于知识图谱的企业查询系统.所提查询方法采用四层过滤模型,首先通过路径搜索找到目标节点的公共路径,从而过滤掉关联程度较低的查询节点,得到过滤集合;然后在中间两层分别对过滤集合的属性和关系计算关联度,再...     

PICASSO: A graphical query language

PICASSO (PICture Aided Sophisticated Sketch Of database queries) is a graphics-based database query language designed for use with a universal relation database system. The primary objective of PICASSO is ease of use. Graphics are used to provide a simple method of expressing queries and to provide visual feedback to the user about the system's interpretation of the query. Inexperienced users can use the graphical feedback to aid them in formulating queries whereas experienced users can ignore the feedback. Inexperienced users can pose queries without knowing the details of underlying database schema and without learning the formal syntax of SQL-like query language. This paper presents the syntax of PICASSO queries and compares PICASSO queries with similar queries in standard relational query languages. Comparisons are also made with System/U, a non-graphical universal relation system on which PICASSO is based. The hypergraph semantics of the universal relation are used as the foundation for PICASSO and their integration with a graphical workstation enhances the usability of database systems.     

基于阿里云的气象资料查询服务系统研究

针对浙江气象证明业务中缺乏客观、统一的资料查询工具问题,搭建基于阿里云的气象资料查询服务系统,实现气象要素查询、气象证明生成等功能,为气象证明业务提供数据支持服务,提高气象为民服务效率和质量。该系统充分利用阿里云的高可靠性、高扩展性等特点,实现系统资源的弹性动态调整,解决了系统在灾害性天气期间的突发访问量问题。     

低冗余计算的可达性查询保持图压缩策略

针对可达性查询保持图压缩（QPGC）算法存在冗余计算的问题,提出了一种高性能压缩策略。在求解顶点的祖先后代集阶段,针对普通图数据,提出一种基于拓扑排序的求解算法TSB,首先将图数据顶点拓扑排序,然后沿拓扑序列顺序（逆序）求解顶点的祖先（后代）集,避免了求解顺序不明确导致的冗余计算;针对最长路径较短的图数据,提出一种基于图聚合运算的求解算法AGGB,可在确定次数的聚合运算内完成顶点的祖先和后代集的求解。在求解可达性等价类阶段,提出一种分段统计剪枝算法PSP,先对祖先后代集分段统计,再比较统计值以实现粗匹配,剪除了部分不必要的精细匹配。实验结果表明,与QPGC算法相比：在祖先后代集求解阶段,TSB和AGGB在不同数据集上的性能平均提升94.22%和90.00%;在求解可达性等价类阶段,PSP算法在大部分数据集上性能提升超过70%;随着数据集的增大,TSB和AGGB配合PSP算法,性能提升了近28倍。理论分析和模拟实验表明,该策略与QPGC算法相比冗余计算更少、压缩速度更快。     

XML数据查询语言XQuery应用分析

目前,XML已经成为事实上的数据表示和数据交换标准,XQuery是用来对XML文档进行数据查询的W3C候选推荐标准。结合XQuery规范的最新发展状况,介绍XQuery查询语言的主要特性,通过实例讨论XQuery语言在数据查询、转换等方面的应用。对SQL/XML和Xquery进行了比较,并分析了XQuery的实现与应用情况。     

面向网络数据管理的并行查询处理

随着互联网的迅猛发展,监控网络的所产生的海量数据对查询处理提出挑战。根据数据明显分为大量的事件数据和少量、稳定的配置数据的特点,提出了一种基于单机DBMS的并行查询处理方法。从关系代数的角度,将任意查询分解成对水平数据分区的子查询和汇总中间结果的后处理查询。借助DBMS提供的数据库链路,在不改动DBMS的情况下,方便地构造查询处理器。用真实负载的测试表明：在中间结果集不很大的情况下,能获得接近线性的扩展比。     

数据集成系统中的动态查询处理

为实现数据集成查询我们会用到查询优化器,而传统的查询优化器生成的执行计划会由于以下几个原因产生不良的结果：成本估计不正确,运行时可用的内存不足和数据传输率无法预测,所有这些问题都要求助于动态策略来修正静态的查询执行计划。介绍了一个动态的查询处理框架和这个框架用到的动态策略。     

数据ETL软件中元数据模型设计与管理

元数据(Meta Data)是用来描述应用中数据结构的数据或文档,即关于数据的数据,处在数据ETL系统的核心位置。分析了元数据在ETL中的作用,设计了元数据模型,提出了元数据管理系统的设计原则和步骤,使其具有广泛的适应性、很好的扩展性和可重用性。     

Object-oriented query language access to relational databases: A semantic framework for query translation

This research investigates and approach to query processing in a multidatabase system that uses an objectoriented model to capture the semantics of other data models. The object-oriented model is used to construct a global schema, defining an integrated view of the different schemas in the environment. The model is also used as a self-describing model to build a meta-database for storing information about the global schema. A unique aspect of this work is that the object-oriented model is used to describe the different data models of the multidatabase environment, thereby extending the meta database with semantic information about the local schemas. With the global and local schemas all represented in an object-oriented form, structural mappings between the global schema and each local schema are then easily supported. An object algebra then provides a query language for expressing global queries, using the structural mappings to translate object algebra queries into SQL queries over local relational schema. The advantage of using an object algebra is that the object-oriented database can be viewed as a blackboard for temporary storage of local data and for establishing relationships between different databases. The object algebra can be used to directly retrieve temporarily-stored data from the object-oriented database or to transparently retrieve data from local sources using the translation process described in this paper.     

Query representation and management in a multiparadigmatic visual query environment

We propose a framework for database querying providing the user with several interaction paradigms based on different (i.e., form-based, diagrammatic, iconic, and hybrid) visual representations of the database. A unified model, namely the Graph Model, is used as the common underlying model, in terms of which databases expressed in the most common data models can be easily converted. Graph Model databases can be queried by means of the multiparadigmatic interface. The semantics of the query operations is formally defined in terms of the Graphical Primitives. Such a formal approach enables the query manager to maintain the same query consistently in any representation. In the proposed multiparadigmatic environment, the user can switch from one interaction paradigm to another during query formulation, so that the most suitable query representation can be found.     

基于元数据的数据仓库安全模型实现研究

元数据是数据仓库的关键技术之一,也是数据仓库安全性的解决途径之一。对基于元数据的数据仓库安全模型进行了研究,对原模型进行了改进,并提出了在Oracle9i数据仓库平台上的解决方案。     

Translational Semantics for a Conceptual Level Query Language

A conceptual level database language for the entity relationship (ER) model implicitly contains integrities basic to ER concepts and special retrieval semantics for inheritances of attributes and relationships.Prolog,which belongs to the logical and physical level,cannot be used as a foundation to directly define the database language.It is shown how Prolog can be enhanced to understand the concepts of entities,relationships,attributes and is-a relationships.The enhanced Prolog is then used as a foundation to define the semantics of a database query language for the ER model.The three basic functions of model specification,updates and retrievals are defined.     

知识图谱数据管理研究综述

知识图谱是人工智能的重要基石.各领域大规模知识图谱的构建和发布对知识图谱数据管理提出了新的挑战.以数据模型的结构和操作要素为主线,对目前的知识图谱数据管理理论、方法、技术与系统进行研究综述.首先,介绍知识图谱数据模型,包括RDF图模型和属性图模型,介绍5种知识图谱查询语言,包括SPARQL、Cypher、Gremlin、PGQL和G-CORE;然后,介绍知识图谱存储管理方案,包括基于关系的知识图谱存储管理和原生知识图谱存储管理;其次,探讨知识图谱上的图模式匹配、导航式和分析型3种查询操作.同时,介绍主流的知识图谱数据库管理系统,包括RDF三元组库和原生图数据库,描述目前面向知识图谱的分布式系统与框架,给出知识图谱评测基准.最后,展望知识图谱数据管理的未来研究方向.