半结构化数据的动态树存储模型研究

为了克服半结构化数据存储的不确定性,基于半结构化数据的结构信息可由其模式来描述的思想,提出一种动态树存储模型。在对对象交换模型OEM(Object Exchange Model)进行深度优先遍历,找出所有最大简单路径表达式基础上,采用累加计数原则将得到的最大路径表达式依次添加到一个动态树中,从而生成存储模型。最后将此模型映射到关系表中,实现了半结构化数据在关系数据库中的存储与查询。以村镇土地审批处理系统为实例来说明这种存储模型的有效性。     

一个基于模式的XML存储模型

XML基于半结构化数据模型,而半结构化数据很难统一存储和管理。文章提出了一个基于模式的XML存储模型SBSM,并定义了如何在该模型上进行相关的操作,该模型克服了对象-关系映射模型的局限性,并支持直接在模型上进行查询操作。     

扩展哈弗曼前缀编码实现XML数据与关系数据转换

为从企业生产线上XML半结构化数据中抽取富有意义数据,分析了XML半结构化数据和关系数据库中结构化数据特点,以及XML半结构化数据在关系数据库中的存储方法。针对实际应用,提出采用扩展哈弗曼前缀编码方法,对XML文档树进行唯一编码,实现XML文档与关系数据库映射,同时给出最长前缀匹配策略,支持数据查询,以提高查询效率。     

一种基于HBase的高效半结构化数据查询策略

本文用以Dremel系统为基础解决在HBase系统下如何查询大量的半结构化数据。基本原理是进行先进行数据预处理将半结构化数据进行拆分,将记录拆分成列使用表存储,拆分之后保持原有之间的半结构化数据的树之间的上下层关系,然后再查询的时候只查询条件相关的列,然后做集合计算,即可得到数据需要查询的结果,从而节省了很多时间。     

半结构化查询重写的MiniCon算法

研究了基于半结构化数据查询语言TSL(tree specification language)的查询重写问题.提出了一种半结构化查询重写算法,解决了在给定一个半结构化查询和一组半结构化视图的情况下,找到最大被包含重写的问题.算法借用了可伸缩的关系查询重写的MiniCon算法的思想,解决了半结构化数据模型之下查询重写的一些新问题(如标识符依赖、集合值变量映射等).证明了算法的正确性.     

基于对象—关系—属性数据模型的空间半结构化数据存储管理研究*

对象-关系-属性数据模型相对传统的结构化数据模型,用更丰富的数据语义区别了对象类属性和关系类型属性两个概念,使其适用于半结构化数据的存储与管理.从分析空间数据的半结构化特征入手,以空间数据的嵌套关系为管理对象,实现了在关系型数据库中对空间半结构化数据的存储与管理.     

基于元数据管理的半结构化数据安全转换方法

为了提升半结构化数据的安全转换能力、降低数据转换输出误码率(BER),提出基于元数据管理的半结构化数据安全转换方法。构建云存储动态半结构化数据的Hash编码模型,采用动态随机码元调制方法,分析云存储动态半结构化数据的参数统计特征量。采用模糊自相关融合调度方法,构建云存储动态半结构化数据的直觉模糊度对偶集。采用统计分析和概率密度特征采样的方法,构建云存储动态半结构化数据分簇聚类融合模型。采用元数据管理和参数模糊度辨识,实现半结构化数据安全转换和多属性群决策。根据分组交换的方法,实现云存储动态半结构化数据动态分析和聚类。结合信息聚类和自适应学习方法,实现半结构化数据安全转换和编码控制。仿真结果表明,采用该方法进行半结构化数据安全转换的准确性较高、数据输出误码率较低、融合性较好,提高了半结构化数据的安全传输能力。     

基于对象一关系一属性数据模型的空间半结构化数据存储管理研究

对象一关系一属性数据模型相对传统的结构化数据模型，用更丰富的数据语义区别了对象类属性和关系类型属性两个概念，使其适用于半结构化数据的存储与管理。从分析空间数据的半结构化特征入手，以空间教据的嵌套关系为管理对象，实现了在关系型数据库中对空间半结构化数据的存储与管理。     

基于RDF的语义网格数据建模与检索

语义网格所需要处理的信息通常为半结构化数据,如何以合理的模型表示这些半结构化数据并实现高效查询处理,是语义网格要解决的核心问题之一。提出了一种基于资源描述框架（RDF）的半结构化数据表示模型,并设计了相应的信息检索机制。最后介绍了一个基于化工计算网格平台的,实现了化工领域知识共享与检索的化工语义网格架构的设计与实现。     

小麦品种知识图谱构建与可视化研究

为探索知识图谱技术在农业智能生产中应用与落地, 解决复杂多样的农业生产数据的精准查询与可视化问题, 本研究以小麦品种知识为例, 利用爬虫技术, 爬取1852个小麦品种信息、735个微百科、102349个词条; 基于知识图谱技术, 设计品种知识图谱实体与关系, 对抓取数据进行清洗、抽取与融合, 经过实体识别、关系构造等处理, 构建实体258484个, 关系328933个. 在此基础上, 设计了小麦品种知识存储方式, 结构化数据存储在MySQL中, 非结构化数据存储在MongoDB中, 使用Neo4j图数据库存储知识图谱来提高知识的查询性能, 在此基础上实现小麦品种关系查询与实体识别, 提供品种数据精确表达与可视化, 表明利用知识图谱技术实现品种等信息的可视化是可行的, 该研究可以为知识图谱在农业中的应用提供技术参考和理论支撑.     

半结构化数据查询的处理和优化

半结构化数据的特点是数据的结构不规则或不完整,其模型都基于带根有向图,因此,查询处理过程本质上是对图的搜索过程.另外,通配路径使查询处理更加复杂化.文章详细介绍了异构数据源集成系统Versatile中采取的半结构数据OIM(model for object integration)对象的查询和优化策略,包括查询计划的生成、路径扩展和路径索引、层次索引和基于数据源知识这3种查询优化方法.文章介绍的方法同样适用于其他的半结构化数据模型.     

基于模型检测的半结构化数据查询

在Web迅猛发展和半结构化数据急剧膨胀的今天,Web上的半结构化数据查询日益成为信息技术领域一个重要的研究发展方向。现有的半结构化查询语言在查询效率上存在着不足。文章提出了一个将模型检测技术应用到半结构化数据查询的新方法,它通过把数据库看作Kripke状态变迁系统,把查询解释为时序逻辑CTL公式,将查询过程转化为模型对公式的满足问题,通过模型检测过程高效地完成数据查询,从而使查询可以在多项式时间内完成,很好地改善了查询效率。最后,给出了该方法在现有半结构化查询语言Lorel上的应用。     

Applying model-checking to solve queries on semistructured data

The large volume and nature of data available to the casual users and programs motivate the increasing interest of the database community in studying flexible and efficient techniques for extracting and querying semistructured data. On the other hand, efficient methods have been discovered for solving the so-called model-checking problem for some modal logics. The aim of this paper is to show how some of these methods can be used for querying semistructured data. For doing that we show that semistructured data can be naturally seen as Kripke Transition Systems. To keep the presentation independent of a specific language, we introduce a graphical query language that includes some of the features of the query languages based on graphs and patterns. We show how to associate CTL formulas to queries of this language. This allows us to see the problems of solving a query as an instance of the model-checking problem for CTL that can be solved in polynomial time. We have tested the method by using a model-checker, and have studied the applicability of the method to some existing languages for semistructured databases.     

半结构化数据模型及查询语言

在传统数据库中要求查询处理时数据的结构模式已知且固定。这在ＷＷＷ和异构信息源集成等半结构化数据情形下很难满足。     

Approximation and relaxation of semantic web path queries

Given the heterogeneity of complex graph data on the web, such as RDF linked data, it is likely that a user wishing to query such data will lack full knowledge of the structure of the data and of its irregularities. Hence, providing flexible querying capabilities that assist users in formulating their information seeking requirements is highly desirable. In this paper we undertake a detailed theoretical investigation of query approximation, query relaxation, and their combination, for this purpose. The query language we adopt comprises conjunctions of regular path queries, thus encompassing recent extensions to SPARQL to allow for querying paths in graphs using regular expressions (SPARQL 1.1). To this language we add standard notions of query approximation based on edit distance, as well as query relaxation based on RDFS inference rules. We show how both of these notions can be integrated into a single theoretical framework and we provide incremental evaluation algorithms that run in polynomial time in the size of the query and the data, returning answers in ranked order of their ‘distance’ from the original query. We also combine for the first time these two disparate notions into a single ‘flex’ operation that simultaneously applies both approximation and relaxation to a query conjunct, providing even greater flexibility for users, but still retaining polynomial time evaluation complexity and the ability to return query answers in ranked order.     

EXCEL在工资查询系统中的运用

EXCEL电子表格作为常用的数据处理的数据处理功能是非常强大的,给我们的日常工作带来了方便,但在数据查询方面EXCEL就显得力不从心了。如我们查询一个人的工资发放明细时,只能打开所有人员的工资明细,而不能屏蔽其他人员的工资明细,在实践中,我们运用EXCEL的VBA功能实现了指定人员工资明细的随有查询,提高了工作效率和工作质量。     

关系数据库近似匹配查询方法研究

针对传统海量数据精确查询负载过大的问题,引入基于仿真的置信区间自动抽样方法(Bootstrap)对数据库提供支持。通过对部分或采样数据进行查询,将查询简化到基础数据上,在对整个数据集查询一次的时间内,完成对多个样本重复多次的查询,得到数据库查询的置信区间;再进行基础SQL查询,得到符合用户要求的近似结果。实验结果表明,引入Bootstrap方法进行数据查询是有效的。     

CloudMdsQL: querying heterogeneous cloud data stores with a common language

The blooming of different cloud data management infrastructures, specialized for different kinds of data and tasks, has led to a wide diversification of DBMS interfaces and the loss of a common programming paradigm. In this paper, we present the design of a cloud multidatastore query language (CloudMdsQL), and its query engine. CloudMdsQL is a functional SQL-like language, capable of querying multiple heterogeneous data stores (relational and NoSQL) within a single query that may contain embedded invocations to each data store’s native query interface. The query engine has a fully distributed architecture, which provides important opportunities for optimization. The major innovation is that a CloudMdsQL query can exploit the full power of local data stores, by simply allowing some local data store native queries (e.g. a breadth-first search query against a graph database) to be called as functions, and at the same time be optimized, e.g. by pushing down select predicates, using bind join, performing join ordering, or planning intermediate data shipping. Our experimental validation, with three data stores (graph, document and relational) and representative queries, shows that CloudMdsQL satisfies the five important requirements for a cloud multidatastore query language.     

Query generation for retrieving data from distributed semistructured documents using a metadata interface

We describe a method for generating queries for retrieving data from distributed heterogeneous semistructured documents, and its implementation in the metadata interface DDXMI (distributed document XML metadata interchange). The proposed system generates local queries appropriate to local schemas from a user query over the global schema. The system constructs mappings between global schema and local schemas (extracted from local documents if not given), path substitution, and node identification for resolving the heterogeneity among nodes with the same label that often exist in semistructured data. The system uses Quilt as its XML query language. An experiment is reported over three local semistructured documents: ‘thesis’, ‘reports’, and ‘journal’ documents with ‘article’ global schema. The prototype was developed under Windows system with Java and JavaCC.     

XQuery视图机制

从XML数据安全性考虑，在已经使用XQuery作为查询语言的前提下，为增强XQuery对XML文档查询能力，创造了类似关系数据库视图的XQuery视图机制，使得不同用户对XML文档具有不同的查看能力，保证查询安全可靠。XQuery视图由查询来定义其内容，分为实视图和虚视图两种。虚视图根据需要计算视图定义的查询，而实视图不管以后是否需要，只要一创建就计算其视图定义，类似关系数据库视图，实视图和虚视图对于数据查询都是必要的。