一种用于存储与查询半结构化数据的新方法

由于半结构化数据缺乏模式信息,因而半结构化数据的存储与查询将是一个十分重要且具有挑战性的研究课题。利用关系数据库存储半结构化数据可以重用数据库的查询优化器和事务处理机制,能够保证半结构化数据的一致性和完整性。该文提出一种实现半结构化数据存储与查询的新方法,该方法使用关系数据库系统来实现半结构化数据的存储与查询。给出了把基于半结构化数据的查询重写为基于关系的查询的算法,同时介绍一个可视化查询程序。     

数据集成中XML数据查询语义重写

查询重写是数据库研究的一个基本问题，它和查询优化，数据仓库，数据集成，语义缓存等数据库问题密切相关，为提高集成系统的查询效率，系统选择提交频率较高的XML查询物化为中间层视图，用户提交查询后，系统尽可能利用中间视图层中视图，而不是访问数据源来回答查询，这个问题实际可以归结为半结构化查询重写问题，考虑到中间视图层空间的有限性，已有视图应当尽可能回答更多的查询，传统查询重写方法有考虑半结构化数据之间的约束，而根据约束可以等价变换查询，从而提高中间视图层中的表达能力，提出了一种新的半结构化查询重写的方法，该方法在保证算法正确性和完备性的基础上，利用上半结构化数据中的约束，尤其是XML文件中的路径依赖，来增强中间层物化视图的表达能力，理论分析和初步原型实验证明方法的有效性。     

半结构化数据查询重写

查询重写是数据库研究的一个基本问题，它和查询优化，数据仓库，信息集成，语义缓存等问题紧密相关，目前Internet上存在海量的半结构化数据，在信息集成过程中产生了大量半结构化视图，如何利用物化半结构化视图来重写用户查询，减少响应时间成为研究热点问题，上述问题本质上是NP问题，提出了一种半结构化查询重写的新方法，该方法在保证算法正确性和完备性的基础上，利用半结构化数据特点和查询子目标之间的关系，减少了指数空间的查询重写候选方案生成，理论分析表明，它极大地降低了算法的代价。     

ERE:基于半结构化Web页面的实体关系抽取系统

传统的实体关系抽取方法主要针对语义信息较为完整的文本,基于抽取模式抽取文本中的实体关系,并采用启发式算法或者概率模型来选择抽取出的候选关系.而对于半结构化的页面,由于没有成句的实体信息展示,导致这些方法不能很好适用.论文提出的实体关系抽取系统能较好地处理半结构化的页面.该系统主要包括数据抽取规则学习、数据抽取、实体间关系计算等核心功能模块,并为用户提供了关系库查询接口.用户输入关键词和选定匹配类型,系统将根据关键词及匹配类型查询实体信息库,然后用满足条件的实体再去查询实体关系库,将包含这些实体的关系返回给用户.     

基于模型检测的半结构化数据查询

在Web迅猛发展和半结构化数据急剧膨胀的今天,Web上的半结构化数据查询日益成为信息技术领域一个重要的研究发展方向。现有的半结构化查询语言在查询效率上存在着不足。文章提出了一个将模型检测技术应用到半结构化数据查询的新方法,它通过把数据库看作Kripke状态变迁系统,把查询解释为时序逻辑CTL公式,将查询过程转化为模型对公式的满足问题,通过模型检测过程高效地完成数据查询,从而使查询可以在多项式时间内完成,很好地改善了查询效率。最后,给出了该方法在现有半结构化查询语言Lorel上的应用。     

WEB半结构化数据查询

当前许多大的Web站点的信息和数据呈现结构化或半结构化的特点，因而可经抽象，作为类似关系数据库或面向对象数据库并加以处理，以提高操作效率，特别是在此基础上的查询操作。采用数据模型Araneus的一个子集作为数据模型，并采用连接约束、包含约束、范围约束，提出一种半结构化查询重写的方法，该方法在保证算法正确性和完备性的基础上，利用半结构化数据特点和查询子目标之间的关系，极大地降低了算法的代价。     

基于XML的地理信息元数据系统的查询策略

GeoMeta是一个基于XML的地理信息元数据系统。文章在简要介绍了GcoMeta系统的系统结构和系统组成后，对GeoMeta系统中的地理信息元数据查询策略进行了详细的阐述，主要包括非结构化查询、结构化查询和半结构化查询等3种查询策略。     

半结构化、层次数据的模式发现

Web数据资源及数据集成引发了半结构化数据问题,半结构化数据指其结构隐含或不规整的自描述数据。由于缺乏独立于数据的模式,有效地查询划浏览该类数据比较困难,半结构化数据的模式发现成为解决该问题的基础步骤。本文提出的算法能够快速有效地发现半结构化层次数据中的规整结构。它采用自顶向下的生成,结合有效的剪枝策略,从OEM模型表达的半结构化层次数据中构建模式树。     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

一种基于XML的非结构化数据转换方法

XML作为半结构化的语言,因其能预先定义标记等优势被普遍应用于非结构化到结构化信息的转换中。利用POI技术把网络上繁杂的非结构化数据转化为XML半结构化数据,把半结构化数据转化为结构化数据,使用户能够简便地查询所需信息。通过实验对SAX,DOM的解析效率进行了对比,实验表明解析相同大小的XML文件,SAX比DOM效率更高,而且此种差距会随着XML文件的增大而逐渐增大。     

半结构化数据的动态树存储模型研究

为了克服半结构化数据存储的不确定性,基于半结构化数据的结构信息可由其模式来描述的思想,提出一种动态树存储模型。在对对象交换模型OEM(Object Exchange Model)进行深度优先遍历,找出所有最大简单路径表达式基础上,采用累加计数原则将得到的最大路径表达式依次添加到一个动态树中,从而生成存储模型。最后将此模型映射到关系表中,实现了半结构化数据在关系数据库中的存储与查询。以村镇土地审批处理系统为实例来说明这种存储模型的有效性。     

基于XML的异构数据源--XQuery查询

XML已成为事实上的数据表示和数据交换的标准，用XML表示的半结构化数据越来越普遍。同时，大量的结构化数据组织存放在关系数据库中。如何复合查询这些不同结构的数据，成为了当前研究的热点。本文将关系数据源和XML数据源包裹为一个统一类型的数据源，并提出了一个查询此数据源的方法。     

基于XML配置的动态数据查询技术

针对信息系统中静态数据列表开发效率低下和不能满足用户定制化需求的问题,提出基于XML配置的动态数据查询技术.首先通过Apache Digester解析表单的XML结构化配置,将实例化的配置信息交由动态查询引擎处理,动态查询引擎结合配置信息通过SQL、HQL、接口查询获取数据.最后将配置和数据以JSON格式传给客户端处理,以二次封装改进的dhtmlxGrid表格控件展示,形成动态数据列表.该动态查询技术已在多个系统中应用,应用效果证明,其显著提高了软件研发效率,能够满足组合查询定制、数据列自定义、数据列渲染、数据范围控制等各种定制需求.     

半结构化查询重写的MiniCon算法

研究了基于半结构化数据查询语言TSL(tree specification language)的查询重写问题.提出了一种半结构化查询重写算法,解决了在给定一个半结构化查询和一组半结构化视图的情况下,找到最大被包含重写的问题.算法借用了可伸缩的关系查询重写的MiniCon算法的思想,解决了半结构化数据模型之下查询重写的一些新问题(如标识符依赖、集合值变量映射等).证明了算法的正确性.     

让单元格中数据轻松分列

在使用Excel处理数据时,经常会遇到要将某一列单元格中的数据再拆分成两列;或将某一列所有单元格中的数据删除一定位数后剩余几位这种情况。如：要将某一列单元格中的七位数值＂2007101＂再分别拆分成四位和三位,即“2007”和“101”两列数据,那么,这种情况怎样处理呢？方法如下：[编者按]     

基于大数据及物联网的数据库半结构化数据识别方法

为实现对不同类别半结构化数据的精准识别,文章将开展基于大数据和物联网的数据库半结构化数据识别方法的设计研究。笔者通过从各种来源收集数据,包括传感器、日志文件、社交媒体平台、其他数据库等,对半结构化数据所在数据库进行联网,使用大数据中的数据清洗技术进行半结构化数据预处理;对完成预处理的数据库半结构化数据进行特征提取,根据具体的数据识别问题确定模型架构,生成数据识别模型,并实现对半结构数据的识别。对比实验结果表明：设计的方法可以实现对数据库半结构化数据的精准识别。     

半结构化数据查询的处理和优化

半结构化数据的特点是数据的结构不规则或不完整,其模型都基于带根有向图,因此,查询处理过程本质上是对图的搜索过程.另外,通配路径使查询处理更加复杂化.文章详细介绍了异构数据源集成系统Versatile中采取的半结构数据OIM(model for object integration)对象的查询和优化策略,包括查询计划的生成、路径扩展和路径索引、层次索引和基于数据源知识这3种查询优化方法.文章介绍的方法同样适用于其他的半结构化数据模型.     

面向碳交易领域的知识图谱构建方法

为解决碳交易领域数据集成问题,提出一种碳交易领域知识图谱的构建方法。针对碳交易领域的半结构化和非结构化数据,分别采用自定义的Web数据包装器和结合BiLSTM-CRF模型与依存句法分析的方法进行三元组抽取。然后将获取的知识转化为关联数据,得到完整的碳交易领域知识图谱,再利用基于Jena的fuseki实现对知识图谱的语义查询。实验结果表明,该方法能够为碳交易领域快速有效地构建知识图谱,并可以从碳交易领域的海量数据中检索出有用信息。     

云平台下的装备保障管理系统结构化数据查询

首先针对我军装备保障管理系统关系数据库在海量数据查询以及分析处理方面的不足,在对系统数据资源分析的基础上提出并实现了基于Hadoop云平台结构化数据查询策略,通过Sqoop工具将数据库中的数据导入到HDFS中,并利用Hive进行数据分析.然后通过实验证明此方法克服了海量数据在单机环境中查询效率低下的缺点,具有较高的实用价值.     

基于半结构化数据的项目备份方法研究

对软件项目管理系统的项目数据备份进行分析,提出了一种基于半结构化数据的项目备份方法SDB-Method.该方法通过对系统的数据模型进行分析,建立关系数据模型和半结构化数据模型OEM(对象交换模型)之间的映射,实现关系数据和半结构化数据的相互转换,从而解决项目的导入和导出问题.该方法应用于项目管理系统SoftPM中,支持软件项目的多分支开发,迭代开发以及移植,有效地解决了软件项目管理系统的项目备份问题.