分布式环境下大规模资源描述框架数据划分方法综述

随着知识图谱的日益发展和在各个垂直领域的广泛应用，对于资源描述框架（RDF）数据的高效处理需求日益成为现代大数据管理领域中的新课题。RDF是W3C提出的用于描述知识图谱实体以及实体间关系的数据模型。为了有效地应对大规模RDF数据的存储和查询，很多学者考虑在分布式环境中管理RDF数据。RDF数据的分布式存储所面临的关键问题是数据的划分，而划分的结果很大程度上决定了SPARQL的查询性能。从数据划分的角度，主要围绕两类：基于图结构的RDF数据划分方法和基于语义的RDF数据划分方法展开深入阐述。前者包括多粒度层次划分、模板划分和聚类划分，适用于通用领域查询的语义范畴较为宽泛的场景；后者包括哈希划分、垂直划分和模式划分，更加适用于垂直领域查询的语义范畴相对固定的环境。此外，针对几种典型的划分方法进行对比与分析，为未来RDF数据划分方法的研究提供参考。最后，对未来RDF数据划分方法的发展方向进行了归纳总结。     

分布式环境下大规模资源描述框架数据划分方法综述

随着知识图谱的日益发展和在各个垂直领域的广泛应用,对于资源描述框架（RDF）数据的高效处理需求日益成为现代大数据管理领域中的新课题。RDF是W3C提出的用于描述知识图谱实体以及实体间关系的数据模型。为了有效地应对大规模RDF数据的存储和查询,很多学者考虑在分布式环境中管理RDF数据。RDF数据的分布式存储所面临的关键问题是数据的划分,而划分的结果很大程度上决定了SPARQL的查询性能。从数据划分的角度,主要围绕两类：基于图结构的RDF数据划分方法和基于语义的RDF数据划分方法展开深入阐述。前者包括多粒度层次划分、模板划分和聚类划分,适用于通用领域查询的语义范畴较为宽泛的场景;后者包括哈希划分、垂直划分和模式划分,更加适用于垂直领域查询的语义范畴相对固定的环境。此外,针对几种典型的划分方法进行对比与分析,为未来RDF数据划分方法的研究提供参考。最后,对未来RDF数据划分方法的发展方向进行了归纳总结。     

HMSST:一种高效的SPARQL查询优化算法

在缩小海量数据查询范围的前提下,结合哈希映射和选择策略树提出了一种SPARQL优化算法——HMSST(HashMapSelectivityStrategyTree),实现了SPARQL的查询优化。并针对LUBM 1000所大学的测试数据集对查询策略进行了实验,实验结果表明:提出的HMSST算法以及存储策略相比现有的查询方案,具有更小的存储代价以及更高的查询能力,在大数据集下可以高效地工作,并且该优化方案在查询的元组模式个数较多和语义较复杂时效果更加明显。     

基于数据库集群的海量 RDF 数据联合查询系统的研究与实现

随着语义网的快速发展,为了实现科学数据的共享,越来越多的科学数据被加工发布为关联数据,进而应用于关联查询和关联发现。针对大规模关联数据的管理,本文通过构建 RDF 数据库集群来存储海量数据,设计了基于 SPARQL 端点的联合查询系统来解决用户跨机器透明查询的问题,分析了存储策略和联合查询系统的查询处理相关技术。实际运行表明,本平台易于集成使用,可以实现大规模 RDF 数据的可扩展性存储和有效查询。     

基于SPARQL的RDF数据节点间关系路径检索

在分析SPARQL标准和基于Jena的开源SPARQL工具ARQ查询引擎源码的基础上,提出了可支持关联查询的扩展SPARQL标准及其设计和实现方案,认真分析了已有的试验成果。     

一种关于分布式查询技术的实现方法

以实现分布式查询的正确性、透明性及优化性为目标,针对粮食储备管理系统的分布式查询处理需求,系统地研究分布式查询处理器的总体设计、线程控制、消息通信、分布式查询优化等问题以及实现技术, 弥补了SQL Server数据库中分布式查询功能的不足.     

一种面向并行空间查询的数据划分方法

在并行空间数据库中,空间数据集在各计算节点是否聚集划分,对提高空间并行查询效率起着关键的作用.Oracle Spatial采用的基于格网的划分方法只考虑了数据集在各节点是否均衡划分,而未考虑空间数据的拓扑特征.基于空间数据聚集划分的目的,提出了一种基于K-平均聚类算法的空间数据划分方法.实验证明,该方法极大地提高了空间数据并行检索和查询效率.     

一种基于Token匹配的中文数据清洗方法

拼写错误和缩写问题是中文数据清洗的核心问题,目前相关研究还很欠缺。提出了一种基于Token匹配的中文数据清洗方法,将中文字符串转换成拼音字符串,采用Token匹配算法检测处理中文数据中的＂脏数据＂。实验表明,提出的方法能够有效地提高数据的准确度,大大减少了人工工作量。     

基于环境一致性的分布式并行数据更新协议

为了保证服务器节点完全对等的分布式并行数据库系统更新结果一致性,提出基于数据环境一致性的分布式并行更新协议DEC-DP2PC(Distributed and Parallel 2PC Based on Data-Environment-Consistency),对经典2PC(two phase commit)在执行条件、表决内容和次数、全局提交和撤销定义等方面进行了针对性改进。性能分析和测试表明,DEC-DP2PC可有效过滤数据副本分布和版本号等数据环境信息不一致情况下事务的执行,减少全局数据环境一致性维护开销和降低系统平均响应时间。     

基于域数据模型的类SQL查询语言

基于域数据模型,提出了一种类SQL的域数据库查询语言DSQL.DSQL提供了对域数据库进行各项操纵和管理的功能.通过分析域数据模型,给出了DSQL设计的总体思路,描述了DSQL的分类、语法设计和访问控制方法.最后通过具体的查询示例说明了DSQL的用法.     

一种面向主题的关键词查询扩展方法

提出一种基于局部统计和语义扩展相结合,面向主题的关键词查询扩展方法。该方法通过对给定主题的初始关键词搜索反馈网页进行分析,采用TF*PSF语义加权方法计算主题候选词的权重来进一步筛选主题关键词。在此基础上,设计了面向Web的主题关键词迭代查询扩展算法,采用主题关键词的组合查询策略,迭代扩展出主题的关键词集合。实验证明该方法是有效的。     

基于图数据库的RDF数据分布式存储

RDF数据模型具有天然的图结构,因此以图结构存储可以避免RDF逻辑数据模型到物理数据模型的转换。基于图数据库的RDF数据分布式存储方案,重点讨论RDF图数据流分割、图数据库分布式扩展、SPARQL查询语言转CYPHER图形查询语言等。实验对比了基于Neo4j图数据库与基于MySQL关系型数据库的RDF数据存储方案的处理性能,并验证了RDF图数据流分割算法的有效性。     

一种实现可动态连接构件的方法

本文介绍了面向对象技术开发具有动态连接特性的构件的方法。在简要介绍了可动态连接构件ＩＰ及其构件模型后，详细给出了ＩＰ构件的实现方法。在本文中，我们设计了一个实现构件ＰａｄＭＶＣ结构和基本操作的基类ＢａｓｅＰａｄ，给出了由Ｂａｓｅ Ｐａｄ派生构件Ｐａｄ的方法，最后还阐述了基类ＢａｓｅＰａｄ与构件Ｐａｄ之间的消息传递机制。     

一种基于宏块数据划分的H.264视频加密方案

H.264是最新的视频编码标准,被广泛地用于各种视频应用中。由于视频数据传输的广泛性和便易性,使得视频数据安全成了一个亟待解决的问题。提出一种在H.264编码下基于宏块重要性分类的加密方案,根据宏块重要程度的不同,运用不均等加密策略对重要宏块优先进行加密操作,减少加密的数据量。在具体的加密过程中,联合加密几种宏块语义层中的定长语法元素,在保持视频语义的情况下,提高了加密的安全性。理论和实验分析证明,该加密方案满足实时性和安全性的要求,有效地保护了视频安全。     

基于关联规则的模式库划分算法

在多数据库挖掘的过程中一般要先将多个数据库按照某种规则进行划分,再进一步进行模式挖掘,提出了一种基于关联规则的相似度测量方法,将各个局部模式库进行划分,并对划分的结果进行评价,接着根据评价的结果设计出了一个选择最好划分的算法,找出最好的一种划分。最后经实验验证,算法是准确而有效的。     

基于划分的数据仓库查询归并缓冲算法

在数据仓库中存在着大量的数据。联机分析处理包含着对大量数据的复杂的查询过程。在对这些数据的存储与查询中都遇到了许多困难。解决这一问题的有效办法就是先将数据划分成便于处理的数据块,再分别对每个数据块进行处理,最后将个数据块的处理结果归并在一起。对几种常用的归并算法进行了比较,并讨论了归并中的缓冲区分配问题。     

基于Mobilink实现分布式数据库同步的研究

分布式数据库系统包含多个节点,它们之间通过网络连接共同工作,随着移动计算的广泛应用,数据同步技术在分布式数据库系统中发挥着越来越大的作用。提出一种基于Mobillnk技术的数据同步中间件的设计思想,系统以Sybase Adaptive Server Enterprise作为统一数据库进行二次开发,在广域网络中实现分布式商业POS系统的进销存管理。