基于WWW的数据库查询优化设计

文章讨论了基于WWW的数据库联合查询的相关技术。考虑到目标数据集中数据在各个数据源上分布不均匀的特点,针对联合查询在实际操作中存在着数据查询效率较低的问题,本文提出了一种联合查询方法改进优化方案,并论证了方案的有效性和可行性。     

Web大数据系统数据源选择

如何从数量众多的Web数据源集合中选择数量合适的数据源,使得在满足特定查询需求的前提下尽可能地减少访问数据源的数量,是Web大数据系统集成中的关键问题之一。提出了一个两阶段数据源选择方案:第一阶段通过各个数据源模式与中间模式的相似度选择与查询相关度高的数据源,通过计算依赖数据源的质量来选取质量较好的数据源;第二阶段基于最大熵理论计算数据源之间的重复率,设计实现了一个查询最小代价模型动态选择数据源算法。最后在实验平台上对算法进行了评估,实验表明该算法具有较高的效率与扩展性。     

基于SDO的异构数据集成研究与应用

为解决现存的异构数据集成解决方案中对异构数据处理没有统一的标准、硬编码多、集成系统扩展性差等问题,提出了基于SDO规范的异构数据集成方案。设计实现了一个统一的数据访问界面;利用数据访问服务封装了各种异构数据源,并将结果以同一种格式暴露给集成系统．实现了对数据源中数据访问、操作方式的统一;在查询分解方面,给出了基于数据源配置文件的查询分解方法,集成系统根据配置文件就可以与相应的数据源取得连接,而且只要修改相应的配置文件,就可以实现数据源的灵活修改;最后将该方案在基于WEB的PLM系统中进行了应用,验证了方案的可行性。实现结果表明该方案开发量小、扩展性好、效率高,能够很好地满足企业异构数据集成的需要。     

基于XQuery的数据集成系统中的查询分解算法

XQucry查询语言使用XML作为抽象数据模型。可以对基于XML的数据源作查询，无论这些数据源是真正的XML文件或者是中间件提供的XML视图。本文研究了以XQuery作为查询语言的数据集成系统中的查询分解算法。在XQucry语言的层次，利用它的语言特点实现了多数据源的查询分解算法。     

PostgreSQL在异构数据集成中间件中的应用研究

企业ERP建设中形成了许多异构数据源。为了有效使用长期积累的数据,需要对异构数据进行共享一致处理。针对数据集成的许多已有方案的不足,介绍了PostgreSQL的实现方案和技术优点,提出了基于PostgresQL有序字段查询优化的方法,实现了异构数据源集成中间件具有对用户查询命令优化的处理,这样不仅大大提高了异构数据源中间件的查询速度,而且避免了库表之间集成时关联数据之间的冲突等问题。     

异构数据源集成系统中基于数据源能力的查询分解和优化策略

异构数据源集成系统需要集成查询能力差别较大的各种数据源。为充分利用数据源的查询能力和简化包装器设计,本文提出使用复合法进行基于能力的查询分解和优化。在复合法中,仅需简单说明数据的基本查询能力,各数据源对查询处理的特殊限制封装在包装器中。文中给出描述数据源基本查询能力的方法,并且在讨论ＯＩＭ对象代数操作的概括查询和过滤子的基础上,探讨数据源包装器对基本支持查询的处理方法。     

LAV数据集成系统中查询重写的处理

查询重写是数据集成研究中的一个基本问题,同时也是一个热点问题。MiniCon算法是一种可伸缩的高效的查询重写算法。文本对它进行了深入的介绍,将MiniCon算法与数据源的查询能力相结合,解决了MiniCon算法中不考虑实际数据源查询能力的问题,完成了LAV数据集成系统中的查询处理。     

基于XML的异构数据源--XQuery查询

XML已成为事实上的数据表示和数据交换的标准，用XML表示的半结构化数据越来越普遍。同时，大量的结构化数据组织存放在关系数据库中。如何复合查询这些不同结构的数据，成为了当前研究的热点。本文将关系数据源和XML数据源包裹为一个统一类型的数据源，并提出了一个查询此数据源的方法。     

一种基于XML的数据集成方案及其关键技术

介绍了一种改进的基于XML的数据集成方案,给出了集成系统结构图以厦实现系统所需要的相关技术。方案中将实体法和虚拟法相结合,利用本体（Omology）解决语义异构问题,数据复制方法解决数据的实体化,较好地解决了异构数据源的联合使用问题,提高了数据的查询效率。     

数据集成中XML数据查询语义重写

查询重写是数据库研究的一个基本问题，它和查询优化，数据仓库，数据集成，语义缓存等数据库问题密切相关，为提高集成系统的查询效率，系统选择提交频率较高的XML查询物化为中间层视图，用户提交查询后，系统尽可能利用中间视图层中视图，而不是访问数据源来回答查询，这个问题实际可以归结为半结构化查询重写问题，考虑到中间视图层空间的有限性，已有视图应当尽可能回答更多的查询，传统查询重写方法有考虑半结构化数据之间的约束，而根据约束可以等价变换查询，从而提高中间视图层中的表达能力，提出了一种新的半结构化查询重写的方法，该方法在保证算法正确性和完备性的基础上，利用上半结构化数据中的约束，尤其是XML文件中的路径依赖，来增强中间层物化视图的表达能力，理论分析和初步原型实验证明方法的有效性。     

面向开放大数据环境的动态数据保护系统

大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.     

BDMasker: Dynamic Data Protection System for Open Big Data Environment

Big data has become a national basic strategic resource, and the opening and sharing of data is the core of China''s big data strategy. Cloud native technology and lake-house architecture are reconstructing the big data infrastructure and promoting data sharing and value dissemination. The development of the big data industry and technology requires stronger data security and data sharing capabilities. However, data security in an open environment has become a bottleneck, which restricts the development and utilization of big data technology. The issues of data security and privacy protection have become increasingly prominent both in the open source big data ecosystem and the commercial big data system. Dynamic data protection system under the open big data environment is now facing challenges in regards such as data availability, processing efficiency, and system scalability. This paper proposes the dynamic data protection system BDMasker for the open big data environment. Through a precise query analysis and query rewriting technology based on the query dependency model, it can accurately perceive but does not change the original business request, which indicates that the whole process of dynamic masking has zero impact on the business. Furthermore, its multi-engine-oriented unified security strategy framework realizes the vertical expansion of dynamic data protection capabilities and the horizontal expansion among multiple computing engines. The distributed computing capability of the big data execution engine can be used to improve the data protection processing performance of the system. The experimental results show that the precise SQL analysis and rewriting technology proposed by BDMasker is effective. The system has good scalability and performance, and the overall performance fluctuates within 3% in the TPC-DS and YCSB benchmark tests.     

大数据查询综述

大数据具有传统数据所不具有的数量大、种类多、速度快、真实性等特点,传统的数据查询技术满足不了日益增长的大数据查询需求,大数据查询技术应运而生并迅速发展。从大数据查询的角度出发,着重分析大数据存储技术、大数据处理平台以及大数据查询引擎等。分别对比介绍传统关系型数据库、NoSQL、NewSQL和它们在大数据查询处理上的应用,介绍当前流行的大数据处理平台以及在这些平台上运行的大数据查询引擎,对其优缺点进行了综合阐述。      

分布式自治数据源的联合查询

不同数据源之间数据结构和表示方法的不同以及这些数据源在查询能力上受到的限制，使得对分布式异构数据源的集成和综合查询成为一个困难的问题、基于元数据描述，在语义正确的前提下，根据不同查询条件和不同数据源能力，自动构造查询计划是解决这个问题的一个可行方向，并可以根据实际需要有不同的具体方法，以快速构造查询计划为目的的直观算法，和以充分利用各种数据源尽可能全面构造所有可能的查询计划为目的的闭包算法是其中两种典型的方法，实验表明这两种方法具有不同的特点和适用情况。     

大数据技术在水利统计查询分析系统中的应用

目前水利统计信息系统收录了全国各省市、自治区的农业灌溉、供用水、水土保持、水利建设投资、 农村水电、水文站网等行业数据,这些数据来源渠道广、涉及维度多、信息量级大,传统的数据分析手段已经很难满足水利业务分析的需要。为解决水利统计数据体量大、类型多、分析慢的问题,基于大数据技术提出包含从数据接入到业务应用的架构体系,设计综合展示、空间分析、智能分析及多维分析等功能模块,建立基于大数据技术的水利统计查询分析系统。结果表明：大数据水利统计查询分析系统不仅能够满足水利统计业务分析的需要,而且可以统筹分析不同类别、频率的数据,为水利统计查询分析业务提供平台支撑,同时也为大数据技术应用于其他行业提供参考。     

Query Decomposition for a Distributed Object-Oriented Mediator System

The mediator-wrapper approach to integrate data from heterogeneous data sources has usually been centralized in the sense that a single mediator system is placed between a number of data sources and applications. As the number of data sources increases, the centralized mediator architecture becomes an administrative and performance bottleneck. This paper presents a query decomposition algorithm for a distributed mediation architecture where the communication among the mediators is on a higher level than the communication between a mediator and a data source. Some of the salient features of the proposed approach are: (i) exploring query execution schedules that contain data flow to the sources, necessary when integrating object-oriented sources that provide services (programs) and not only data; (ii) handling of functions with multiple implementations at more than one mediator or source; (iii) multi-phase query decomposition using a combination of heuristics and cost-based strategies; (iv) query plan tree rebalancing by distributed query recompilation.     

基于微服务架构的大数据应用开发创新实践

为解决核电企业面临的海量数据组合查询搜索问题,江苏核电积极开展基于大数据技术和面向微服务架构的应用架构研究。以开源软件体系为依托,采用分层架构设计的方法,将大数据技术平台划分为数据采集层、数据计算层、数据服务层、数据应用层这几个层次。在各个层次上,研究和探索使用主流的大数据技术产品满足对应层次的需要。在应用架构上,创新性使用微服务架构来替代以往的单体应用开发模式,基于业内主流的Spring Cloud技术体系,实现了应用架构的全面微服务化。通过新的应用架构,不仅通过用户实时统计分析的应用开发来验证了微服务相关的服务注册中心、服务配置中心、服务发现、网关路由、服务高可用、服务负载均衡、服务快速API化等相关技术方案,而且为基于大数据与微服务的技术融合提供了一条可工程化的路径。     

Blockchain Based Consensus Algorithm and Trustworthy Evaluation of Authenticated Subgraph Queries

Over the past era, subgraph mining from a large collection of graph database is a crucial problem. In addition, scalability is another big problem due to insufficient storage. There are several security challenges associated with subgraph mining in today’s on-demand system. To address this downside, our proposed work introduces a Blockchain-based Consensus algorithm for Authenticated query search in the Large-Scale Dynamic Graphs (BCCA-LSDG). The two-fold process is handled in the proposed BCCA-LSDG: graph indexing and authenticated query search (query processing). A blockchain-based reputation system is meant to maintain the trust blockchain and cloud server of the proposed architecture. To resolve the issues and provide safe big data transmission, the proposed technique also combines blockchain with a consensus algorithm architecture. Security of the big data is ensured by dividing the BC network into distinct networks, each with a restricted number of allowed entities, data kept in the cloud gate server, and data analysis in the blockchain. The consensus algorithm is crucial for maintaining the speed, performance and security of the blockchain. Then Dual Similarity based MapReduce helps in mapping and reducing the relevant subgraphs with the use of optimal feature sets. Finally, the graph index refinement process is undertaken to improve the query results. Concerning query error, fuzzy logic is used to refine the index of the graph dynamically. The proposed technique outperforms advanced methodologies in both blockchain and non-blockchain systems, and the combination of blockchain and subgraph provides a secure communication platform, according to the findings.     

基于Hadoop的大数据查询系统简述

近年来,随着计算机技术的迅猛发展,其领域迎来了大数据时代。随着大数据的出现,传统的关系型数据库已经不能满足高储存量的要求,此时成本低廉、有着良好并行性和伸缩性的云数据库应运而生,它采用键值对数据模型和分布式的计算环境。但是海量数据在Key-value数据库中的查询效率低下、实时性差等问题又普遍存在。为了解决查询效率低下这一问题,将多维数据模型和索引技术应用于Key-value数据库,将事实数据以多维的形式进行存储并在多维模型上建立索引以加快查询速度。论文将系统地描述多维数据模型的建立和索引技术的实现,最后简单地和主流Key-value数据库进行优缺点对比。