一种互联网数据联合查询的优化方案

介绍了在Internet上数据联合查询的相关概念，以及简单联合查询的基本思想。针对于传统的简单联合查询，在实际操作中存在的执行效率较低的问题，结合目标数据集合中的数据在各个数据源上的分布不均匀的特点，将数据源划分为大、小数据源，在进行数据联合查询的过程中，优先查询大数据源中的数据，提出了一种新的互联网数据联合查询的优化方案，并论证了此方案的有效性和可行性。     

基于XML的异构数据库集成系统构架与开发

分析了XML在解决异构数据库集成问题中的优势，并在此基础上提出了基于XML的异构数据库集成方案，实现了分布式异构数据库的透明访问和联合查询。对于架构中的主要环节给出了具体实现方法，并着重研究和验证了架构中XML与数据库模式映射、数据透明访问、联合查询处理等关键问题。     

Web数据库上基于不均匀数据源的合并查询方法及优化

基于Internet上数据分布的特点,人们提出了合并查询(FusionQuery)的概念并且给出了相应的查询方案和相应的查询优化算法。但查询方案没有对数据量的分布情况加以考虑,这导致大量的冗余数据在各个数据源之间反复的传递,这样就大大地降低了方案的执行效率。目前多数研究集中于数据在均匀分布状态下的优化。但实际应用中数据多为不均匀分布,并且有很大的偏差。该文以此给出了在不均匀数据分布上的查询优化方案。并分析了其性能和比较。     

两层传感器网络中安全Top-k查询协议

在两层结构传感器网络中,存储节点收集传感器采集的数据,负责处理Sink的查询.在敌对环境中,存储节点可能会被攻击者妥协而泄露传感器所采集的敏感数据以及向Sink返回不完整的或虚假的查询结果.为此,提出了一种安全Top-k查询协议:SecTQ,SecTQ在保证存储节点正确执行查询的同时能有效防止敏感数据的泄露.为了保护数据的隐私性,首先将不同传感器采集的数据之间的直接比较转换成传感器采集的数据与Sink提供的查询比较值进行比较,并提出了一种基于扰动多项式函数的隐私保护方案.该方案利用扰动函数对传感器采集的数据和Sink提供的查询比较值进行编码,保证存储节点在不知道数据和查询比较值真实内容的情况下正确地执行查询处理.为了保护查询结果的完整性,提出了一种称之为水印链的方案,该方案能有效检测查询结果的完整性.     

两层传感器网络中隐私与完整性保护的范围查询协议

针对两层传感器网络中存储节点更容易受到攻击这一问题,文中提出一种隐私与完整性保护的范围查询协议:VQuery.VQuery在保证存储节点正确执行查询的同时能有效防止敏感数据与查询条件的泄露.为了保护数据的隐私性,提出了一种基于多项式技术的隐私保护方案,该方案利用多项式技术对节点采集的数据范围信息和查询条件进行编码,保证存储节点在不知道数据和查询条件真实内容的情况下正确地执行查询处理.为了保护查询结果的完整性,提出了一种基于水印链技术的完整性认证方案,该方案能有效检测查询结果的完整性.为了对多维数据查询结果的完整性认证,提出了一种多维区间树的数据结构来表示多维数据.分析和实验结果论证了VQuery协议的有效性.     

船舶信息系统的数据分发与存储设计

随着船舶各个分系统之间数据交互要求日益增加、历史数据爆炸性增加,实现数据高效的分发以及海量数据存储日益重要。在分析数据分发服务DDS(Data Distribution Service)规范的基础上,搭建船舶信息数据分发系统,同时提出基于RDB和NoSQL(Not Only SQL)的联合存储方案。实现船舶信息系统的数据高效、实时发布,以及海量历史数据的有效存储、高效查询。通过搭建船舶仿真系统测试船舶信息系统的数据分发系统及其存储方案,实验结果表明将DDS技术和数据联合存储方案应用于船舶信息系统是可行的。     

异构数据集成方案的优化设计与实现

针对现有数据集成方案在处理特定问题时系统查询性能不理想的情况,以Mediator／Wrap-per集成模式为基础,结合数据仓库思想,提出1种异构数据集成的优化方案．该方案基于XML和元数据设计查询构造、解析搜索及缓存等模块,优化系统的查询性能．将该方案应用于石油储层评价系统的数据集成中能明显缩短查询的平均耗用时间,提高查询效率。     

基于LDAP的XML数据管理研究

提出一种将XML数据解析为DOM节点后，把DOM节点映射为LDAP目录项，使用LDAP服务器储存XML数据的方案；在LDAP目录服务上实现了对XML数据的XPath查询。实验数据说明了方案的可行性。对比实验表明方案除了具有较快的储存速度，在LDAP上实现的XPath查询效率高于传统的基于DOM的XPath查询效率。     

基于可搜索加密机制的数据库加密方案

近年来,数据外包的日益普及引发了数据泄露的问题,云服务器要确保存储的数据具有足够的安全性,为了解决这一问题,亟需设计一套高效可行的数据库加密方案,可搜索加密技术可较好地解决面向非结构文件的查询加密问题,但是仍未较好地应用在数据库中,因此,针对上述问题,提出基于可搜索加密机制的数据库加密方案.本文贡献如下:第一,构造完整的密态数据库查询框架,保证了数据的安全性且支持在加密的数据库上进行高效的查询;第二,提出了满足IND-CKA1安全的数据库加密方案,在支持多种查询语句的前提下,保证数据不会被泄露,同时在查询期间不会降低数据库中的密文的安全性;第三,本方案具有可移植性,可以适配目前主流的数据库如MySQL、PostgreSQL等,本文基于可搜索加密方案中安全索引的构建思想,利用非确定性加密方案和保序加密方案构建密态数据库安全索引结构,利用同态加密以及AES-CBC密码技术对数据库中的数据进行加密,实现丰富的SQL查询,包括等值查询、布尔查询、聚合查询、范围查询以及排序查询等,本方案较BlindSeer在功能性方面增加了聚合查询的支持,本方案改善了CryptDB方案执行完成SQL查询后产生相等性泄露和顺序泄露的安全性问题,既保证了数据库中密文的安全性,又保证了系统的可用性,最后,我们使用一个有10000条记录的Student表进行实验,验证了方案框架以及算法的有效性,同时,将本方案与同类方案进行功能和安全性比较,结果表明本方案在安全性和功能性之间取得了很好的平衡.     

一种基于XML的数据集成方案及其关键技术

介绍了一种改进的基于XML的数据集成方案，给出了集成系统结构图以厦实现系统所需要的相关技术。方案中将实体法和虚拟法相结合，利用本体（Omology）解决语义异构问题，数据复制方法解决数据的实体化，较好地解决了异构数据源的联合使用问题，提高了数据的查询效率。     

网络环境下气象数据自动查询系统设计

针对传统的气象数据查询方法存在查询过程复杂、准确率低等问题,提出一种网络环境下气象数据自动查询系统设计方法;首先设置在网络环境下,设计气象数据查询系统的硬件部分和软件部分,其中,系统的硬件由上位机和下位机组成;软件设计包括气象数据查询系统气压查询软件设计、湿度数据查询系统气压查询软件设计、气象数据查询系统气压查询软件设计和气象数据查询系统风向风速查询软件设计,在此基础之上,最终实现气象数据的自动查询;仿真实验结果证明,所提方法可以方便、快捷、准确地查询气象数据信息。     

Functional Query Optimization over Object-Oriented Views for Data Integration

AMOS is a mediator system that supports passive (non-intrusive) integration of data from heterogeneous and autonomous data sources. It is based on a functional data model and a declarative functional query language AMOSQL. Foreign data sources, e.g., relational databases, text files, or other types of data sources can be wrapped with AMOS mediators, making them accessible through AMOSQL. AMOS mediators can communicate among each other through the multi-database constructs of AMOSQL that allow definition of functional queries and OO views accessing other AMOS servers. The integrated views can contain both functions and types derived from the data sources. Furthermore, local data associated with these view definitions may be stored in the mediator database. This paper describes AMOS' multi-database query facilities and their optimization techniques. Calculus-based function transformations are used to generate minimal query expressions before the query decomposition and cost-based algebraic optimization steps take place. Object identifier (OID) generation is used for correctly representing derived objects in the mediators. A selective OID generation mechanism avoids overhead by generating in the mediator OIDs only for those derived objects that are either needed during the processing of a query or have associated local data in the mediator database. The validity of the derived objects that are assigned OIDs and the completeness of queries to the views are guaranteed by system generated predicates added to the queries.     

无线传感器网络中的数据查询

无线传感器网络以数据为中心,提供数据采集、处理和查询功能.数据查询是无线传感器网络研究中的重点和热点问题.本文从查询过程的角度出发,对目前传感器网络数据查询研究现状进行了系统总结.在此基础之上,考虑传感器网络的异构性,提出了一种基于感知数据之间的数据信息的查询模型,并设计了感知数据交互必须的数据标签,给出了这种数据查询的应用实例.分析表明,该种数据查询能够大大提高传感器网络的查询效率,同时增强网络的健壮性,延长传感器网络使用寿命.     

异构数据源集成系统中基于数据源能力的查询分解和优化策略

异构数据源集成系统需要集成查询能力差别较大的各种数据源。为充分利用数据源的查询能力和简化包装器设计,本文提出使用复合法进行基于能力的查询分解和优化。在复合法中,仅需简单说明数据的基本查询能力,各数据源对查询处理的特殊限制封装在包装器中。文中给出描述数据源基本查询能力的方法,并且在讨论ＯＩＭ对象代数操作的概括查询和过滤子的基础上,探讨数据源包装器对基本支持查询的处理方法。     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

Web Data Extraction from Query Result Pages Based on Visual and Content Features

A rapidly increasing number of Web databases are now become accessible via their HTML form-based query interfaces. Query result pages are dynamically generated in response to user queries, which encode structured data and are displayed for human use. Query result pages usually contain other types of information in addition to query results, e.g., advertisements, navigation bar etc. The problem of extracting structured data from query result pages is critical for web data integration applications, such as comparison shopping, meta-search engines etc, and has been intensively studied. A number of approaches have been proposed. As the structures of Web pages become more and more complex, the existing approaches start to fail, and most of them do not remove irrelevant contents which may affect the accuracy of data record extraction. We propose an automated approach for Web data extraction. First, it makes use of visual features and query terms to identify data sections and extracts data records in these sections. We also represent several content and visual features of visual blocks in a data section, and use them to filter out noisy blocks. Second, it measures similarity between data items in different data records based on their visual and content features, and aligns them into different groups so that the data in the same group have the same semantics. The results of our experiments with a large set of Web query result pages in di?erent domains show that our proposed approaches are highly effective.     

分布式自治数据源的联合查询

不同数据源之间数据结构和表示方法的不同以及这些数据源在查询能力上受到的限制，使得对分布式异构数据源的集成和综合查询成为一个困难的问题、基于元数据描述，在语义正确的前提下，根据不同查询条件和不同数据源能力，自动构造查询计划是解决这个问题的一个可行方向，并可以根据实际需要有不同的具体方法，以快速构造查询计划为目的的直观算法，和以充分利用各种数据源尽可能全面构造所有可能的查询计划为目的的闭包算法是其中两种典型的方法，实验表明这两种方法具有不同的特点和适用情况。     

基于符号语义的不完整数据聚集查询处理算法

本文研究了基于符号语义的不完整数据聚集查询处理问题.不完整数据又称为缺失数据,缺失值包括可填充的和不可填充的两种类型.现有的缺失值填充算法不能保证填充后查询结果的准确度,为此,本文给出不完整数据聚集查询结果的区间估计.本文在符号语义中扩展传统关系数据库模型,提出一种通用不完整数据库模型,该模型可以处理可填充的和不可填充的两种类型缺失值.在该模型下,提出一种新的不完整数据聚集查询结果语义:可靠结果.可靠结果是真实查询结果的区间估计,可以保证真实查询结果很大概率在该估计区间范围内.本文给出线性时间求解SUM、COUNT和AVG查询可靠结果的方法.真实数据集和合成数据集上的扩展实验验证了本文所提方法的有效性.     

数据广播环境下基于数据共享的位置相关skyline查询

数据广播环境下位置相关skyline查询是同时涉及空间位置属性和非空间多维属性的一类新的skyline查询类型,可广泛地应用于地理信息系统、城市规划、智能交通等领域。与传统环境下的位置相关skyline查询相比,数据广播环境下位置skyline查询面临一些新的问题,如广播信道的线性特性、移动设备资源受限性等。针对这些问题,本文提出了基于数据共享的位置相关查询算法,该方法通过共享邻近移动设备缓存的查询结果来改进查询算法的性能。广泛的实验结果显示,在移动设备密度较大的对等网络中,本文提出的算法具有较明显的优势,能显著地提升查询性能。