基于MapReduce的Skyline查询处理算法

Skyline查询是一个典型的多目标优化查询,在多目标优化、数据挖掘等领域有着广泛的应用。现有的Skyline查询处理算法大都假定数据集存放在单一数据库服务器中,查询处理算法通常也被设计成针对单一服务器的串行算法。随着数据量的急剧增长,特别是在大数据背景下,传统的基于单机的串行Skyline算法已经远远不能满足用户的需求。基于流行的分布式并行编程框架MapReduce,研究了适用于大数据集的并行Skyline查询算法。针对影响MapReduce计算的因素,对现有基于角度的划分策略进行了改进,提出了Balanced Angular划分策略;同时,为了减少Reduce过程的计算量,提出了在Map端预先进行数据过滤的策略。实验结果显示所提出的Skyline查询算法能显著提升系统性能。     

Notes数据库与关系型数据库之间的整合在办公自动化系统中的应用

本文在基于LotusDomino／Notes平台开发的办公自动化系统基础之上,介绍了非结构化数据的特点及非结构化数据库在办公自动化系统中的作用,对非结构化数据库与传统关系型数据库的存储机制和访问机制进行了详细的分析探讨,提出了Notes数据库与关系型数据库整合的技术方式,其目．的是实现企业信息系统中Notes数据库与关系型数据库信息交互。以利用Notes平台提供的良好性能共享信息数据。     

基于XML的石油勘探数据库查询应用系统的实现

通过XML技术在河南油田勘探数据库查询应用系统中的应用,提出了XML技术和数据库技术相结合的数据库快速灵活地查询浏览应用的解决方案。在该方案中,以XML为数据交换标准,采用了多级分布式三层架构,很好地实现了数据库查询应用系统的开放性和可扩充性。     

云计算环境下异构数据库整合技术的研究与实现

该文提出一种通过利用云资源、分布式部署实体数据库代理服务端Agent、异构数据库服务端Server和服务网站等模块,构建一个异构数据库整合的多线程原型系统的方法。系统中Agent实现对实体数据库进行第一层虚拟和执行SQL请求;Server解析自定义查询语言和整合Agent返回结果;服务网站则提供基本的注册、申请和下载服务;原型系统各模块间通过套接字进行网络通信,通信内容为XML格式,外部可以通过自定义的查询语言访问原型系统。通过实现这套分布式的原型系统,达到高效整合异构数据库的目的。     

一种分布式环境中的二分式多层网格skyline算法

skyline计算在数据挖掘、多标准决策和数据库可视化等领域有着非常重要的作用,这些年已经得到了广泛的关注,以往对于skyline查询的研究大多集中在处理集中的数据集上,即集中式skyline查询,已经得到了很多的研究成果。然而,实际情况是：相关数据几乎分散在几个不同的服务器上,因此在分布式环境中的skyline查询计算需要从各个服务器收集大量的数据;现有的在分布式环境中的skyline查询方法有两个主要问题：一是skyline查询的处理时间较慢;二是在网络中服务器之间传输了很多不必要的重叠数据。提出了一种二分式多层网格法（DMLG）,可以有效地处理在分布式环境中的skyline查询。该方法利用网格的方法,借鉴二分法,最大限度地减少了不必要的重叠数据传输,基于不同的数据集的实验表明,这种方法优于现有的方法。     

本体驱动的时空数据查询方法研究

本体是由特定信息领域中的相关术语集合及这些术语之间的关联所组成的,是语义丰富的元数据,通过它可以获取关于底层数据库的相关信息。基于现有的地理数据库和已创建的地理信息领域本体,建立了适合于地理数据集的应用本体数据库;通过描述逻辑指定相应的规则知识,在空间数据库和本体数据库之间、本体库之间分别建立一定的关联关系,提出了本体驱动的时空数据查询方法。当需要对某个时空实体对象进行查询时,通过在本体数据库中进行的逻辑运算,从而得到查询结果,最后返回查询结果。并以数字烟草中烟草的种植查询为例,验证了该方法的可行性和有效性。     

基于领域本体库的电子政务智能浏览系统

为了使用户能够快速、智能地利用电子政务信息资源,文中对不同来源、不同结构的数据进行整合和处理,提供面向业务领域主题查询、检索的智能浏览系统,给出了电子政务智能浏览系统体系结构,对系统的主要功能如数据发掘、数据存储、数据挖掘分析、智能浏览服务器、智能浏览客户端等进行了分析;对系统实现的关键技术即基于领域本体库的电子政务智能浏览进行了深入研究,讨论了领域本体实例库的建立方法,分析了智能浏览的工作流程,并对领域本体的构建、推理机制、智能浏览等关键活动进行了研究     

支持近似图查询的Why-Not问题解释方法

why-not问题是为查询结果中的缺失元组找到合理的解释。解决数据库查询中的why-not问题不仅能够帮助用户更好地理解查询,而且能够提高数据库的质量和可用性。为了提高图数据库的可用性,提出了支持近似图查询的why-not问题解释方法。该解释方法不仅阐明了为什么why-not问题没有出现在查询结果中,而且给出了一些修改初始查询图的建议,使得why-not问题能够出现在修改后的查询图的查询结果中。该算法分两部分完成:第一部分为候选修改操作生成阶段,首先利用边频率信息提出候选操作集生成基本算法,接着利用图分解操作提出候选操作集生成改进算法,得到修改初始查询图的候选操作集;第二部分基于对查询图修改操作数最少的代价模型,分别采用贪心算法和回溯法选取候选操作,贪心算法设计了合理的贪心函数,回溯法构建了回溯剪枝树,并提出三种剪枝策略执行剪枝操作,最终选取的候选操作集即为支持近似图查询的why-not问题的合理解释。实验表明,该方法可以快速有效地为近似图查询中的why-not问题提供合理解释。     

基于敏感数据加密的分布式安全数据库服务研究*

针对目前基于数据加密技术的安全数据库服务不能有效平衡数据处理性能与数据隐私保护的不足,提出一种新的基于分布式安全数据库服务的隐私保护方法,通过引入准标志属性集的自动检测技术,采用对部分敏感属性加密和分解准标志属性集的方式实现数据的垂直分解,通过基于元数据的查询分解实现分布式查询处理。实验结果表明,该方法能较好地平衡查询性能与隐私保护之间的矛盾。     

数据修复与一致性查询处理研究

在数据库以及集成系统中通常存在违背数据约束的不一致查询问题。修复是解决该问题的主要手段之一,但目前还缺乏基于修复、约束与查询的统一模型研究。提出了基于删除元组修复、满足多种类型约束的一致性查询算法;阐明了具有简洁特性的约束定义与查询语句结构;构建了新的查询与修复系统模型,将关系实例集、非空的约束集、查询定义、修复方法等统一到模型中,以产生满足一致性约束要求的查询结果。所研究的方法、语言以及模型通用性强、适用面广,不局限于特定质量问题的修复与查询。     

基于SVG搜索技术的研究与实现

在将SVG文档存入对象关系型数据库后，探讨了如何利用扩展SQL语句(SQL3/SQL99)进行搜索的方法；同时，讨论了将SVG文档存入本源数据库后，利用XQuery语句搜索的方法。研究表明，基于这两种数据库的SVG搜索，均可在客户端执行时大大提高搜索速度，且不需占用过多的系统资源。     

移动Agent在分布式数据库检索中的应用与实现

分析了传统分布式数据库访问方式的缺点,提出了基于移动Agent的分布式数据库检索技术;介绍了Reeursion公司的Voyager平台,提供了一个移动Agent例子程序,使用户基本了解开发移动Agent的应用框架。     

通用模式的移动办公平台设计方案研究

通过对传统办公系统中存在的缺点进行分析后，提出了一个通用模式的移动办公平台解决方案，并在分析该方案的整体功能模块的基础上，详细阐述了移动平台的整体架构以及平台中各种数据的组织模式，包含移动用户公文数据库、移动存档公文数据库及移动用户管理数据库等，最后分析了无线方式下的工作流平台如何进行架构以及如何保证系统安全的一系列相应措施。     

Oracle分布式数据库及其应用研究

介绍分布式数据库系统的概念，阐述了Oracle分布式数据库系统和Oracle高级复制系统的体系结构、优缺点及相关应用。具体说明了Oracle和MS SQL Server构成异类分布式数据库系统的创建方法。给出了一种基于Oracle数据库分布式应用架构的电子政务解决方案。     

SXBP：基于Pri—order编码的XML文档存储方法

随着XML技术的发展，如何利用现有的数据库技术存储和查询XML文档已成为XML数据管理领域研究的热点问题。本文介绍了一种新的文档编码方法，以及基于这种编码方式提出了一种新的XML文档存储方法。方法按照文档中结点类型将XML文档树型结构分解为结点，分别存储到对应的关系表中，这种方法能够将任意结构的文档存储到一个固定的关系模式中。同时为了便于实现数据的查询，将文档中出现的简单路径模式也存储为一个表。这种新的文档存储方法能够有效地支持文档的查询操作，并能根据结点的编码信息实现原XML文档的正确恢复。最后，对本文提出的存储方法和恢复算法进行了实验验证。     

基于Spark框架的改进协同过滤算法

随着互联网数据量的不断膨胀,单机已经无法在可接受的时间范围内计算完基于大规模数据的推荐算法,也无法存放海量的数据。利用Spark平台内存计算的优点,设计了一种分布式的基于项目的协同过滤算法,利用Spark提供的RDD(resilient distributed dataset)算子完成算法的设计。针对由于数据稀疏而导致的相似度计算不准确的问题,提出了一种利用两项目间公共用户数目进行加权的相似度计算公式,提高了最终推荐结果的准确度。为了改善计算中涉及到的数据表等值连接操作耗时太长的问题,利用自定义的Hash_join函数替代Spark自带的连接操作算子,提高了计算效率。采用UCI的公用数据集MovieLens对算法进行测试,并分别与改进前的算法以及单机运行的算法进行对比,结果表明,改进的算法在准确度和效率方面都有更好的表现。     

关系数据库表转换为XML文档的方案设计及比较分析

XML在数据交换中扮演了重要角色。为实现XML与数据库的双向数据传输,数据库表转换为XML文档的设计及实现是重点研究内容之一。文章对基于．NET平台的不同设计方案作了比较,为应用开发的方案选择提供了指导性依据。     

基于微生物菌种资源库的图像智能检索系统研究*

在建设微生物菌种资源平台的基础上, 设计开发微生物菌种资源数据库管理系统,实现基于内容的Web图像智能检索系统.该检索系统采用B/S体系架构,可根据微生物菌种文本信息或图像的形状、纹理和颜色特征进行检索,有效提高了微生物菌种图像信息搜索的查准率、查全率和查找速度.     

基于XML数据库的标准化教育资源内容服务系统的设计与实现*

首先简要介绍了XML及XML数据库的背景、发展趋势和相关产品,并对XML数据库的原理进行了简要分析;然后提出了基于XML数据库（Tamino）的技术框架和J2EE平台的标准化教育资源内容服务系统的体系结构,给出了XML数据库中XML文档对象的组织和实现,提出可行的设计方案并实现了该系统的功能模块。通过将教育资源包的元数据和内容进行分离,实现了对教育资源的有效管理,并最终实现了教育资源的分布式存储和集中式管理。     

基于ASP．NET技术的Web应用系统安全机制分析与设计

本文重点探讨基于ASP.NET技术开发Web应用系统的安全问题.分析了用ASP.NET技术开发Web应用系统易产生的安全隐患,对操作系统、开发平台和数据库之间的安全协作机制进行了分析,并重点讨论了数据库资源的保护问题,最后以一个文档管理系统为例,具体说明了如何实现对数据库资源的安全访问.