分布式数据处理的系统性能分析

分布式数据不仅使查询表达式变得复杂,同时也给查询处理带来了相当大的难度。本文将介绍分布式查询处理的细节,分析影响系统性能的诸多复杂因素。     

搜索引擎中混合型分布式索引组织策略

针对搜索引擎中索引组织策略在查询性能和可扩展性等方面存在的问题,提出了一种混合型分布式索引组织策略（Loc-Glob）。该策略整合了局部和全局索引组织的基本思路,首先将搜索引擎系统的索引服务器从逻辑上分为若干个索引服务器池,索引数据先以局部（或全局）索引组织策略分配到索引服务器池上。然后,在索引服务器池的内部,索引继续以全局（或局部）索引组织的方式存储到各索引服务器上。混合型的索引组织策略较局部和全局索引组织策略具有更好的可扩展性。实验结果表明,该策略较全局索引组织策略在查询性能、负载均衡方面都有所提升,与局部索引组织策略的查询性能基本相当,并具备较高的负载均衡水平。     

一种有效的分布式查询算法

分布式查询是一种需要网络支持且网络通信成本较大的查询过程．查询策略和技术的优劣不但直接影响到分布式查询的通信成本，而且也影响到分布式查询的效果．一种有效的查询策略和技术将大大地节约查询所需的通信成本，缩短查询所需的时间．设计和开发出有效的查询策略和技术是分布式查询面临的挑战．WPERF 连接算法是一种新的分布式查询算法，它结合了W算法和PERF算法的特点，进一步强化了W算法和PERF的性能．理论上可以证明，WPERF 算法与W算法相比较，在不增加计算复杂性的情况下，具有更低的分布式查询处理成本．     

SQL Server数据库的一种分布式查询解决方法

随着网络及电子商务的发展,分布式数据库逐渐取代了以往的桌面数据库,因此对数据的分布式查询提出了很高的要求。各个数据库系统对分布式查询都有很好的解决方式。结合五菱微型汽车销售公司快捷ERP系统的实际应用,讨论了MicrosoftSQLServer2000数据库系统对分布式查询的一种解决方式,也就是链接服务器的方法。     

DPHI-Tree:一种新型的并行高维主存索引树

随着主存技术的发展,系统级分布式主存多媒体数据库存储规模不断扩大,查询越来越复杂,分布式并行索引以其高性能而逐渐成为解决此类复杂查询问题的有效手段.文章提出一种新的适合于分布式并行索引的树结构--DPHI-Tree.该索引树以B树为基础,利用PCA降维技术,将树的各层节点采用不同的维度表示,提高了缓存空间的利用率,降低了CPU负载.另外,采用标识根到节点路径的二进制编码来对节点索引,在查询数据量急剧增加时,PHI-Tree对基于树的数据随机访问具有良好性能.     

一种分布式数据流连接查询算法

分布式处理是数据流管理系统发展的必然趋势.研究了分布式数据流系统中的基于滑动窗口的连接操作,提出了DMS-Join算法.通过将多连接操作中的子操作分解置于不同的网络节点上,以减少数据的传输.分析与实验结果表明,DMS-Join算法具有较高的查询性能.     

分布式数据库系统中的复制服务器技术

在大规模的分布式数据库系统中,数据库复制器对于系统的可靠性及效率起着非常关键的作用。复制服务器是一种解决维护分布式数据和管理分布式事务的固有问题的革命性方法。提出了复制服务器的基本思想和处理方法,分析了复制服务器的特点和工作过程,并对分布式数据库系统的复制服务器技术的应用作了简要介绍。     

分布式数据库系统中的查询优化

分布式数据库系统由于数据的分布和冗于使得分布式查询处理增加了许多新的内容和复杂性，不同的查询处理方法，其查询的费用和并行处理程度是大不一样的，因此，分布式数据库系统的查询优化较集中式数据库系统更重要，效果更显著。根据分布式数据库系统的特点，简要介绍分布式查询优化的目标、策略及查询优化的基本方法。     

基于NAT网关的分布式Web服务器系统

介绍了分布式Web服务器系统和网络地址转换技术,研究了如何利用NAT网关作为前端分配器构建以分配器为中心的分布式Web服务器系统,给出了具体的系统解决方案和详细的工作过程,最后分析了这种解决方案的性能.     

全景动态光场采集的分布式存储与管理

针对目前光场采集系统中软硬件体系结构和数据采集、存储、管理机制的不足,该文设计了一种面向大规模全景动态光场采集的分布式存储与管理系统。系统实现对复杂非规则运动的多目标进行七维光场信息实时采集和捕获,并在时间、空间、光照维度上对分布式存储的光场数据进行关联性检索和管理,该系统具有良好的可扩展性,易于采集节点等硬件设备的扩充和调整。在长时间、数据密集的分布式采集和存储实验中,该系统没有出现丢帧现象,数据库管理性能满足光场处理算法中对数据的关联性检索。     

基于语义缓存技术的分布式数据库查询优化

以大型数据库应用为背景,基于多Agent技术,构建了一个分布式数据库访问平台．重点研究了分布式环境下的语义缓存技术,并在汕田生产数据库系统上进行了性能测试。结果表明：该方案对海量数据的统计查询性能有显著提高。     

分布式并行服务器内部通信的近似最佳线程数

在分布式并行服务器中,节点间的高速信息交换是改善系统性能的关键.为了改善系统整体性能,在此基于操作系统的多线程时间片轮转调度分析了多收发线程传输数据时所需的近似最佳线程数,并给出了一种计算近似最佳线程数的启发式算法.通过在分布式并行数据库服务器DPSQL中测试表明:利用启发式算法获得的近似最佳线程数能提高系统的整体性能.     

RPDDP:一种能源有效的无线传感器网络路由协议

描述了不同的查询机制；分析了分布式数据处理算法及其能耗特性；提出了一种能源有效的路由协议RPDDP并给出了RPDDP的协议描述。RPDDP采用双向查询机制以节省路径建立过程的能源消耗；通过提供分布式网络数据处理有效地减少了通信开销；并且为用户提供能源节约和可靠性之间的折中机制。仿真实验结果表明与已有的传统查询机制相比，RPDDP的查询成功概率较高，平均每个分组的通信开销较低；当sink同时发送2个查询包时，网络性能最优。     

基于缓存及预取技术的大型数据库查询优化研究

以大型数据库应用为背景,基于多Agent技术,构建了一个分布式数据库访问平台,重点研究了分布式环境下的语义缓存及相应的预取技术,实验表明,该方案对海量数据的统计查询性能有显著提高.     

一种改进的基于分布式Caching的自适应搜索机制

文章分析了基于Gnutella协议的非结构P2P网络中利用基于分布式Caching的自适应搜索机制来进行资源搜索与使用统一索引Caching机制相比查询成功率有所降低的问题,提出了两种改进方案。通过实验与统一索引Caching机制比较,改进的搜索机制在不增加网络流量的条件下,能有效提高查询成功率。     

中小规模分布式文件系统集群构架的优化方案

针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网：对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据.每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接.对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著.     

基于GPRS与ZigBee的远程分散多点监控系统

为提高远程分散多点监控系统各点监控的实时性,降低成本,扩展监控距离,适应各种复杂工况,节省人力资源,设计出一种新型的基于GPRS、ZigBee网络的远程监控系统.采集终端通过ZigBee网络实时检测各点的性能状态,然后发送至数据中转中心,再通过GPRS模块将数据传送到远程服务器,并将该系统应用于大型设备的振动检测.实验证明,该系统可通过服务器,在任何有GSM信号的地点完成对距其100 m范围内检测点的实时监控.与传统系统相比,只需在各检测点放置一个微型的采集终端,及一个数据中转中心,即可在服务器完成远程监控.     

逻辑集群与数据缓存在网络数据库中的应用

在网络计算环境下，当大量客户同时存取数据库资源，数据库服务器常成为性能瓶颈。将集群技术应用于数据库系统结构，通过将具有相似数据存取模式的客户形成一个逻辑集群，由一中间层服务器负责集群范围内的目录服务和缓存管理，形成客户用／服务器／服务器三层结构。为获得更好的性能，客户机，特别是中间层服务器规定有合适的缓存功能。该结构可有效降低服务器负载，提高数据库事务响应性能，有效扩大系统支持的客户规模，具有一定的应用价值。     

改进的分布式系统负载平衡策略

针对服务器计算能力及带宽等方面的异构性导致的系统负载不均衡问题,提出了一种改进的分布式系统负载平衡策略.将模糊综合评判理论运用到服务器性能评价中,选出性能最佳的服务器,使负载均衡,提高了分布式资源的利用率.实验结果表明,运用此策略可以准确地选出最佳服务器.