一种面向分布主存多处理机的有效数据分布方法

本文针对分布主存多处理机中的数据分布问题，在程序已经过并行性分析的基础之上，提出了一种基于数据变换技术的有效数据分布方法。该方法能对多个嵌套循环中具有一般仿射数组下标的任意维数组进行有效的数据分布，并且该方法还考虑了偏移常量的对准问题，从而能使得数据通信量尽量小。实验结果表明了该方法的有效性。     

分布式数据库系统数据分布策略分析

数据分布是分布式数据库的主要特征。实现数据访问的局部化是数据分布的主要目的。本文重点分析了分布式数据库系统的数据分布策略并对分布式数据访问进行了探讨。     

逻辑进化存储系统的数据分布

针对现有存储系统不能很好的动态适应工作负载变化情况，本文提出了逻辑进化存储系统的概念，由此设计了一种适合不同磁盘阵列（RAID）之间动态转换的数据分布策略．根据这种策略推导出RAID在同步工作负载情况下的平均响应时间公式，计算出不同RAID级别在各种工作负载情况下的转换门限．为了提供最佳的服务特性，本文还提出根据数据访问的特征自动调节条带单元大小（SUS：Stripe Unit Size）的策略，并推导出磁盘阵列在不同工作负载情况下的最优SUS．最后，通过大量的实验验证了本文的分析结果．     

海量存储系统的数据分布策略研究

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用“二分”的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O（1）时间内直接路由。该算法还采用了“微分逼近”的思想,实现数据的均匀分布性。实验结果证明, TTD算法具备数据分布无关性的特点,且当物理节点逼近2^N （N〉0）时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

面向MPP Fortran 的自动数据分布

自动数据分布是面向大规模并行处理MPP(massively parallel processing)系统程序自动并行化的一项关键技术.数据分布方式直接影响着应用程序在MPP系统上的并行执行性能.本文以MPP Fortran为例,详细探讨了自动数据分布的有关技术,如对准分析、分布方式的产生、静态性能评估和数据重新分布等,并提出了相应的算法.这些算法将在作者研制的面向MPP Fortran 的程序自动并行化工具中实现.     

面向SIMD机器的全局自动数据分割

提出了一种面向ＳＩＭＤ机器的全局数据自动分割算法,该算法能处理多个非紧嵌折循环嵌套,并且数组下标存取为循环变量的线性式,首先通过数据与迭代映射抽象了计算中的通信方式,然事提出识别规则模式通信模式的形式比条件,接着建立包含对准信息和相应通信开销的数据迭代图,并在数据迭代图的基础上提出了一个启发式算法来计算较优的数据分布和迭代分布,以优化处理单元之间的通信开销,通过发析多个循环嵌套所涉及的多个数组映和     

适用于云计算的面向查询数据库数据分布策略

为满足海量数据的处理需求,业界提出了多种解决方案.云计算是目前较为热门的一种,它主要用廉价PC组成超大规模集群服务器来进行数据存储和处理.随着云计算技术的发展,越来越多的应用将转移到云中,数据库系统也不例外.但数据库系统要求的ACID特性在数据分布存储时可能导致部分操作性能低下,如连接查询操作.为在数据分布存储下提高数据库系统的性能,提出了一种面向查询的数据分布策略(Selection Oriented Distribution,SOD),即根据数据库的查询情况确定数据的分布算法.该算法适用于云计算,能明显提高系统的查询性能.     

基于分布存储系统的并行编译关键技术

分布存储系统的并行编译器需要解决各局部存储器之间数据分布问题和各处理机之间通信优化问题。论文并行编程模型、代码和数据分布、通信优化以及代码生成问题四个方面论述了基于分布存储系统的并行编译关键技术并提出了进一步研究所要解决的问题。     

分布式OA系统中数据分布算法

在分布式OA系统中,数据资源的分布会影响整个OA系统的效率。为了能够合理进行数据资源分布,提高OA系统的效率,提出了一种基于分布式数据资源的分布模型及算法,该算法给出了可减少网络流量、降低整个分布式系统开销的数据分布方案,由此提高OA系统的整体性能,使之更能适应OA应用需要。     

Efficient Data Distribution Schemes for EKMR-Based Sparse Arrays on Distributed Memory Multicomputers

Multi-dimensional sparse array operations can be used in the atmosphere and ocean sciences, the image processing, and etc., and have been an extensively investigated problem. Therefore, it becomes an important issue to propose efficient data distribution schemes for multi-dimensional sparse arrays. In our previous work, we have proposed two data distribution schemes Compress Followed Send (CFS) and Encoding-Decoding (ED) for sparse arrays based on the traditional matrix representation (TMR) scheme. We have proposed another scheme, called extended Karnaugh map representation (EKMR), to represent sparse arrays. The EKMR scheme can obtain better performance than the TMR scheme for some sparse array operations. Hence, in this paper, we want to propose efficient data distribution schemes for EKMR-based sparse arrays. We extend the CFS and the ED schemes for TMR-based sparse arrays to EKMR-based sparse arrays first. Then, we compare the performance of these two schemes with that of the Send Followed Compress (SFC), which is an intuitive data distribution scheme for sparse arrays. Finally, we compare these three schemes for EKMR-based sparse arrays with those of TMR-based sparse arrays, respectively. Both the theoretical analysis and the experimental tests were conducted. From the theoretical analysis and the experimental results, we can see that the ED scheme is superior to the CFS scheme that is superior to the SFC scheme for most of testing EKMR-based sparse arrays; the performance of these three schemes for EKMR-based sparse arrays is better than that of TMR-based sparse arrays for all of testing cases, respectively.     

基于数据概要描述的分布式数据流聚类模型与算法

数据流挖掘可有效解决大容量流式数据的知识发现问题,并已得到广泛研究.数据流的一个典型的例子是传感器采集的流式数据.然而,随着传感器网络的应用普及,这些流式数据在很多情况下是分布式采集和管理的,这就必然导致分布式地挖掘数据流的需求.分布式数据流挖掘的最大障碍是由分布式而导致的挖掘质量或者效率问题.为适应分布式数据流的聚类挖掘,探讨了分布式数据流的挖掘模型,并且基于该模型设计了对应的概要数据结构和关键的挖掘算法,给出了算法的理论评估或者实验验证.实验说明,提出的模型和算法可以有效地减少数据通信代价,并且能保证较高的全局模式的聚类质量.     

Interprocedural Data Flow Based Optimizations for Distributed Memory Compilation

Data parallel languages like High Performance Fortran (HPF) are emerging as the architecture independent mode of programming distributed memory parallel machines. In this paper, we present the interprocedural optimizations required for compiling applications having irregular data access patterns, when coded in such data parallel languages. We have developed an Interprocedural Partial Redundancy Elimination (IPRE) algorithm for optimized placement of runtime preprocessing routine and collective communication routines inserted for managing communication in such codes. We also present two new interprocedural optimizations: placement of scatter routines and use of coalescing and incremental routines. We then describe how program slicing can be used for further applying IPRE in more complex scenarios. We have done a preliminary implementation of the schemes presented here using the Fortran D compilation system as the necessary infrastructure. We present experimental results from two codes compiled usng our system to demonstrate the efficacy of the presented schemes. ©1997 John Wiley & Sons, Ltd.     

Skewed Data Partition and Alignment Techniques for Compiling Programs on Distributed Memory Multicomputers

Minimizing data communication over processors is the key to compile programs for distributed memory multicomputers. In this paper, we propose new data partition and alignment techniques for partitioning and aligning data arrays with a program in a way of minimizing communication over processors. We use skewed alignment instead of the dimension-ordered alignment techniques to align data arrays. By developing the skewed scheme, we can solve more complex programs with minimized data communication than that of the dimension-ordered scheme. Finally, we compare the proposed scheme with the dimension-ordered alignment one by experimental results. The experimental results show that our proposed scheme has more opportunities to align data arrays such that data communications over processors can be minimized.     

一种非均匀分布数据的非线性标准化方法

传统的数据标准化处理通常采用的是线性的变换方法,其在处理非均匀分布的数据集时,容易因局部区间内数据点间距过小导致后续的数据挖掘(尤其是基于距离的挖掘)结果不够精确。因此,为非均匀分布数据提出一种基于数据拟合的非线性变换标准化方法,该方法能够在不改变数据整体分布规律的前提下,依据统计找出对应的非线性变换函数,根据函数对各数据点的取值进行非线性放缩,将数据稠密的区间进行扩大的同时将数据稀疏的区间进行压缩,让挖掘的结果更加精确。实验采用BP(Back Propagation)神经网络、支持向量机(Support Vector Machine,SVM)、最近邻分类(K-Nearest Neighbor,KNN) 3种经典分类算法结合不同的数据集进行了挖掘,结果表明,分类的错误率有不同程度的下降,同时F₁度量有所提高。     

分布式并行网络数据存储技术

1 引言到目前为止的信息系统中,都是以服务器和客户端为中心,存贮系统被定位于周边设备。不过,近年来随着社会信息化进程的加快,信息量急剧增加,例如在因特网上存在着数以亿计的WWW网页,而著名的门户网站每个星期要制造出数以T(Tera)Byte计算的信息。此时因特网的心脏部已经不再是“服务器”,实际上已经成为“存贮系统”。与此同时,高速网络技术、数据库技术、人工智能、多媒体技术等的发展和彼此渗透结合,不断扩展着数据存储新的研究和应用领域,为新的     

适合分布式实时内存数据库的全局一致性模糊备份策略

当站点介质故障导致本地磁盘数据库和日志文件都遭受破坏的情况下,为了确保能迅速而有效地将全局数据库恢复到某个一致性状态,全局备份操作策略变得非常关键。本文提出了一个适合分布式实时内存数据库的全局一致性模糊备份策略,在此基础上给出了相应的故障恢复方法。     

分布式系统中数据分解的研究

数据分解对消息传递并行机下的并行编译器取得高性能至关重要。根据编译器自动得出的数据分解（映射数据到处理机）信息,C语言版本的发送／接收消息循环嵌套可产生出来,从而在处理机之间实现分布数据。不仅一个已被证明且功能强大的数学模型用于产生数据分解代码,而且一个形式化的算法及其实现也已给出。初步实验结果显示该算法能显著提高性能。     

异构数据转化与信息发布系统的实现

提出了一种异构数据转化为同一DBMS管理下的数据的方法,并在此基础上阐述了Web发布异构数据信息的框架和方法,并给出了一个实例。