分布存储并行计算机优化数据安放的一种方法

本文分析了面向分布存储ＳＩＭＤ／ＭＩＭＤ并行机的并行程序的优化数据安放问题，在ＦＯＲＡＬＬ程序模型和ＭＥＳＨ通信模型之上，研究了数据分解过程中减少通信代价的优化要求．我们使用维偏好图描述并行数组之间的对准需求，通过消除维偏好图中的冲突，可得到维对准图．一个维对准图就对应一个数据安放方案．维对准图的总代价越大，对应的通信代价就越小．文中给出了求最大代价维对准目的一个近似算法．     

分布存储并行机上的自动数据布局优化模型

在分布式并行机上,数据布局的质量极大的影响着应用程序的执行性能,以往的研究一般将自动数据布局优化问题近似分解为数据对准优化和数据分布优化两步来解决,且对两者的结合只研究了一维的情况,在相关研究工作的基础上,在多维情况下将数据对准优化和数据分布优化结合在一个模型当中,提出了一个数据对准优化与数据分布优化统一的多维静态数据布局模型,避免了采用启发式策略,从而更加精确地描述了自动数据布局优化问题,同时给     

一种基于Oracle的数据存储优化方法

介绍了Oracle的应用程序接口OCI,分析了SQL的执行过程。针对常规数据存储方法在海量数据存储和系统并发用户较多时效率低下的问题,定义一种简洁的数据结构,创建存储过程并完成对SQL信息的压缩。对比优化前后的实验数据,可以发现此方法能显著提高Oracle的数据存储效率。     

并行化编译中的数据和计算优化分解方法

本文给出的方法是对Ａｎｄｅｒｓｏｎ－Ｌａｍ方法的改进和发展。本文方法在循环分布之后对程序进行ＤＯＡＬＬ循环的内移和分布变换，使得所有ＤＯＡＬＬ循环都位于最内层的紧嵌套虽，因而不必按自底向上的顺序针对每个嵌套级进行分解。     

遥测数据多硬盘并行存储方法的研究

针对遥测遥感数据码速率高、数据量大以及系统造价尽量低的要求,采用PC机控制多硬盘并行工作对遥测数据进行实时采集及存储,使数据存储只在缓冲存储器和硬盘数据端口之间进行,不占用系统机时。控制电路用EPLD集成,制成PC接口卡。     

一种数据并行中的群通信优化策略

群通信是影响大规模数据并行系统效率的关键因素,其主要发生在程序不同阶段间的数组重分布与循环划分后的数组重映射这两种情况.在一次通信中显著影响群通信效率常被忽视的因素是消息冲突和消息长度的不一致.因为它们会导致进程间大量的空闲等待时间.然而以前的研究要么不能完全避免消息冲突,要么针对某些特殊情况.对此,提出了在数组分布为Block_Cyclic(k)情况下的一种更具有普遍适用性的通信调度策略CSS.通过证明表明该策略能使一个通信步内的消息互不冲突且消息长度尽量相等.从而最小化通信调度生成时间和实际通信时间.最后的测试结果也表明,与传统的通信优化算法和MPI_Alltoallv实现相比,CSS策略使得通信效率得以明显提高.     

一种基于Hive日志分析的大数据存储优化方法

从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人满意。文章研究了大数据及存储的现状,提出了一种基于存储日志的分析的Hive存储格式优化方法,通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升,提升了查询效率。论文对该金融机构原有Hive存储系统通过基于存储日志分析的Hive存储格式优化方法进行改进,通过实际数据,充分证明了该方法的可行性。     

数据并行语言编译系统的并行循环迭代分布算法

讨论大规模并行机数据并行语言编译技术中的并行循环迭代分布算法。数据并行语言的数据分布方式有ＢＬＯＣＫ,ＢＬＯＣＫ（１）,ＢＬＯＣＫ（Ｎ）和：４种,而循环迭代分布是与数据分布对准的,文中给出与这些分布方式对应的循环迭代分布算法,算法允许确定数据分布方式的对准数组的下标可以是任意系数的一阶线性表达式;并行循环的循环增量可以为任意非零整数。     

并行化编译中的一种集成优化方法

本文提出了一种面向分布存储器多机系统的并行化编译方法．针对分布存储并行系统的特点，作者采用的基本优化策略是：折衷并行性与数据引用局部性；减少和隐藏通信开销．通过对基于仿射函数的程序分解方式所导致的数据通信性质的分析，得到了适合分布存储结构特殊要求的并行性开发方法．为了在保持并行性的前提下最小化通信数据总量，提出了基于齐次线性方程组求解的程序全局优化分解方法．为了优化数据通信的组织，提高结点代码的效率，又提出了一种以线性不等式组作为工具的更加实用的通信优化和结点代码生成方法.     

分布式并行网络数据存储技术

1 引言到目前为止的信息系统中,都是以服务器和客户端为中心,存贮系统被定位于周边设备。不过,近年来随着社会信息化进程的加快,信息量急剧增加,例如在因特网上存在着数以亿计的WWW网页,而著名的门户网站每个星期要制造出数以T(Tera)Byte计算的信息。此时因特网的心脏部已经不再是“服务器”,实际上已经成为“存贮系统”。与此同时,高速网络技术、数据库技术、人工智能、多媒体技术等的发展和彼此渗透结合,不断扩展着数据存储新的研究和应用领域,为新的     

分布并行系统的并行程序设计环境

分布式并行计算机系统中，由于没有共享内存以支持处理机间的数据交换，因而需采用ｍｅｓｓａｇｅｐａｓｓｉｎｇ的方式实现并行计算中处理机间的数据通讯，并行程序设计环境作为程序员使用并行计算机系统工具，对于并行处理技术以及并行计算机系统的发展与推广应用都有重要的作用，本文将分布基于ｍｅｓｓａｇｅｐａｓｓｉｎｇ的并行计算机系统中的并行程序设计环境的基本问题，并介绍几种典型的并行程序设计环境。     

计算机数据存储备份技术探析

计算机数据存储备份技术研究应对当前庞大的数据管理压力有积极意义,明确各种技术的优缺点与适用范围可更好地推进技术升级应用,从而有效防范数据的破坏与丢失,在存储灾备技术研究中,有助于提升技术安全性与可靠性,方便技术大范围的推广与应用.     

清远供电局数据存储优化的思考

数据库系统的性能决定数据库的可用性和生命力。通常数据库系统在业务数据增加后都会存在性能瓶颈,主要涉及数据库服务器、应用程序、操作系统、数据库参数等方面。其中数据库性能调整与优化涉及到多个层面,通过统一规划、系统性调整,可以提高数据库的稳定性和可用性,保障系统高效地运行,解决系统瓶颈。通过建立并实施数据库后台存储过程不断改进的管理机制和设计合理的数据存储过程工作指引,来不断提升整个系统性能,实现对现有信息系统的优化,达到提升业务运营和经营决策效率的目标。     

数据并行流水线网格调度的一种优化方法

为改进计算网格上数据并行流水线的性能,用模拟退火算法优化调度,用一个实验性方法确定初始控制参数,用一个随机方法选择下一个调度方案。调整最佳调度方案的稳定次数,可实现优化开销和优化效果之间的折中。实验显示,该文的模拟退火可有效优化流水线的调度。     

一种并行分布对象的互操作模型

并行软件设计本身的复杂性使它的复用成为一个引人注目的问题.分布对象技术不仅可以将并行软件封装成相应的构件,而且提供了利用各种异构系统进行并行计算的可能性,但这样往往会使这些构件的互操作的效率有所降低.文章提出的并行分布对象互操作模型试图解决这一问题.这个模型与分布对象的旧有模型兼容,并且实际测试结果表明,它还能挖掘出并行分布对象间的更多并行性.     

一种Hadoop数据复制优化方法

针对当前Hadoop采用固定个数的数据复制来提高数据可用性方法的不足,建立了数据复制的数学模型,该模型根据数据节点失效率、数据访问延迟、数据节点的网络带宽、期望的数据可用性计算优化的数据复制个数,在Hadoop上实现了提出的数据复制优化方法,进行性能测试实验,实验结果表明该模型不仅可以改进数据可用性,而且提高了系统存储空间的利用率。     

基于C6000的数据存储处理编程优化方法

针对TI TMS320C6000系列数字信号处理器容易忽视的CPU指令并行、软件流水特点和编译器内联函数、线性汇编及汇编语言的高速运行特点,给出常见的指令存储器相关性问题、循环冗余问题、嵌套循环的流水性能问题和程序存储块冲突问题的分析与优化解决方法。以定点点积算法进行参照实验,结果证明代码运行速度在进行相应C程序编程优化、线性汇编编程优化和手工汇编编程优化后最高分别可以提高85.9%、86.4%和93.1%。     

基于机群环境的并行多连接存储分布技术

基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算法具有良好的性能,有助于提高并行多连接查询效率。     

浅析计算机云存储的数据迁移

计算机云存储的数据迁移,是计算机发展过程中的一项重要技术,其可以准确的实现数据间的有效传输和存储,满足人们对信息和数据的交流需求。下面本文就对计算机云存储数据迁移进行分析。     

计算机云存储的数据迁移研究

云存储技术是计算机发展过程中的一项重要技术,其中数字迁移是从完全虚拟化的场景中走出来实现高度动态存储的必然条件,因此就必须对计算机云存储数据迁移进行详细的研究.