多核机群上数据密集型应用并行程序性能优化

在异构多核机群系统上利用数据任务块的动态调度策略和全锁定技术,给出一种面向数据密集型应用的结点内主存和可用的共享二级缓存大小中动态调度数据块的多进程级和多线程级并行编程机制,给出了优化数据密集型应用并行程序性能的策略和技术。在多核计算机组成的异构机群上并行求解随机序列多关键字查找的实验结果表明,所给出的多核并行程序设计机制和性能优化方法可行和高效。     

前言

<正>近年来,随着智能万物互联时代的快速到来和新一代无线通信网络的高速普及,各类新兴智能应用如智慧城市、智能制造、新零售、智能安防等百花齐放.这些新兴数据密集型应用在网络边缘设备产生的数据量正在高速攀升,对数据传输带宽和数据处理的实时性都提出了更高的要求.边缘计算应运而生,通过将计算资源和任务从云端下沉到网络边缘侧,贴近数据源头提供分析处理服务,从而降低数据传输带宽消耗和数据处理延迟,从边缘到中心更好地一体化支撑各类新兴数据密集型的实时应用.     

消息代理机制下的MapReduce数据流优化

MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算,集群节点间的数据传输依赖性较强,造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型,优化数据流。经实验数据表明,基于消息代理机制的MapReduce框架能提高数据密集型应用上的负载均衡。     

面向流应用的流寄存器文件

存储系统是通用处理器在处理流应用时的瓶颈。该文基于FT64流处理器体系结构,提出一种面向流应用的流寄存器文件结构设计方法和数据传输机制,分析它在FT64中的作用。通过采用大容量、高带宽、虚拟多端口的存储器,将大部分流数据存取操作限制在寄存器文件这一层次,减少了主存压力。实验结果表明,该结构能很好地适应流应用需求。     

基于XML分布式异构数据库“主存”中间件实现

为充分利用数据库的资源，研究了在分布式异构数据库中实现数据分布与交换的“主存”中间件实现方法。利用XML跨平台特性和主存/辅存的工作原理，结合基于服务的中间件技术，运用于分布式异构数据库系统中。系统以访问“主存”中间件服务器中最新XML数据为主，访问相应子系统为辅，通过复制分段方式实现数据的一致性。该方法在一定程度上提高了数据处理效率，实现了数据传输同步机制。     

基于数据空间融合的全局计算与数据划分方法

计算与数据划分问题是影响并行程序在分布主存多处理机中执行性能的重要因素,也是并行编译优化的重点.针对该问题,提出了一套关于数据空间融合的理论框架,并基于该框架给出了一种有效的全局计算与数据划分方法,用于分布主存计算环境中的计算与数据划分问题的求解.该方法能够尽量开发计算空间的并行度,利用数据融合技术优化数据分布,并能搜寻优化的全局计算与数据划分.该方法还能很自然地与数据复制以及偏移常量的对准结合在一起,从而使得数据通信量尽可能地小.实验结果表明了所提出方法的有效性.     

基于2.5D封装系统的存储型计算研究

对于数据密集型应用,大量能量和延时消耗在计算和存储单元之间的数据传输上,造成冯·诺依曼瓶颈。在采用2.5D封装集成的系统中,这一问题依然存在。为此,提出一种新型的硬件加速方案。引入存储型计算到2.5D系统中,使片外存储具备运算的能力。将存储器划分为若干个bank,支持bank间并行访问,并在存储阵列中设计可配置的加速单元,充分利用存储阵列的带宽进行并行计算,降低数据传输的延时和能耗。以H.264解码中的反量化反变换为例对该结构进行实现,仿真结果显示,相较于传统软件实现方法,该方案可获得7.1倍的性能提升,节省80.5%的能量,并且只增加2%的面积开销。     

基于XML的分布式异构数据库"主存"实现

研究在分布式异构数据库中实现数据分布与交换的“主存”实现方法。将XML和主存／辅存技术结合起来,运用于分布式异构数据库系统中。该方法在一定程度上提高了数据处理效率,实现了数据传输同步机制。     

Windows下PCI总线图像采集卡的编程

PCI总线是Intel公司为了满足外设与主存之间、外设之间高速数据传输设计的高速总线。本文中我们采用PCI总线来设计图像采集卡,以完成图像数据的传递,从而可以解决图像数据传输量大的问题,减少对总线占用的时间。 一、系统硬件介绍 逻辑框图如图1。     

云计算环境下面向数据密集型应用的数据布局策略与方法

云计算环境下面向流程的数据密集型应用已被广泛应用于多个领域.面对多数据中心的云计算环境,这类应用在数据布局方面遇到了新的挑战,主要表现在如何减少跨数据中心的数据传输、如何保持数据间的依赖性以及如何在提高效率的同时兼顾全局的负载均衡等.针对这些挑战,文中提出一种三阶段数据布局策略,分别针对跨数据中心数据传输、数据依赖关系和全局负载均衡三个目标对数据布局方案进行求解和优化.实验显示,文中提出的数据布局策略具有良好的综合性能,特别是在降低流程执行过程中由跨数据中心数据传输所导致的时间开销方面,效果尤为明显.     

并行I/O技术研究

从分析提高I／O性能的途径开始，对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨，最后介绍了几个著名的并行文件系统。     

pT-树:高速缓存优化的主存数据库索引结构

随着主存速度和现代处理器速度之间的差距逐渐扩大,系统对主存的存取访问成为新的瓶颈,Cache行为对主存数据库系统更加重要.索引技术是主存数据库系统设计的关键部分.在CST-树的基础上应用预取技术提高查找操作的性能,提出了一种Cache优化的索引结构预取T-树(pT-tree).pT-树使用预取技术有效地创建比正常数据传输单元更大的索引结点,从而降低了CST-树的高度,减少了从父亲结点遍历至孩子结点时的Cache缺失.实验结果表明,pT树与B+-树、T-树、CST-树、CSB+-树相比查找性能有所提高.     

pT-树:高速缓存优化的主存数据库索引结构

随着主存速度和现代处理器速度之间的差距逐渐扩大,系统对主存的存取访问成为新的瓶颈,Cache行为对主存数据库系统更加重要.索引技术是主存数据库系统设计的关键部分.在CST-树的基础上应用预取技术提高查找操作的性能,提出了一种Cache优化的索引结构预取T-树(pT-tree).pT-树使用预取技术有效地创建比正常数据传...     

CSA-Tree:一种改进的高维主存索引树

主存技术的不断进步,使得主存多媒体数据库的实现成为可能.研究表明,主存多媒体数据库系统性能深受处理器缓存未命中的影响,缓存感知型主存索引是提高数据检索效率的有效手段.针对SA-Tree不适用于主存存取的缺点,提出它的变体CSA-Tree.CSA-Tree利用PCA降维技术,将树的各层节点采用不同的维度表示,这样不仅提高了缓存空间的利用率,还降低了CPU负载,从而提高了索引查询效率.大量实验证明,CSA-Tree在主存环境中具有良好的高维数据检索性能.     

基于主存的优化高维索引树

主存多媒体数据库系统性能深受处理器缓存未命中的影响,缓存感知型主存索引是提高数据检索效率的有效手段.针对SA-Tree不适用于主存存取的缺点,提出它的变体CSA-Tree.CSA-Tree利用PCA降维技术,将树的各层节点采用不同的维度来表示,这样不仅提高缓存空间的利用率,还降低了CPU负载,从而提高了索引查询效率.大量实验证明,CSA-Tree在主存环境中具有良好的高维数据检索性能.     

一种基于主存Δ-tree的高维数据KNN连接算法

KNN连接作为数据挖掘的基元,可以用来大幅度提高相似搜索、数据分析和数据挖掘的速度.到目前为止,对KNN连接的研究主要在基于磁盘系统的背景下进行,假设数据库太大以至于不能装入主存.随着RAM越来越大,价格也越来越低廉,这种假设逐渐受到挑战.因此,有必要重新对基于主存的KNN连接进行研究.在高效主存索引的基础上,采用编码解码、自底向上、深度优先遍历和剪枝等技术提出了一种新的KNN连接算法Δ-tree-KNN-Join.该算法解决了KNN连接中确定搜索半径困难的问题,提高了连接效率.在真实数据和合成聚类数据上进行了实验,结果显示Δ-tree-KNN-Join是一种有效的主存KNN连接算法.     

面向新型处理器的数据密集型计算

近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不同新型处理器的特点,设计了不同形式的加速处理算法.主要对新型硬件处理器基于数据密集型计算的研究进行了综述.首先概述了新型硬件处理器的特点;然后,分别对新型处理器FPGA和GPU等硬件进行性能分析,并分析了每种处理器对数据密集型计算的效果;最后提出了进一步的研究方向.     

使用固态硬盘管理主存KV数据库的虚拟内存

主存键值(key-value,KV)数据库具有高效性、易用性和可扩展性.由于主存容量有限,一些数据量较大的应用必须使用磁盘进行数据交换.而固态硬盘(solid state disk,SSD)有高速的随机读特点,使用固态硬盘作为主存KV数据库的虚拟内存会提高对不在主存中的数据的读性能.但是固态硬盘的随机写性能较差,于是提...     

数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点. 遥感数据具有多源化、海量化特点,是名副其实的大数据. 研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法. 在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以“5并行1加速”的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试. 结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.     

网格环境下基于多Replica的数据传输

数据密集型应用需要在广域、分布式计算环境中高效地传输大量的信息。提出了一种在网格环境下基于多Replica的并行传输方法来实现GridFtp中的条状传输,以提高网络传输的效率及其安全性,并实现了一个适用于网格环境的数据传输客户端工具(MFTP)。实验表明,MFTP具有较好的数据传输性能和可靠性。