全连接和随机连接神经网络并行实现的性能分析

直觉告诉我们:当人工神经网络算法在多处理器系统上并行实现时,处理器网络的拓扑结构和处理器节点的扇入尺寸(即输入输出规模)会影响并行算法的效率,但是对全连接和随机连接神经网络,上述结论并不成立。在神经网络的并行实现中,处理器的通信开销是一个主要的限制因素,本文将对全连接和随机连接神经网络并行实现的几个相关问题进行讨论。1 学习时间的分解     

遥感图像渐进式传输的GPU并行加速研究

遥感图像的渐进式传输大大提高了数据响应效率,但同时也增加了数据接收端的计算量。为进一步提高数据传输效率,研究了基于可编程图形硬件GPU的并行加速方法,通过小波逆变换的GPU并行化来加速图像重构,并通过纹理查找表来提高数据读取效率,利用离线渲染缓存Pbuffer来保存多层小波变换的中间计算结果,进一步提高了并行效率。最后,通过实验验证了该方法的有效性。     

基于MapReduce和分布式缓存的KNN分类算法研究

随着大数据时代的到来,K最近邻(KNN)算法较高的计算复杂度的弊端日益凸显。在深入研究了KNN算法的基础上,结合Map Reduce编程模型,利用其开源实现Hadoop,提出了一种基于Map Reduce和分布式缓存机制的KNN并行化方案。该方案只需要通过Mapper阶段就能完成分类任务,减少了Task Tracker与Job Tracker之间的通信开销,同时也避免了Mapper的中间结果在集群任务节点之间的通信开销。通过在Hadoop集群上实验,验证了所提出的并行化KNN方案有着优良的加速比和扩展性。     

用于图像分类的模糊策略学习率ResNet

ResNet深度神经网络用于图像分类时，全连接层训练算法收敛性差降低了分类效果。针对此不足，提出一种模糊策略梯度算法训练ResNet。推导出ResNet全连接层权重的迭代公式，用历史梯度信息修正当前一阶小批量梯度，用模糊策略学习率更新权重，通过上下边界函数处理学习率的过大或过小而引发的迭代振荡，改善训练算法收敛性。在CINIC-10和CIFAR-100数据集上的实验结果表明，所提算法训练的ResNet分类效果优于相比较算法。特别是在综合性分类指标Kappa系数上，所提算法训练的ResNet较最新的AdaBound算法平均提高了9.29%,改进效果显著。     

Hadoop下多模式并行分类算法及其应用研究

根据人工神经网络自组织、高度并行以及具有非线性映射能力的特点,提出一种基于云计算的Hadoop多模式并行分类算法。通过将自组织映射网络与多个并行BP神经网络结合,提高多语义模式中复杂分类问题的学习效率和训练精度。采用Hadoop平台下的Map Reduce框架实现算法的并行处理,解决大规模数据样本训练时内存开销大、通信耗时长的问题。实验结果表明,与传统单BP多输出分类算法相比,该算法训练速度更快、分类精度更高,在处理大规模数据集时具有实时和高效的特性。     

改进的VGG网络的二极管玻壳图像缺陷检测

针对于目前二极管玻壳缺陷检测中大多采用人工特征提取,识别准确率不高的问 题,提出一种改进的 VGG 网络的二极管玻壳图像缺陷检测方法。首先对玻壳图像进行预处理, 同时利用原始大样本数据集对卷积神经网络结构 VGG-19 模型进行预训练得到预训练模型,然 后通过迁移学习的方法将预训练模型中的部分卷积、池化等层权重参数迁移到改进网络模型的 固定层中,非固定层用于模型改进,并将网络的全连接层结构重新进行超参数设置和优化,最 后使用预处理后的玻壳图像数据集对改进模型进行训练,得到非固定卷积层和新的全连接层的 参数和权重。在二极管玻壳数据集进行测试,实验结果表明,该方法能有效提高二极管玻壳图 像分类识别准确率,达到了 98.3%。     

用于能耗数据分析的改进并行BP算法

基于Map Reduce框架的传统BP神经网络算法收敛缓慢,训练易陷入局部极小点,使迭代次数过多,极大浪费资源。为此,提出并实现改进的并行BP算法,采用动态调节学习率、动量因子调整权重修正值,提升BP网络并行训练效率,利用预处理数据和最大分类概率增强分类的准确性。实验结果表明,改进的并行算法能提高分类准确率,缩短近17/18的训练时间。     

利用并行GPU对分层分布式狄利克雷分布算法加速

分层分布式狄利克雷分布(HD-LDA)算法是一个对潜在狄利克雷分布(LDA)进行改进的基于概率增长模型的文本分类算法,与只能在单机上运行的LDA算法相比,可以运行在分布式框架下,进行分布式并行处理。Mahout在Hadoop框架下实现了HD-LDA算法,但是因为单节点算法的计算量大,仍然存在对大数据分类运行时间太长的问题。而大规模文本集合分散到多个节点上迭代推导,单个节点上文档集合的推导仍是顺序进行的,所以处理大规模文本集合时仍然需要很长时间才能完成全部文本的分类。为此,提出将Hadoop与图形处理器(GPU)相结合,将单节点文本集合的推导过程转移到GPU上运行,实现单节点多个文档并行推导,利用多台并行的GPU对HD-LDA算法进行加速。应用结果表明,使用该方法能使分布式框架下的HD-LDA算法对大规模文本集合处理达到7倍的加速比。     

基于虚拟化的多GPU深度神经网络训练框架

针对深度神经网络在分布式多机多GPU上的加速训练问题,提出一种基于虚拟化的远程多GPU调用的实现方法。利用远程GPU调用部署的分布式GPU集群改进传统一对一的虚拟化技术,同时改变深度神经网络在分布式多GPU训练过程中的参数交换的位置,达到两者兼容的目的。该方法利用分布式环境中的远程GPU资源实现深度神经网络的加速训练,且达到单机多GPU和多机多GPU在CUDA编程模式上的统一。以手写数字识别为例,利用通用网络环境中深度神经网络的多机多GPU数据并行的训练进行实验,结果验证了该方法的有效性和可行性。     

基于深度卷积神经网络End-to-End模型的亲属关系认证算法

针对如何利用人脸图像进行亲属关系认证的问题,提出基于深度卷积神经网络End-to-End模型的亲属关系认证算法.首先,构建一个包含卷积层、全连接层和soft-max分类层的深度卷积神经网络模型.卷积层可以提取亲子图像的隐性特征,全连接层可以将提取的隐性特征映射为亲属关系认证的二分类问题,soft-max分类层可以直接判断该对样本是否具有亲属关系.然后,将成对的标记训练数据输入网络进行迭代,优化深度网络模型参数,直至损失曲线稳定.最后,利用训练完毕的深度网络模型对输入测试图像对进行分类判决,通过统计得到最终的准确率.在KinFaceWI和KinFaceWII数据库上的结果显示,相比以往的亲属关系认证算法,文中模型具有更好的性能.     

基于数据并行的神经语言模型多卡训练分析

数据并行训练神经语言模型,旨在不改变网络结构的同时,大幅度降低训练所带来的时间消耗。但由于多设备之间频繁的数据传输,使得整体加速效果并不理想。该文通过实验对比All-Reduce算法和基于采样的梯度更新策略在数据传输上的加速效果,使用了四块NVIDIA TITAN X (Pascal) GPU设备在循环神经语言模型上进行训练,两种方法分别可获得约25%和41%的速度提升。同时,该文还针对数据并行方法的适用性以及不同的硬件设备连接方式对传输速度的影响进行了讨论。     

基于残差的优化卷积神经网络服装分类算法

针对目前服装分类算法在解决多类别服装分类问题时分类精度一般的问题,提出了一种基于残差的优化卷积神经网络服装分类算法,在网络中使用了如下三种优化方法:(1)调整批量归一化层、激活函数层与卷积层在网络中的排列顺序;(2)"池化层+卷积层"的并行池化结构;(3)使用全局均值池化层替换全连接层。经过由香港中文大学多媒体实验室提供的多类别大型服装数据集(DeepFashion)和标准数据集CIFAR-10上的实验表明,所提出的网络模型在处理图片的速度和分类精度方面都优于VGGNet和AlexNet,且得到了目前为止已知的在DeepFashion数据集上最好的分类准确率。该网络也可以更好地应用于目标检测和图像分割领域。     

基于平铺数据流的可配置神经网络加速器

卷积神经网络已经是公认最好的用于深度学习的算法,被广泛地应用于图像识别、自动翻译和广告推荐。由于神经网络结构规模的逐渐增大,使其具有大量的神经元和突触,所以,使用专用加速硬件挖掘神经网络的并行性已经成为了热门的选择。在硬件设计中,经典的平铺结构实现了很高的性能,但是平铺结构的单元利用率很低。目前,随着众多深度学习应用对硬件性能要求的逐渐提高,加速器对单元利用率也具有越来越严格的要求。为了在平铺数据流结构上获得更高的单元利用率,可以调换并行的顺序,采用并行输入特征图和输出通道的方式来提高计算的并行性。但是,随着神经网络运算对硬件性能要求的提高,运算单元阵列必然会越来越大。当阵列大小增加到一定程度,相对单一的并行方式会使利用率逐渐下降。这就需要硬件可以开发更多的神经网络并行度,从而抑制单元空转。同时,为了适应不同的网络结构,要求硬件阵列对神经网络的运算是可配置的。但是,可配置硬件会极大地增加硬件开销和数据的调度难度。提出了一种基于平铺结构加速器的并行度可配置的神经网络加速器。为了减少硬件复杂度,提出了部分配置的技术,既能满足大型单元阵列下单元利用率的提升,也能尽可能地减少硬件额外开销。在阵列大小超过512之后,硬件单元利用率平均可以维持在82%～90%。同时加速器性能与单元阵列数量基本成线性比例上升。     

Parallel execution of Prolog with granularity control

This paper presents a system for parallel execution of Prolog supporting both independent conjunctive and disjunctive parallelism. The system is intended for distributed memory architecture and is composed of a set of workers with a hierarchical structure scheduler. The execution model has been designed in such a way that each worker's environment does not contain references to terms in other environments, thus reducing communication overhead. In order to guarantee the improvement of the performance by the parallelism exploitation, a granularity control has been introduced for each kind of parallelism. For conjunctive parallelism PDP applies a control based on the estimation provided by CASLOG. The features of the system allow to introduce this control without adding overhead. For disjunctive parallelism PDP controls granularity by applying a heuristic-based method, which can be adapted to other parallel Prolog systems. Different scheduling policies have also been tested. The system has been implemented on a transputer network and performance results show that it provides a high speedup for coarse grain parallel programs.     

基于数据网格环境的连接操作算法

数据网格是一种分布式数据管理体系结构，能够为分布在网格中的资源提供协同的管理机制．数据库管理系统在数据网格中发挥着重要作用，在各种数据库操作中，连接操作是一种最常用也是最耗时的操作，到目前为止，尚未有文献提出数据网格环境下的连接操作算法．主要对数据网格环境下海量数据的连接操作算法进行了研究，针对网格中各结点之间网络带宽异构的特点，采取关系缩减算法、行分块传输技术和流水线并行机制来减少查询的响应时间．理论分析和实验结果证明，算法在减少网络通信开销、增加I／0和CPU并行、降低响应时间方面具有较好的性能．     

基于结构并行的MRBP算法

BP(back propagation)算法是一种常用的神经网络学习算法,而基于Hadoop集群MapReduce编程模型的BP(MapReduce back propagation, MRBP)算法在处理大数据问题时,表现出良好的性能,因而得到了广泛应用.但是,由于该算法缺乏神经节点之间细粒度结构并行的能力,当遇到数据维度较高、网络节点较多时,性能还显不足.另一方面,Hadoop集群计算节点通信不能由用户直接控制,现有基于集群系统的结构并行策略不能直接用于MRBP算法.为此,提出一种适合于Hadoop集群的结构并行MRBP (structure parallelism based MapReduce back propagation, SP-MRBP)算法,该算法将神经网络各层划分为多个结构,通过逐层并行-逐层集成(layer-wise parallelism,layer-wise ensemble, LPLE)的方式,实现了MRBP算法的结构并行.同时,推导出了SP-MRBP算法和MRBP算法计算时间解析表达式,以此分析了2种算法时间差和SP-MRBP算法最优并行规模.据了解,这是首次将结构并行策略引入MRBP算法中.实验表明,当神经网络规模较大时,SP-MRBP较之原算法,具有较好的性能.     

三维图像重建算法的并行化设计和分析

利用类体素法进行三维图像重建，速度快，精度高，本文主要从片间并行着手讨论了它的并行化设计技术，分析了在不同的数据存储情况下的计算时间和通信开锁。并在曙光一号并行上实现了基于片间并行的多线程化算法，对算法的性能进行了测试分析。     

并行图形绘制技术综述

为研究并行图形绘制技术,介绍图形绘制的流水线过程,对其内在的可并行性进行分析,研究并行绘制的实现方式,包括流水线并行、数据并行和作业并行,以及前分布拼接合成、中分布拼接合成和后分布拼接合成,讨论并行绘制面临的主要问题及其发展趋势。     

A Novel Gradient Boosted Energy Optimization Model (GBEOM) for MANET

Mobile Ad Hoc Network (MANET) is an infrastructure-less network that is comprised of a set of nodes that move randomly. In MANET, the overall performance is improved through multipath multicast routing to achieve the quality of service (quality of service). In this, different nodes are involved in the information data collection and transmission to the destination nodes in the network. The different nodes are combined and presented to achieve energy-efficient data transmission and classification of the nodes. The route identification and routing are established based on the data broadcast by the network nodes. In transmitting the data packet, evaluating the data delivery ratio is necessary to achieve optimal data transmission in the network. Furthermore, energy consumption and overhead are considered essential factors for the effective data transmission rate and better data delivery rate. In this paper, a Gradient-Based Energy Optimization model (GBEOM) for the route in MANET is proposed to achieve an improved data delivery rate. Initially, the Weighted Multi-objective Cluster-based Spider Monkey Load Balancing (WMC-SMLB) technique is utilized for obtaining energy efficiency and load balancing routing. The WMC algorithm is applied to perform an efficient node clustering process from the considered mobile nodes in MANET. Load balancing efficiency is improved with a higher data delivery ratio and minimum routing overhead based on the residual energy and bandwidth estimation. Next, the Gradient Boosted Multinomial ID3 Classification algorithm is applied to improve the performance of multipath multicast routing in MANET with minimal energy consumption and higher load balancing efficiency. The proposed GBEOM exhibits ∼4% improved performance in MANET routing.     

数据并行语言中的任务并行

数据并行虽然已经获得了广泛的应用,但是,仍然有一些应用程序不适于数据并行语言的并行模式,如树结构算法。数据并行与任务并行的结合可以很好地解决这些问题。该文主要讨论了在数据并行中引入任务并行时,遇到的共享变量、代码生成和处理器分配等问题,比较和分析了基于编译、基于语言和基于协作库的方法。