深度卷积神经网络的多GPU并行框架

近年来,深度卷积神经网络在图像识别和语音识别等领域被广泛运用,取得了很好的效果。深度卷积神经网络是层数较多的卷积神经网络,有数千万参数需要学习,计算开销大,导致训练非常耗时。针对这种情况,本文提出深度卷积神经网络的多GPU并行框架,设计并实现模型并行引擎,依托多GPU的强大协同并行计算能力,结合深度卷积神经网络在训练中的并行特点,实现快速高效的深度卷积神经网络训练。      

深度强化学习的图像特征高效分类方法仿真

针对现有的图像特征分类方法收敛性差,分类无法满足日益增加的网络需求的现状,本文提出了一种基于深度强化学习的图像特征分类方法.通过对目标图像特征区域进行复域Contourlet分解,过滤处理分解结果,从而可以将目标图像子带系数矩阵提取出来,求取系数矩阵的相关特征.采取深度学习网络,使所选图像的特征向量直接经过已训练的层状...     

基于深度学习的电力图像大数据分类研究

与普通图像数据分类相比,电力图像数据之间的相似度更高,为数据的分类工作带来较大难度,以提高电力图像大数据分类精度为目的,提出基于深度学习的电力图像大数据分类方法。采用数据挖掘的方式,采集电力图像大数据,通过灰度化、滤波等步骤,完成对初始电力图像大数据的预处理。利用深度学习算法中的卷积神经网络,通过前向传播与反向传播的训练,得出电力图像大数据特征的提取结果。最终通过特征匹配,确定电力图像大数据的所属类型,完成数据的分类工作。通过性能测试实验得出结论：与传统方法相比,优化设计方法的分类准确率和召回率分别提高了4.8%和2.35%,即优化设计方法在分类性能方面具有明显优势。     

细粒度图像分类的深度学习方法

细粒度图像分类旨在从某一类别的图像中区分出其子类别,通常细粒度数据集具有类间相似和类内差异大的特点,这使得细粒度图像分类任务更加具有挑战性.随着深度学习的不断发展,基于深度学习的细粒度图像分类方法表现出更强大的特征表征能力和泛化能力,能够获得更准确、稳定的分类结果,因此受到了越来越多研究人员的关注和研究.首先,从细粒度...     

糖尿病性视网膜图像的深度学习分类方法

目的 糖尿病性视网膜病变（DR）是目前比较严重的一种致盲眼病,因此,对糖尿病性视网膜病理图像的自动分类具有重要的临床应用价值。基于人工分类视网膜图像的方法存在判别性特征提取困难、分类性能差、耗时费力且很难得到客观统一的医疗诊断等问题,为此,提出一种基于卷积神经网络和分类器的视网膜病理图像自动分类系统。方法 首先,结合现有的视网膜图像的特点,对图像进行去噪、数据扩增、归一化等预处理操作;其次,在AlexNet网络的基础上,在网络的每一个卷积层和全连接层前引入一个批归一化层,得到一个网络层次更复杂的深度卷积神经网络BNnet。BNnet网络用于视网膜图像的特征提取网络,对其训练时采用迁移学习的策略利用ILSVRC2012数据集对BNnet网络进行预训练,再将训练得到的模型迁移到视网膜图像上再学习,提取用于视网膜分类的深度特征;最后,将提取的特征输入一个由全连接层组成的深度分类器将视网膜图像分为正常的视网膜图像、轻微病变的视网膜图像、中度病变的视网膜图像等5类。结果 实验结果表明,本文方法的分类准确率可达0.93,优于传统的直接训练方法,且具有较好的鲁棒性和泛化性。结论 本文提出的视网膜病理图像分类框架有效地避免了人工特征提取和图像分类的局限性,同时也解决了样本数据不足而导致的过拟合问题。     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

面向三维模型多样化分类的深度集成学习

基于深度学习的三维模型分类方法大都面向特定的具体任务,在面向三维模型多样化分类任务时表现不佳,泛用性不足。为此,提出了一种通用的端到端的深度集成学习模型E2E-DEL(end-to-end deep ensemble learning),由多个初级学习器和一个集成学习器组成,可以自动学习复杂三维模型的复合特征信息;并使用层次迭代式学习策略,综合考量不同层次网络的特征学习能力,合理平衡各个初级学习器的子特征学习和集成学习器的集成特征学习效果,自适应于三维模型多样化分类任务。基于此,设计了一种面向多视图的深度集成学习网络MV-DEL(multi-view deep ensemble learning),应用于一般性、细粒度、零样本三种不同类型的三维模型分类任务中。在多个公开数据集上的实验验证了该方法具有良好的泛化性与普适性。     

基于深度字典学习的图像分类系统设计

由于图像分类标准的可靠性较低,导致在具体的分类阶段,错误分类的情况较为普遍,提出基于深度字典学习的图像分类系统设计研究。结合图像分类的实际计算需求,在硬件构架中设置了3个数字低压差线性稳压器（Low Dropout Regulator,LDO）和旁路调节场效应晶体管（Field Effect Transistor,FET）结构,并将ET200SP的SIMATIC ET 200SP模块作为系统主体构架,从而实现图像分类标准输出模块和字典输出模块的集中控制。在软件运行逻辑的设计上,构建了具有分层特征的学习网络结构,分析得到图像稀疏度字典库,将其作为图像分类的标准,实现对图像的分类处理。测试结果表明,设计系统可以实现对图像的准确分类。     

基于深度学习的乳腺癌病理图像自动分类

乳腺癌病理图像的自动分类具有重要的临床应用价值。基于人工提取特征的分类算法,存在需要专业领域知识、耗时费力、提取高质量特征困难等问题。为此,采用一种改进的深度卷积神经网络模型,实现了乳腺癌病理图像的自动分类;同时,利用数据增强和迁移学习方法,有效避免了深度学习模型受样本量限制时易出现的过拟合问题。实验结果表明,该方法的识别率可达到91%,且具有较好的鲁棒性和泛化性。     

基于深度学习的乳腺癌病理图像分类研究综述

准确、高效的乳腺癌病理图像分类是计算机辅助诊断的重要研究内容之一。随着机器学习技术的发展,深度学习日渐成为一种有效的乳腺癌病理图像分类处理方法。分析了乳腺癌病理图像分类方法及目前存在的问题;介绍了四种相关的深度学习模型,对基于深度学习的乳腺癌病理图像分类方法进行梳理,并通过实验对比分析现有模型的性能;最后对乳腺癌病理图像分类的关键问题进行了总结,并讨论了未来研究的发展趋势。     

基于种群演化的超参数异步并行搜索

近年来随着深度学习尤其是深度强化学习模型的不断增大,其训练成本即超参数的搜索空间也在不断变大,然而传统超参数搜索算法大部分是基于顺序执行训练,往往需要等待数周甚至数月才有可能找到较优的超参数配置.为解决深度强化学习超参数搜索时间长和难以找到较优超参数配置问题,提出一种新的超参数搜索算法—–基于种群演化的超参数异步并行搜...     

并行图形绘制技术综述

为研究并行图形绘制技术,介绍图形绘制的流水线过程,对其内在的可并行性进行分析,研究并行绘制的实现方式,包括流水线并行、数据并行和作业并行,以及前分布拼接合成、中分布拼接合成和后分布拼接合成,讨论并行绘制面临的主要问题及其发展趋势。     

基于深度学习的数据融合方法研究综述

数据融合是最大程度发挥大数据价值的关键,深度学习是挖掘数据深层特征信息的技术利器,基于深度学习的数据融合能够充分挖掘大数据潜在价值,从新的深度和广度拓展对世界的探索和认识。综述了近几年基于深度学习的数据融合方法的相关文献,以此了解深度学习在数据融合中应用所具有的优势。分类阐述常见的数据融合方法,同时指出这些方法的优点和不足。从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析,并做了对比研究与总结。总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。     

显著性检测引导的图像数据增强方法

针对多数数据增强方法在裁剪区域的选择中过于随机,以及多数方法过分关注图像中的特征显著区域而忽略了对图像中鉴别性较差区域进行加强学习,提出SaliencyOut以及SaliencyCutMix方法,旨在加强对图像中鉴别性较差区域特征的学习。具体来说,SaliencyOut首先利用显著性检测技术生成原图像的显著性映射图,之后在显著性图中寻找一个特征显著区域,接着将此区域中的像素去除。SaliencyCutMix则是将原图像的裁剪区域去除之后,使用补丁图像中相同区域的图块进行替换。通过对图像中部分特征显著区域的遮挡或替换,引导模型学习关于目标对象的其他特征。此外,针对在裁剪区域较大时,可能丢失过多显著特征区域的问题,提出在裁剪边界的选定中加入自适应缩放因子。该因子可以根据裁剪区域边界初始大小的不同,动态地调整裁剪边界。在4个数据集中的实验表明：本文方法可显著提升模型的分类性能以及抗干扰能力,优于多数先进方法。尤其是在Mini-ImageNet数据集中,应用于ResNet-34网络,SaliencyCutMix相较于CutMix的Top-1准确率提升了1.18%。     

面向高光谱图像分类的内容引导卷积深度网络并行实现

目的 受限于卷积核形状固定,传统卷积神经网络（convolutional neural network,CNN）方法难以精确分类高光谱图像（hyperspectral image,HSI）中的跨类别边缘区域,导致地物边界模糊。内容引导CNN （content-guided CNN,CGCNN）能够根据地物形态自适应调整卷积核形状,具有地物边缘保持分类能力。但由于内容引导卷积属于非固定模板结构,不能直接调用现有深度学习加速库实现并行计算。针对该问题,本文设计了一种内容引导卷积的并行计算方法,并验证其加速及分类性能。方法 本文基于内容引导卷积等价于各向异性核加权和标准卷积的组合结构,通过利用深度学习库中的平铺、堆叠、网格和采样等底层函数构造索引矩阵来定义重采样方式,以将内容引导卷积分解为与空间位置无关的像素级独立计算过程,并在图形处理器（graphics processing unit,GPU）上并行执行。结果 经测试,本文提出的并行化内容引导卷积相比串行运算方式平均提速近700倍。在分类性能测试中,并行化CGCNN在合成数据集上表现出优异的细节保持分类能力,总精度平均高于对比方法7.10%;同时在两组真实数据集上亦取得最优分类结果,分别高于对比方法7.21%、2.70%。结论 通过将内容引导卷积分步拆解,能够将其转化为一系列并行计算过程,且能够在GPU上高效执行;并通过在多组数据集上的分类精度、参数敏感度和小样本学习等综合性能测试进一步表明,并行化CGCNN在具有优良分类性能的同时,亦具有对不同地物的边缘保持分类能力,能够获得更精细的分类结果。     

基于Map Reduce的Bagging贝叶斯文本分类

集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法分类准确率较高,运行时间较短,适用于大规模文本数据集的分类学习。     

基于深度学习的管道纱线及其颜色检测

为了保证自动换筒系统中的纱线自动打结机能够正常运行, 需要对管道吸取的纱线进行检测. 纱线纤细、种类繁多且颜色各异, 传感器方法难以胜任, 使用图像处理的方式较为合适. 但是对于纱线检测问题传统的图像处理方法复杂且检测准确率低, 难以解决纱线种类多、尺寸不一以及颜色多等问题, 故本文提出了一种基于Inception v...     

基于卷积神经网络的图像数据增强算法

提升卷积神经网络的泛化能力和降低过拟合的风险是深度卷积神经网络的研究重点。遮挡是影响卷积神经网络泛化能力的关键因素之一,通常希望经过复杂训练得到的模型能够对遮挡图像有良好的泛化性。为了降低模型过拟合的风险和提升模型对随机遮挡图像识别的鲁棒性,提出了激活区域处理算法,在训练过程中对某一卷积层的最大激活特征图进行处理后对输入图像进行遮挡,然后将被遮挡的新图像作为网络的新输入并继续训练模型。实验结果表明,提出的算法能够提高多种卷积神经网络模型在不同数据集上的分类性能,并且训练好的模型对随机遮挡图像的识别具有非常好的鲁棒性。     

基于传统方法与深度学习方法的图片相似度算法比较

图片相似度比对作为计算机视觉的一个研究方向, 具有广泛的应用前景, 例如人脸识别、行人重识别和目标跟踪等. 然而, 目前有关图片相似度算法的总结和归纳相对较少, 并且将其应用在实际工业生产中也存在挑战. 本文总结了传统图像处理算法和深度学习图像处理算法在图片相似度比对方面的原理与表现, 旨在选取最佳的算法用于药品图片相似度比对的场景中. 在传统图像处理算法中, ORB算法在测试集上表现最佳, 准确率为93.09%; 在深度学习算法中, 采用改进的孪生网络结构、发明了一种标签生成法、设置特定的数据增强策略并增加一个特征面分类网络, 从而提高了训练效率和准确率. 最终的测试结果显示, 改进的孪生网络表现最佳, 可以实现98.56%的准确率和27.80次/s的推理速度. 综上所述, 采用改进的孪生网络算法更适用于药品图片的快速比对, 并且有望在未来的医药行业中得到广泛应用.     

基于可分离结构变换的轻量级Vision Transformer

由于视觉Transformer结构模型参数量大、浮点计算次数高,使得其难以部署到终端设备上。因为注意力矩阵存在低秩瓶颈,所以模型压缩算法和注意力机制加速算法不能很好地平衡模型参数量、模型推理速度和模型性能之间的关系。为了解决上述问题,本文设计一种轻量级的Vi T-SST模型用于图像分类任务。首先,通过将传统全连接层转换为可分离结构,大幅度降低模型参数量且提高了模型推理速度,保证了注意力矩阵不会因出现低秩而破坏模型表达能力;其次,提出一种基于SVD分解的克罗内克积近似分解法,可以将公开的Vi T-Base模型预训练参数转换至Vi T-Base-SST模型,略微缓解了Vi T模型的过拟合现象并提高了模型精度。在常见公开图片数据集CIFAR系列和Caltech系列上的实验验证了本文方法优于对比方法。