GSO:基于图神经网络的深度学习计算图子图替换优化框架

深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜...     

OclDNN:一种可应用于TensorFlow的通用DNN库

深度学习模型的构建、训练以及推理离不开TensorFlow等机器学习框架中深度学习算子的支撑，对于卷积、池化等深度学习中被高频调用或计算量较大的算子，机器学习框架一般通过调用深度神经网络（DNN）库来提升计算效能。现有DNN库主要由英伟达、AMD等少数国外厂商开发并根据自有硬件设备特点进行优化，但其封闭性导致其他厂商生产的通用加速器难以在深度学习领域发挥作用。为解决现有DNN库无法支持国产加速器的问题，使得深度学习模型能够调用国产加速器进行运算，研究跨平台的通用DNN库，通过对开源MIOpen的结构特点和调用方式进行分析，提出修改和重构该库的方法，并实现一种基于OpenCL的DNN(OclDNN)库。考虑到TensorFlow较高的流行度及其对DNN库调用的特殊性与复杂性，研究通用DNN库在TensorFlow中的集成方法，通过StreamExecutor中的OpenCL平台实现对OclDNN的调用。实验结果表明，OclDNN在英伟达、华为等不同厂商的计算设备上运算结果正确可靠，在相同实验环境下，深度学习算子使用OclDNN时的加速性能比传统CPU并行算法提升了5～60倍。     

一种使用深度联合学习的ICS自适应异常检测方法

为了提高工业控制系统异常检测方法的准确性、及时性以及可部署性,本文提出了一种使用深度联合学习的ICS自适应异常检测方法FL-AETFT。具体来说,首先提出了一种基于自编码器-Transformer-付立叶变换算法的轻量级局部学习模型AETFT,以提高学习速度,合理利用硬件资源,保证了部署在分布式边缘设备中的可行性。其次提出了一种只基于正常数据的无监督学习模型,并结合核分位数估计对检测机制进行自适应动态调整。与现有方法相比,它能够准确捕捉ICS中可能随时间变化的新型异常数据范式,对ICS中的异常时序数据进行正确检测。最后将上述方法整合到联合学习框架下,使其能有效地在边缘段攻击源附近进行分布式异常检测,以最大化减少系统对异常攻击的响应时间。分布式边缘计算有助于在不影响整个系统共同运行的情况下最大化阻断受影响区域,从而提高生产效率。此外,联合学习框架允许边缘节点之间共享模型信息,进而优化全局异常检测性能。在实际应用中,这解决了每个边缘节点缺乏训练数据的问题,在多变量且高维数据的情况下尤甚。     

基于改进SSD的视频行人目标检测

针对基于视频行人检测的深度学习检测框架不能充分利用上下帧的运动信息,且计算复杂度较高的问题,提出一种改进的SSD检测框架.框架将SSD的基础特征提取网络VGG—16替换为改进的MobileNet,从而实现计算量的减少,并将GRU与改进的SSD结合以建立帧与帧之间的关联性.实验表明:与传统检测框架相比,所提方法有效提升了...     

面向嵌入式设备的深度学习物体检测优化算法

随着深度神经网络研究地不断深入,物体检测的精度和速率都在不断提升,但是随着网络层的加深,模型体积不断增大,计算代价也越来越高,无法满足神经网络直接在嵌入式设备上实现快速前向推理的需求.为了解决这个问题,本文针对嵌入式设备进行深度学习物体检测优化算法研究.首先,选择合适的物体检测算法框架和神经网络架构;然后在此基础上针对特定检测场景下采集的图片进行训练和模型剪枝;最后,对移植到嵌入式设备上的模型剪枝后的物体检测模型进行汇编指令优化.综合优化后,与原有网络模型相比,模型体积减小9.96%,速度加快8.82倍.     

基于深度学习的机器视觉轴承检测方法研究

轴承缺陷检测是机器视觉技术中一个重要的应用领域，传统算法需针对特征设计特殊算子检测缺陷，算法比较复杂，局部算子实现困难，大大降低了算法的稳定性，开发效率不高。基于此，首先分析利用机器视觉检测缺陷的方法，其次分析深度学习在轴承缺陷检测中的应用，最后分析深度学习在轴承检测应用中的未来研究方向。     

基于深度学习的自适应水墨画计算美学评估

近几年艺术作品的计算美学评估已成为一个热门的研究方向.但现有工作主要研究照片和油画,关于水墨画的定量审美评估却鲜有尝试.水墨画通过水墨相调和笔法变化来表现画面,因而在视觉特征、语义特征和审美准则上与照片和油画有显著不同.针对此问题,采用深度学习技术,提出一种自适应的水墨画计算美学评估框架.该框架首先构建水墨画图像美学评价基准数据集;然后根据水墨画审美标准提取全局与局部图像块作为多路输入,并设计一种多视角并行深度卷积神经网络来提取深度审美特征;最后基于水墨画的题材查询机制,构建自适应深度审美评估模型.实验结果表明,文中包含6个并行题材卷积组的多视角网络架构相较基础VGG16架构有较高的审美评估性能,提取的深度审美特征明显优于传统手工设计特征,其自适应模型评估结果与人工审美评价之间达到0.823的皮尔森高度显著相关,且均方误差为0.161.此外,干扰实验表明,文中的网络对构图、墨色和纹理3个绘画要素较为敏感.该研究将不仅为国画计算美学评估提供了一个基于深度学习的参考框架,而且有助于进一步探索人类审美感知与水墨画中深度学习特征之间的关系.     

基于模型剪枝和半精度加速改进YOLOv3-tiny算法的实时司机违章行为检测

为解决在嵌入式设备上实时、高精度检测司机安全驾驶监督的问题,本文基于目标检测中经典的深度学习神经网络YOLOv3-tiny,运用通道剪枝技术成功在目标检测任务中实现了模型压缩,在精度不变的情况下减少了改进后神经网络的计算总量和参数总数.并基于NVIDIA的推理框架TensorRT进行了模型层级融合和半精度加速,部署加速后的模型.实验结果表明,加速模型的推理速度约为原模型的2倍,参数体积缩小一半,精度无损失,实现了高精度下实时检测的目的.     

AutoConfig: 面向深度学习编译优化的自动配置机制

随着深度学习模型和硬件架构的快速发展,深度学习编译器已经被广泛应用.目前,深度学习模型的编译优化和调优的方法主要依赖基于高性能算子库的手动调优和基于搜索的自动调优策略.然而,面对多变的目标算子和多种硬件平台的适配需求,高性能算子库往往需要为各种架构进行多次重复实现.此外,现有的自动调优方案也面临着搜索开销大和缺乏可解释性的挑战.为了解决上述问题,本文提出了AutoConfig,一种面向深度学习编译优化的自动配置机制.针对不同的深度学习计算负载和特定的硬件平台,AutoConfig可以构建具备可解释性的优化算法分析模型,采用静态信息提取和动态开销测量的方法进行综合分析,并基于分析结果利用可配置的代码生成技术自动完成算法选择和调优.本文创新性地将优化分析模型与可配置的代码生成策略相结合,不仅保证了性能加速效果,还减少了重复开发的开销,同时简化了调优过程.在此基础上,本文进一步将AutoConfig集成到深度学习编译器Buddy Compiler中,对矩阵乘法和卷积的多种优化算法建立分析模型,并将自动配置的代码生成策略应用在多种SIMD硬件平台上进行评估.实验结果验证了AutoConfig在代码生成策略中有效地完成了参数配置和算法选择.与经过手动或自动优化的代码相比,由AutoConfig生成的代码可达到相似的执行性能,并且无需承担手动调优的重复实现开销和自动调优的搜索开销.     

面向自然语言处理的深度学习研究

近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破.本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念;其次,围绕数据表示和学习模型两方面,重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略;并进一步介绍了已有的深度学习平台和工具;最后,对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.     

基于弱监督预训练深度模型的微博情感分析

微博情感分析对于商业事务和政治选举等应用非常重要。传统的做法主要基于浅层机器学习模型,对人工提取的特征有较大的依赖,而微博情感特征往往难以提取。深度学习可以自动学习层次化的特征,并被用于解决情感分析问题。随着新的深度学习技术的提出,人们发现只要提供足够多的监督数据,就能训练出好的深度模型。然而,在微博情感分析中,通常监督数据都非常少。微博中广泛存在着弱监督数据。该文提出基于弱监督数据的“预训练—微调整”训练框架(distant pretrain-finetune),使用弱监督数据对深度模型进行预训练,然后使用监督数据进行微调整。这种做法的好处是可以利用弱监督数据学习到一个初始的模型,然后利用监督数据来进一步改善模型并克服弱监督数据存在的一些问题。我们在新浪微博数据上进行的实验表明,这种做法可以在监督数据较少的情况下使用深度学习,并取得比浅层模型更好的效果。     

输电线路部件视觉缺陷检测综述

随着我国电网系统的不断发展，基层巡检作业负担越来越重，运维成本越来越高，如何实现输电线路部件缺陷的智能化检测变得愈发重要。同时，由于国家《新一代人工智能发展规划》的提出和国家电网"数字新基建"的部署，人工智能应用于电力设备运维的相关技术得到了快速发展，对输电线路部件视觉缺陷准确检测成为亟待解决的关键问题之一。早期基于图像处理和特征工程的部件视觉缺陷检测方法对图像质量的要求较高，无法真正应用于现实复杂的输电线路作业环境；随着深度学习的兴起，基于深度学习的检测模型可以有效地将部件目标及其缺陷从复杂的输电线路航拍图像中提取出来，既节省了人工设计特征的时间，又在性能上达到了显著提升，因此逐渐成为主流研究方法。本文首先描述了基于传统算法的输电线路关键部件视觉缺陷检测技术，回顾了深度学习的发展过程并分析了深度学习在缺陷检测领域的优缺点；围绕输电线路上3个重要的部件：绝缘子、金具以及螺栓，介绍了其定位与缺陷检测的研究现状；分析了输电线路部件缺陷检测中研究的样本不平衡问题、小目标检测问题、细粒度检测问题等几个关键问题；分析了符合电网巡检任务复杂场景需求和故障诊断标准的输电线路部件缺陷检测技术的未来发展趋势。     

深度学习在工业表面缺陷检测领域的应用研究

深度卷积神经网络在处理自然图片时取得了非常好的效果,但鲜有针对工业应用领域的细分研究。本文探讨了深度学习模型在工业产品表面缺陷检测领域的应用。以Cp工业产品缺陷检测为着眼点,在设计检测方案时应用深度学习模型并辅助图像处理等相关技术,通过实验分析得到最佳应用模型。创新点在于提出了数据集信息密度这一概念,通过在多个数据集上...     

面向三维模型多样化分类的深度集成学习

基于深度学习的三维模型分类方法大都面向特定的具体任务,在面向三维模型多样化分类任务时表现不佳,泛用性不足。为此,提出了一种通用的端到端的深度集成学习模型E2E-DEL(end-to-end deep ensemble learning),由多个初级学习器和一个集成学习器组成,可以自动学习复杂三维模型的复合特征信息;并使用层次迭代式学习策略,综合考量不同层次网络的特征学习能力,合理平衡各个初级学习器的子特征学习和集成学习器的集成特征学习效果,自适应于三维模型多样化分类任务。基于此,设计了一种面向多视图的深度集成学习网络MV-DEL(multi-view deep ensemble learning),应用于一般性、细粒度、零样本三种不同类型的三维模型分类任务中。在多个公开数据集上的实验验证了该方法具有良好的泛化性与普适性。     

基于深度学习的源代码缺陷检测研究综述

源代码缺陷检测是判别程序代码中是否存在非预期行为的过程,广泛应用于软件测试、软件维护等软件工程任务,对软件的功能保障与应用安全方面具有至关重要的作用.传统的缺陷检测研究以程序分析为基础,通常需要很强的领域知识与复杂的计算规则,面临状态爆炸问题,导致检测性能有限,在误报漏报率上都有较大提高空间.近年来,开源社区的蓬勃发展积累了以开源代码为核心的海量数据,在此背景下,利用深度学习的特征学习能力能够自动学习语义丰富的代码表示,从而为缺陷检测提供一种新的途径.搜集了该领域最新的高水平论文,从缺陷代码数据集与深度学习缺陷检测模型两方面系统地对当前方法进行了归纳与阐述.最后对该领域研究所面临的主要挑战进行总结,并展望了未来可能的研究重点.     

人机协作视觉手部保护系统设计

针对人机协作中人与机器人共享工作空间时的安全问题,设计了一套人机协作视觉手部保护系统,并搭建相应的验证系统。该系统采用深度学习目标检测算法结合双目视觉技术实现对操作人员手部的识别与定位,同时利用手眼标定将视觉定位后的手部坐标转换到机器人基座坐标系下,通过计算操作人员手部与机器人末端执行器之间的距离,机器人自主执行减速、急停等安全策略。经实验验证:当操作人员在机器人工作空间作业时,通过检测手-末端相对位置关系,可以有效避免人机协作过程中机器人末端执行器与手部发生碰撞,达到了保护操作人员安全的目的。     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

基于深度学习的目标检测框架进展研究

在R-CNN框架提出后，基于深度学习的目标检测框架逐渐成为主流，可分为基于候选窗口和基于回归两类。近两年来，在Faster R-CNN、YOLO、SSD等经典的基于深度学习目标检测框架的基础上，出现了大量的优秀框架。根据优化方法对近几年提出的框架进行了梳理和总结。在PASCAL_VOC和MS COCO等主流测试集上对目标检测方法的性能及优缺点进行了对比分析。讨论了目标检测领域当前面临的困难与挑战，对可能的发展方向进行了展望。     

基于深度学习的Webshell检测

以AWD攻防中Webshell检测为背景，在超空间利用模糊C均值聚类分析发现了攻击向量全局稀疏、局部紧密的特点，提出了2种深度学习模型。由于GitHub收集的攻击行为多为随机获取，没有很好的针对性，所以对训练数据的长度进行了限制，并保留了有限的相关样本数量。由于一次攻击与相邻的2~4次操作紧密相关，而且攻击向量垂直方向关联特征明显，水平方向相对稳定，考虑到特征向量在传递过程中规模会减小，增加了卷积层的补零选项。针对深度学习训练曲线中的锯齿振荡现象，证明了Adam优化算法的快速计算公式，并修正了学习参数，不断消除了训练的Loss曲线中的锯齿，使得训练曲线按照指数规律平滑下降，迅速得到需要的训练结果。将目前已有的类似工作与提出的2种深度学习模型进行对比。实验结果表明，提出的的深度学习模型能够很好地检测出AWD中的Webshell攻击。      

基于深度学习的入侵检测模型综述

随着深度学习技术的不断深入发展,基于深度学习的入侵检测模型已成为网络安全领域的研究热点.对网络入侵检测中常用的数据预处理操作进行了总结;重点对卷积神经网络、长短期记忆网络、自编码器和生成式对抗网络等当前流行的基于深度学习的入侵检测模型进行了分析和比较;并简单说明了基于深度学习的入侵检测模型研究中常用的数据集;指出了现有...