基于Intel平台的Winograd快速卷积算法研究与优化

随着深度学习的快速发展,其在语音处理、图像识别和自然语言理解等领域被广泛应用,为科研产业以及日常生活带去了巨大的变革.Intel紧跟深度学习的浪潮,推出了第2代Xeon Phi处理器KNL(knights landing),其后又发布了第3代Xeon Phi处理器KNM(knights mill),为深度学习的蓬勃发展带去了新的活力.通过在Intel平台上进行快速卷积算法Winograd的研究与优化,对比Intel MKL(math kernel library) DNN(deep neural network)中的卷积性能,推动Intel MKL DNN中深度神经网络接口的完善以及Intel平台上深度学习的发展.研究中结合Intel最新深度学习平台的AVX-512指令集、高速内存MCDRAM、多Memory/SNC模式、二维网格状内核结构等特性,并通过对内存分配、数据调度等情况的分析,设计优化Winograd算法,一方面选取典型的卷积神经网络(convolutional neural network, CNN)网络模型VGG19,测试对比Intel MKL DNN的卷积实现,最终取得了2倍多的性能加速比;另一方面,通过测试常用卷积类型,对比Intel MKL DNN和NVIDIA cuDNN,验证了实现的Winograd对于常用卷积类型具有很好的适用性且具有实际使用价值.该研究工作期望为Intel平台在深度学习领域的发展提供重要的指导意义.     

优化搜索空间下带约束的可微分神经网络架构搜索

可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能\"鸿沟\".针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法.首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从...     

数据驱动的RF信号深度调制识别方法

基于卷积结构的信号调制识别神经网络的识别性能受信号调制类型种类限制。例如,在12 dB信噪比条件下,同时对24种信号调制类型进行识别,其识别准确率仅为80%。若需要进一步提高识别性能,则要求更复杂的网络模型,导致网络训练所需数据集规模和硬件资源成本增大。鉴于此,针对无线电信号特征,设计一种适用于无线电信号调制识别的紧致残差神经网络,将其作为信号调制类型特征学习和特征提取工具,实现从原始I、Q数据到信号调制类型的端到端识别。利用迁移学习降低网络重新训练所需样本数,增强在无线信道响应发生变化时的环境适应能力,降低训练阶段所需的硬件资源和训练数据集规模。研究表明,当信道脉冲响应改变时,所提的信号调制识别神经网络在信噪比为12 dB条件下的识别性能达到95%,多个对比实验验证本文所设计神经网络的识别性能具有优势。     

聚类和群智能优化算法的自动剪枝方法

近年来,网络剪枝技术作为一种极为有效的卷积神经网络压缩方案,得到了迅猛的发展,其中通道剪枝得益于其硬件友好性,有着尤为明显的优势。然而,当前主流方法集中于通过通道重要性评估或人工干预来实现剪枝,低效且容易导致次优结果;同时一些基于搜索算法的自动化剪枝方法则难以控制搜索空间与搜索效率之间的平衡。为了解决这些问题,提出了一种基于聚类与群智能优化算法的自动通道剪枝方法。具体来说,根据特征图的相似度利用K-Mediod算法进行逐层的通道聚类,并通过灵敏度分析找到当前最优剪枝率,从而形成初步的压缩模型,引入粒子群算法（PSO）对其进行迭代搜索并找到最优剪枝网络结构。对剪枝网络进行微调,以降低精度损失。在CIFAR-10、ILSVRC-2012上对几种最为常用的CNN模型进行了评估,与近年来的主流方法相比实验结果有所提升,证明了剪枝后网络的有效性,在ILSVRC-2012中,在ResNet-50达到45.5%剪枝率的前提下,模型准确度只降低了0.23个百分点。     

神经结构搜索的研究进展综述

近年来,深度神经网络(DNNs)在许多人工智能任务中取得卓越表现,例如计算机视觉(CV)、自然语言处理(NLP).然而,网络设计严重依赖专家知识,这是一个耗时且易出错的工作.于是,作为自动化机器学习(AutoML)的重要子领域之一,神经结构搜索(NAS)受到越来越多的关注,旨在以自动化的方式设计表现优异的深度神经网络模...     

一种基于强化学习的限定代价下卷积神经网结构自动化设计方法

目前的神经网络结构自动化设计方法主要对所设计神经网络结构的预测准确率进行优化。然而,实际应用中经常要求所设计的神经网络结构满足特定的代价约束,如内存占用、推断时间和训练时间等。该文提出了一种新的限定代价下的神经网络结构自动化设计方法,选取内存占用、推断时间和训练时间三类代表性代价在 CIFAR10 数据集上进行了实验,并与现有方法进行了对比分析。该方法获得了满足特定代价约束的高准确率的卷积神经网络结构,可优化的代价种类比现有方法更多。     

基于深度学习的单幅图片超分辨率重构研究进展

图像超分辨率重构技术是一种以一幅或同一场景中的多幅低分辨率图像为输入, 结合图像的先验知识重构出一幅高分辨率图像的技术. 这一技术能够在不改变现有硬件设备的前提下, 有效提高图像分辨率. 深度学习近年来在图像领域发展迅猛, 它的引入为单幅图片超分辨率重构带来了新的发展前景. 本文主要对当前基于深度学习的单幅图片超分辨率重构方法的研究现状和发展趋势进行总结梳理: 首先根据不同的网络基础对十几种基于深度学习的单幅图片超分辨率重构的网络模型进行分类介绍, 分析这些模型在网络结构、输入信息、损失函数、放大因子以及评价指标等方面的差异; 然后给出它们的实验结果, 并对实验结果及存在的问题进行总结与分析; 最后给出基于深度学习的单幅图片超分辨率重构方法的未来发展方向和存在的挑战.     

神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.     

机器学习在预测人体运动地面反作用力中的应用综述

三维地面反作用力（Ground reaction force, GRF）是人体运动分析的重要测量参数,但其测量受到一定限制。本文系统归纳了机器学习在预测GRF中的应用现状。以“ground reaction force”与“machine learning”“neural network”组合为关键词检索,筛选利用机器学习模型预测GRF的研究。共纳入14篇研究,研究的动作包括步行、跑步及个别专项动作,利用不同的学习算法来预测GRF,输入参数包括足底压力参数、运动捕捉获取的人体运动学参数等,均采用相关系数及均一化均方根误差作为评价指标。结果显示,利用机器学习预测GRF可获得极好的预测精度。利用机器学习模型预测GRF在人体运动中的应用还有待更多的研究,如增加用于机器学习的数据集大小可进一步提高学习模型的预测性能等。     

基于自编码神经网络的半监督联邦学习模型

联邦学习是一种新型的分布式机器学习方法,可以使得各客户端在不分享隐私数据的前提下共同建立共享模型。然而现有的联邦学习框架仅适用于监督学习,即默认所有客户端数据均带有标签。由于现实中标记数据难以获取,联邦学习模型训练的前提假设通常很难成立。为解决此问题,对原有联邦学习进行扩展,提出了一种基于自编码神经网络的半监督联邦学习模型ANN-SSFL,该模型允许无标记的客户端参与联邦学习。无标记数据利用自编码神经网络学习得到可被分类的潜在特征,从而在联邦学习中提供无标记数据的特征信息来作出自身贡献。在MNIST数据集上进行实验,实验结果表明,提出的ANN-SSFL模型实际可行,在监督客户端数量不变的情况下,增加无监督客户端可以提高原有联邦学习精度。     

基于多层忆阻脉冲神经网络的强化学习及应用

人工神经网络（Artificial neural networks,ANNs）与强化学习算法的结合显著增强了智能体的学习能力和效率.然而,这些算法需要消耗大量的计算资源,且难以硬件实现.而脉冲神经网络（Spiking neural networks,SNNs）使用脉冲信号来传递信息,具有能量效率高、仿生特性强等特点,且有利于进一步实现强化学习的硬件加速,增强嵌入式智能体的自主学习能力.不过,目前脉冲神经网络的学习和训练过程较为复杂,网络设计和实现方面存在较大挑战.本文通过引入人工突触的理想实现元件——忆阻器,提出了一种硬件友好的基于多层忆阻脉冲神经网络的强化学习算法.特别地,设计了用于数据——脉冲转换的脉冲神经元;通过改进脉冲时间依赖可塑性（Spiking-timing dependent plasticity,STDP）规则,使脉冲神经网络与强化学习算法有机结合,并设计了对应的忆阻神经突触;构建了可动态调整的网络结构,以提高网络的学习效率;最后,以Open AI Gym中的CartPole-v0（倒立摆）和MountainCar-v0（小车爬坡）为例,通过实验仿真和对比分析,验证了方案的有效性和相对于传统强化学习方法的优势.     

一种只利用序列信息预测RNA结合蛋白的深度学习模型

RNA结合蛋白在选择性剪贴、RNA编辑及甲基化等多种生物功能中发挥非常重要的作用,从氨基酸序列预测这些蛋白的功能成为基因组功能注释领域的重要挑战之一. 传统的预测方法往往从序列中提取氨基酸的理化特性作为初始特征,忽略了motif及motif之间的位置信息,同时由于训练数据规模小、噪声大,导致预测的精度及可信度降低. 在此提出了一种从序列预测RNA结合蛋白的深度学习模型. 该模型利用2阶段卷积神经网络探测蛋白质序列的功能域,利用长短期记忆网络获得序列的定长特征表示并且能够学习到功能域之间的长短期依赖关系.预测算法中所用到的特征均是通过“学习”自动获得,克服了传统机器学习中特征选择过程过多的人工干预. 实验结果表明:模型在处理大规模序列数据时具有明显的优势.     

极限学习机综述

极限学习机是一种单隐层前向网络的训练算法,主要特点是训练速度极快,而且可以达到很高的泛化性能。回顾了极限学习机的发展历程,分析了极限学习机的数学模型,详细介绍了极限学习机的各种改进算法,并列举了极限学习机在识别、预测和医学诊断领域的应用。最后总结预测了极限学习机的改进方向。     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

随机配置网络研究进展

随机配置网络(stochastic configuration network, SCN)是一种新兴的增量式神经网络模型,与其他随机化神经网络方法不同,它能够通过监督机制进行隐含层节点参数配置,保证了模型的快速收敛性能.因其具有学习效率高、人为干预程度低和泛化能力强等优点,自2017年提出以来, SCN吸引了大量国内外学者的研究兴趣,得到了快速的推广和发展.从SCN的基础理论、典型算法变体、应用领域以及未来研究方向等方面切入,全面地概述SCN研究进展.首先,从理论的角度分析SCN的算法原理、通用逼近性能及其优点;其次,重点研究深度SCN、二维SCN、鲁棒SCN、集成SCN、分布式并行SCN、正则化SCN等典型变体;随后介绍SCN在硬件实现、计算机视觉、医学数据分析、故障检测与诊断、系统建模预测等不同领域的应用进展;最后指出SCN在卷积神经网络架构、半监督学习、无监督学习、多视图学习、模糊神经网络、循环神经网络等研究方向的发展潜力.     

基于全卷积神经网络和多核学习的显著性检测*

针对显著性检测过程中特征选择的个人主观片面性和预测过程中特征权重的难以协调性问题,提出了一种基于全卷积神经网络和多核学习的监督学习算法。首先通过MSRA10K图像数据库训练出的全卷积神经网络(FCNN),预测待处理图像的初步显著性区域图;然后在多尺度上选择置信度高的前景、背景超像素块作为多核SVM分类器的训学习样本集,选择并提取八种典型特征代表对应样本训练SVM,接着通过多核SVM分类器预测各超像素显著值;最后融合初步显著图和多核学习显著图,改善FCNN网络输出图的不足,得到最终的显著性目标。方法在SOD数据库和DUT-OMRON数据库上有更高的AUC值,F-Measure值,综合性能均优于对比方法,验证了方法在显著性检测中准确性的提高,为目标识别、机器视觉等应用提供更可靠的预处理结果。     

融合感知损失的生成式对抗超分辨率算法

目的 现有的基于深度学习的单帧图像超分辨率重建算法大多采用均方误差损失作为目标优化函数,以期获得较高的图像评价指标,然而重建出的图像高频信息丢失严重、纹理边缘模糊,难以满足主观视觉感受的需求。同时,现有的深度模型往往通过加深网络的方式来获得更好的重建效果,导致梯度消失问题的产生,训练难度增加。为了解决上述问题,本文提出融合感知损失的超分辨率重建算法,通过构建以生成对抗网络为主体框架的残差网络模型,提高了对低分率图像的特征重构能力,高度还原图像缺失的高频语义信息。方法 本文算法模型包含生成器子网络和判别器子网络两个模块。生成器模块主要由包含稠密残差块的特征金字塔构成,每个稠密残差块的卷积层滤波器大小均为3×3。通过递进式提取图像不同尺度的高频特征完成生成器模块的重建任务。判别器模块通过在多层前馈神经网络中引入微步幅卷积和全局平均池化,有效地学习到生成器重建图像的数据分布规律,进而判断生成图像的真实性,并将判别结果反馈给生成器。最后,算法对融合了感知损失的目标函数进行优化,完成网络参数的更新。结果 本文利用峰值信噪比（PSNR）和结构相似度（SSIM）两个指标作为客观评价标准,在Set5和Set14数据集上测得4倍重建后的峰值信噪比分别为31.72 dB和28.34 dB,结构相似度分别为0.892 4和0.785 6,与其他方法相比提升明显。结论 结合感知损失的生成式对抗超分辨率重建算法准确恢复了图像的纹理细节,能够重建出视觉上舒适的高分辨率图像。     

增量构造式随机循环神经网络

针对循环神经网络(recurrent neural network, RNN)的结构不易确定、参数学习过程复杂等问题, 提出一种增量构造式随机循环神经网络(incremental-construction random RNN, IRRNN), 实现了RNN结构的增量构造与参数的随机学习. 首先建立隐含节点增量构造的约束机制, 同时利用候选节点池策略实现隐含节点的优选, 避免了网络随机构造的盲目性; 进一步, 从模型参数的局部优化与全局优化两个角度考虑, 提出模型参数的两种增量随机(incremental random, IR)学习方法, 即IR-1与IR-2, 并证明了其万能逼近特性; 同时通过研究IRRNN的动态特性, 分析了IRRNN的泛化性能. 通过实验验证了IRRNN在动态特性、紧凑性和精度等多个方面具有良好特性.