轻量化卷积神经网络技术研究

为了使卷积神经网络模型更好地应用于移动端和嵌入式设备，必须从减少模型参数量和降低计算复杂度两方面入手。首先简要介绍了目前几种流行的解决方法，并详细阐述了六个轻量化卷积神经网络模型，展示了其中应用的不同网络计算方式的计算量和参数量，论述了模型的核心构建模块、整体网络结构和创新之处。分析了各网络以及常规卷积网络在ImageNet数据集上的分类准确度，进而对比各网络实现轻量化的技巧，得出在进行模型设计时采用直接指标替代间接指标的结论。同时发现了残差结构对保证轻量化模型准确率的重要性。最后对轻量化卷积神经网络的发展前景进行了展望。     

应用空洞卷积的神经网络轻量化方法#br#

为了深度卷积神经网络能够更好地应用于边缘设备,减少深度神经网络的模型参数量,降低网络复杂度,对于轻量化卷积神经网络的研究日益增多。将常用于多尺度融合的卷积——空洞卷积首次应用于神经网络轻量化领域研究。利用空洞卷积采样与扩大感受野的结构特性,实现了模型参数量的减少与计算复杂度的降低。将空洞卷积单纯作用于残差网络结构,达到轻量化目的,并进一步与逐点卷积结合,提高轻量化效果,形成改进型空洞卷积轻量化方法。为减少准确率衰减,将改进型空洞卷积与普通卷积相融合,提出一种融合型空洞卷积轻量化方法。实验结果表明,改进型空洞卷积轻量化方法具有最显著的轻量化效果,融合型空洞卷积轻量化方法使模型参数量减少同时具有最佳速度与精度的权衡。     

面向移动端的轻量化卷积神经网络结构

随着移动设备的大量普及,将卷积神经网络应用于移动设备具有极大的实用价值。虽然随着技术的发展,目前移动设备的计算能力和存储资源都有了极大的提高,但是在移动设备上运行卷积神经网络仍然具有很大的挑战。为了解决这个问题,提出了一种轻量化的卷积神经网络结构S-MobileNet。该结构可以显著地减少网络模型的参数量以及降低模型的计算复杂度。为了全面评测S-MobileNet的性能,在CIFAR-10、CIFAR-100和ImageNet等图像分类数据集上进行了相关实验。实验结果表明,所提出的网络结构在保持MobileNetV2同等准确度的前提下,网络模型的参数量较MobileNetV2减少了近1/3,计算复杂度较MobileNetV2降低了近40%。     

轻量级的三维点云识别方法

针对当前三维点云识别方法存在时间和空间复杂度较高的问题,提出一种轻量级的三维点云识别方法.使用最远点采样法从原始点云中获取采样点,在采样点处构建K近邻图来有效获取点云的局部结构信息,大幅度降低网络的计算复杂度;使用注意力机制突出局部区域不同K近邻点的重要性,达到增强局部结构特征的目的;利用分组卷积提取高层次的局部结构特征的同时减少卷积层的参数量.在保证较高的识别准确率的前提下减少全连接层的参数量.在M odelNet40数据集上的实验结果表明,该方法的识别准确率达到同等或更优水平,网络模型的参数量得到大幅度减少,训练时间和测试时间更短,同时保持较高的鲁棒性.     

基于关键点估计的实时道路元素检测算法

针对手工设计神经网络结构成本较高、基于锚框的分类回归任务计算量较大以及小目标检测能力较弱的问题,文中使用基于神经网络结构搜索的EfficientNet-B3作为特征提取网络,改进基于双向特征金字塔网络的特征融合方法作为特征融合网络,利用关键点估计代替锚框,执行分类与回归任务,提出基于关键点估计的实时道路元素检测算法.在BDD100K数据集上的实验表明,文中算法在实时检测的基础上可达到较优的检测效果,在小目标上检测精度较高.     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

基于自动驾驶系统的轻量型卷积神经网络优化

计算机视觉技术大量应用于自动驾驶系统,主要解决物体识别与物体分类问题,本文根据任务提出了一种轻量化的神经网络结构.为解决训练数据规模不足的问题,采用了改进型数据增强算法,使训练数据成倍增加.同时为解决使用数据生成器作为验证集,无法使用tensorboard的问题,提出了解决方案,通过卷积网络可视化方法详细研究了神经网络处理图像信息的原理并提出了优化方法.训练后的模型在验证集上准确率达到了97.5%,满足了自动驾驶系统对分类任务准确率的要求.     

改进多层尺度特征融合的目标检测算法

为提高小目标检测任务的准确率和稳定性,解决SSD(single shot MultiBox detector)算法在小目标识别和定位过程中准确率较低的问题,基于SSD算法提出一种改进方法.在原始的SSD卷积网络结构上进行修改和优化,通过特征图之间的特征融合,重构卷积预测特征图上的物体特征信息.考虑到网络复杂度增加带来的...     

基于DeepLab V3模型的图像语义分割速度优化研究

为了解决移动端视觉感知模块的内存资源和硬件条件不适应卷积神经网络的快速应用等问题。以经典的DeepLab V3模型为基础,在保证分割精度的前提下,以优化卷积神经网络模型的运行速度为目标,提出一种新的轻量化网络结构。所设计的网络结构将原有非线性激活函数替换成新的Swish激活函数进行精度补偿,采用改进后的轻量化MobileNet V2结构替代DeepLab V3原有的特征提取器。实验结果表明,改进的DeepLab V3网络模型和目前精度最高的DeepLab V3+算法相比,其在维持一定精度的前提下,参数量和计算复杂度大大减小,运行速度明显提升,模型内存占用率下降了近96%,综合性能更强,更适合对分割性能要求较高的快速分割网络。     

基于耦合瞬态混沌神经网络的同等并行机调度

在各种生产制造系统中都广泛存在着同等并行机调度. 本文提出了一种新的耦合瞬态混沌神经网络来求解同等并行机调度问题. 通过引入新的换位矩阵将该问题的混合整数规划模型转化为耦合瞬态神经网络的计算结构. 同时, 提出了新的计算能量函数, 使其能够包含所有约束和目标. 此外, 采用时变惩罚参数, 克服了能量函数中各惩罚项之间的权衡问题. 最后, 将该算法应用于求解 3 种不同规模的随机问题并进行仿真, 每种规模随机测试 100 次. 结果显示, 该算法能在合理的时间内收敛, 并求解出这些随机问题.     

基于轻量级卷积神经网络的实时缺陷检测方法研究

应用机器视觉实现磁片表面缺陷的自动检测可以提高生产效率、降低生产成本。深度卷积神经网络具有高精度的分类性能,尤其在图像识别方面有显著的优点。但是目前提出的深度神经网络模型,由于参数量和计算量的巨大,在工业生产流水线上不能满足实时检测的需求。针对这个问题,基于深度可分离卷积和通道混洗,提出了一种轻量级高效低延时的卷积神经网络架构MagnetNets。为了评估MagnetNets网络模型的性能,将MagnetNets网络模型与MobileNets、ShuffleNet、Xception、MobileNetV2在公开数据集ImageNet中做了对比实验。然后将MagnetNets网络模型应用在磁片缺陷检测系统中进行缺陷检测。实验结果表明,提出的网络架构显著地减少参数数量,具有良好的性能。同时在磁片缺陷检测系统中减少了延时,提高检测速度,缺陷检测识别率达到了97.3%。     

基于注意力机制的点云神经网络架构搜索方法

为了解决设计面向点云数据的神经网络需要大量人工介入的问题,提出了基于注意力机制和点卷积的神经网络架构搜索方法。针对不同尺度点云的信息融合问题,提出了一种基于注意力机制的多尺度融合模块。针对点云的处理效率问题,设计了基于点卷积的特征提取模块作为候选操作,并与多尺度融合模块组成搜索单元。将多个搜索单元叠加成的神经网络作为搜索空间,并采用基于可微分神经网络架构搜索算法搜索出最优神经网络。在公开点云数据集ModelNet上的实验结果证明,该方法得到的神经网络具有领先的精度,同时具有较少的可学习参数,并且该方法大幅减少了人工介入的工作量。该数据集上的消融实验结果表明,在基线模型中加入提出的基于注意力机制的多尺度融合模块,精度提升了1.1个百分点。     

优化搜索空间下带约束的可微分神经网络架构搜索

可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能"鸿沟".针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法.首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从...     

代数符号计算的神经网络模型

文中给出一种p-adic数制式非对称连接神经网络模型,该网络在整个矢量空间只有唯一平衡点,因而可获得问题的最优解,且在存在计算误差,这种神经网络保持高度并行结构,可用了代数符号计算,本文重点分析了实现神经网络的方法,给代数符号计算提供了一个新的计算模型。     

一种基于Pareto最优概念和神经网络混合策略的多目标进化算法

基于Pareto最优的多目标进化算法得到了广泛地应用,但不适用于目标函数为非解析式的情况。基于神经网络和Pareto最优的联合策略,提出了一种解决此类问题的新方法：首先采用神经网络对历史数据进行学习,建立有效的神经网络模型来代替目标函数解析式;然后将神经网络模型嵌入多目标进化算法,进行进化计算;最后,将本文方法应用于卷烟配方比例掺配问题。实验结果表明,该方法优于传统方法,能较好地解决问题。     

Evolving the Topology and the Weights of Neural Networks Using a Dual Representation

Evolutionary computation is a class of global search techniques based on the learning process of a population of potential solutions to a given problem, that has been successfully applied to a variety of problems. In this paper a new approach to the construction of neural networks based on evolutionary computation is presented. A linear chromosome combined to a graph representation of the network are used by genetic operators, which allow the evolution of the architecture and the weights simultaneously without the need of local weight optimization. This paper describes the approach, the operators and reports results of the application of this technique to several binary classification problems.     

GSO:基于图神经网络的深度学习计算图子图替换优化框架

深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜...     

模糊神经网络在课堂教学质量评价中的应用

为解决课堂教学质量的评价工作量大、统计繁琐等问题,并考虑到神经网络用于教学质量评价的进步性和局限性,基于教学过程中存在大量模糊信息的特征,以及模糊神经网络是模糊逻辑和神经网络有机地结合,并汇集了各自的优点,集学习、联想、识别、自适应及模糊信息处理于一体特点,提出了用模糊神经网络来评价教师的课堂教学质量的方法,仿真计算表明,采用数学模型具有较好的评价效果.同其他方法相比,具有科学、简洁、可操作性强等特点,而且模型的结构与方法应用前景广阔.     

Neural network approach for multicriteria solid transportation problem

In this paper, we propose neural network approach for multicriteria solid transportation problems(STP). First we suggest a neural network architecture to solve single-objective STP according to augmented Lagrange multiplier method. Due to the massive computing unit-neurons and parallel mechanism of neural network approach can solve the large scale problem efficiently and optimal solution can be got. Then we transform the original multicriteria problem into a single objective problem by global criteria method and adopt the neural network approach to solve it. By this way we can get the satisfactory solution of the original problem. The procedure and efficiency of this approach are shown with numerical simulations.