基于全局双线性注意力的红外视频行为识别

针对红外视频缺少纹理细节特征以致在人体行为识别中难以兼顾计算复杂度与识别准确率的问题,提出一种基于全局双线性注意力的红外视频行为识别方法。为高效计算红外视频中的人体行为,设计基于两级检测网络的关节点提取模块来获得人体关节点信息,创新性地将所形成的关节点三维热图作为红外视频人体行为识别网络的输入特征;为了在轻量化计算的基础上进一步提升识别准确率,提出一种全局双线性注意力的三维卷积网络,从空间和通道两个维度提升注意力的建模能力,捕获全局结构信息。在InfAR和IITR-IAR数据集上的实验结果表明,该方法在红外视频行为识别中的有效性。     

基于MobileNet和NAM注意力机制的轻量级OpenPose网络

针对深度学习下的人体姿态识别技术,分析了OpenPose网络参数量巨大,容易产生梯度消失;MobileNet网络识别准确率较低等问题,研究了人体姿态识别、卷积神经网络以及注意力机制的工作原理。分析了OpenPose模型、ShuffleNet模型、GhostNet模型、MobileNet模型的卷积神经网络模型和NAM注意力机制的各自特点,提出了基于MobileNet网络和NAM注意力机制的人体姿态识别技术,解决了OpenPose网络参数量大运算和速率较低,MobileNet网络识别准确率较低等问题,通过实验对比识别准确率和识别速率,结果表明添加了NAM注意力机制的MobileNet网络具有识别精度高,识别速率快等特点。     

引入注意力机制的高分辨率人体姿态估计

为提升人体姿态估计的准确率，提出了将SKNet(Selective Kernel Networks)视觉注意力机制与高分辨率网络HRNet(High-Resolution Network)相结合的方法。在高分辨率网络的第一阶段，使用SKNet中的选择性卷积核替代瓶颈残差模块中的3×3卷积核，使神经元根据输入信息的不同尺度自适应调整感受野的大小。在MPII数据集上的实验表明，相较于HRNet-W32和HRNet-W48,引入注意力机制的高分辨率人体姿态估计网络在不增加参数量和计算量的情况下，在通道数C=32和通道数C=48时的平均准确率分别提高了0.7%和0.5%,同时在人的手腕、髋部、膝盖和脚踝处的准确率有较大提升。     

轻量位姿估计算法

针对实时二维姿态估计复杂模型中网络参数多、计算复杂度高的问题，文中提出一种轻量级人体姿态估计算法（SASNet）。该方法采用轻量型MobileNet v3作为骨干网络，引入空间域自注意力模型（Self-Attention）、通道域SENet模块两种维度的注意力模块，在此基础上融合构建SASM(Self-Attention SENet Module)模块，从而在减少参数、降低运算复杂度的同时，提升网络模型的性能。COCO校验集上的验证结果表明，所提算法与常见的轻量型位姿估计算法相比，能够以更少的参数量和复杂度实现更高精度的检测；SASNet与复杂模型OpenPose相比，参数量只有其11.9%；与轻量型模型Lightweight OpenPose相比，参数量减少20.5%。文中的轻量化改进方法可有效减少参数量，实现轻量化，精度较高。     

基于轻量化分割网络的违禁品识别算法

针对传统语义分割算法参数量大、运行慢,不利于违禁品识别技术实际应用的问题,提出一种基于轻量化分割网络的违禁品识别算法.在模型的浅层特征层设计空洞卷积模块来扩大网络的感受野,减少误分类并提升分割精细度.在深层特征层设计非对称卷积模块取代传统单一串联卷积操作,降低计算复杂度.实验结果表明,所提算法在识别精度和速度上取得了均...     

基于轻量化深度网络的舰船目标识别技术研究

针对海上多平台资源受限条件下的舰船目标识别任务,提出一种基于轻量化深度网络的舰船目标识别方法,通过深度可分离卷积及多尺度语义信息融合等进行改进。设计了嵌入式平台应用背景下的轻量化舰船目标识别方法,在自建目标数据集保证top5准确率达到93.5%情况下,实现了模型参数量与计算量的大幅度削减。证明了该网络在低功耗资源受限情况下能够有效完成舰船目标识别任务。     

基于改进YOLOv5的电力设备轻量化检测算法

提出一种轻量化红外目标检测算法MEGI-YOLOv5。该算法基于YOLOv5模型,首先将主干网络替换为轻量化Mobilenet-v3网络,并将颈部网络中的部分CBL结构块替换为倒残差结构的深度可分离卷积、C3模块由普通卷积和GhostConv组合代替,降低模型的参数和计算量;其次在颈部网络中嵌入ECA(Efficient Channel Attention)模块,提高模型通道间信息的注意力,从而提升模型特征提取能力。实验结果表明,该模型相较于YOLOv5模型,参数量减少22%,检测速度提升37%,模型检测精度达到96.42%,能满足变电站设备类别及发热点识别的准确性和实时性要求,为后续能够及时发现变电站设备故障提供保障。     

基于YOLOX目标检测模型轻量级裁剪

卫星对目标的实时检测广泛应用于民用与军用领域,但星载平台的处理内存与计算能力普遍有限,对检测算法的要求更高,传统的目标检测算法难以满足需求。基于此,借鉴MobileNet v3网络模型的可分离卷积思想、逆残差结构思想、通道注意力机制轻量化裁剪YOLOX网络模型,同时基于可分离卷积结构裁剪优化模型的特征金字塔模块,降低模型参数量,提出一种嵌入式平台实时处理的目标检测算法。与原YOLOX相比,实验结果表明,在保证识别精度99.12%的前提下网络模型的参数量减少了20倍左右,改进后的轻量级网络模型在嵌入式平台上检测速度可达30帧/s,平均检测精度为92.54%,为实现嵌入式平台实时目标识别提供了理论支撑。     

面向CT图像新冠肺炎识别的密集重参轻量化Transformer模型

新冠(COVID-19)肺炎严重威胁人类健康,基于深度学习的计算机辅助诊断方法能有效提高新冠肺炎的诊断效率。但是深度学习模型结构复杂、参数量和计算量大,在保持模型性能的前提下提高网络轻量化的程度具有重要研究意义,因此,该文提出一种面向CT图像新冠肺炎识别的密集重参轻量化Transformer模型(DRLTransformer)。首先,为提高模型的轻量化程度,构造了重参密集块和层次化Transformer,在保持模型精度的同时提高计算速度,降低模型参数量;然后,为充分提取新冠肺炎病灶的全局与局部信息,设计层次化Transformer增强全局注意力对局部特征相关性的关注程度,其中采用分组提取全局特征,在不同组之间进行融合获得多层次信息,并且进行信息融合,进一步提高组内和组间特征的交互能力,此外对所有全局特征进行聚合,实现深浅层特征深度融合。最后,在新冠肺炎CT数据集中进行对比实验,结果表明该模型参数量和计算量分别为1.47 M和81.232 M,相比密集网络(DenseNet)参数量降低29倍、计算量降低23倍,该模型对新冠肺炎计算机辅助诊断具有积极的意义,为深度学习模型轻量化提供了新思路。     

一种改进的Capsule及其在SAR图像目标识别中的应用

为了解决Capsule网络随着输入图像增大计算量和参数数量急剧增加的问题,对Capsule网络进行了改进并将其用于SAR自动目标识别（SAR-ATR）中。基于大脑视觉皮层以层级结构以及柱状形式处理信息的机制,提出了完全实例化的思想,并运用类脑计算对Capsule网络进行了改进。具体方法是:使用多个卷积层实现层级处理,同时使用了较少的卷积核,但每一层使用的卷积核数量随着层级加深逐渐增加,使得提取的特征更加趋于抽象化;在PrimaryCaps层中,Capsule向量由最后一层卷积层输出的所有特征图构成,使得Capsule单元包含目标局部或整体的全部特征,以实现目标的完全实例化。在SAR-ATR上,将改进的Capsule网络与原Capsule网络、传统目标识别算法和基于经典卷积神经网络的目标识别算法进行对比实验。实验结果表明,改进的Capsule网络训练参数和计算量大大减少,并且训练速度得到很大提升,在SAR图像数据集上的识别准确率较Capsule网络和前两类方法分别提高了0.37和1.96~8.96个百分点。     

基于深度可分离卷积和Transformer的关键点检测方法

随着神经网络技术的不断发展,人体姿态识别在现实生活中扮演着越来越重要的角色,广泛应用于视频监控和智能健身等方面。为满足在移动端易集成的需求,提出一种基于Transformer的姿态识别算法。通过MobileNet中的深度可分离卷积提取特征,同时添加残差结构获取低维度信息,和Transformer的编码结构结合实现人体关键点检测。实验结果表明,训练得到的网络模型的准确率与传统的基于深度学习的姿态识别方法准确率相差不超过1%,但模型参数大幅下降,更加轻量化且便于移动端的部署。     

轻量级(2+1)D卷积结构的动态手势识别研究

目前,基于卷积神经网络的动态手势识别方法取得了巨大的进展,但神经网络模型具有很大的参数量,计算成本和内存占用较大,很难应用在设备资源有限的场合.以减少计算量和参数量为出发点,提出了一种轻量级(2+1)D卷积结构.该结构在(2+1)D卷积结构的基础上,将其中的3D卷积替换为3D深度可分离卷积,在输出向量维度不变的前提下,进一步减少了(2+1)D卷积结构的计算量和参数量.为了弥补时空特征在表征动态手势上的不足,融合注意力机制模块,专注于对运动特征的提取,结合轻量级(2+1)D卷积结构提取的时空特征,可以更好地表征手势动作.实验结果表明,注意力机制模块的插入,在不增加太多额外计算和空间成本的前提下,进一步提高了模型的识别精度.基于以上结构构建的模型,在20BN-jester、EgoGesture和IsoGD数据集上分别取得了96.62%、91.83%和60.1%的识别精度,模型参数量和浮点计算量分别为5.05M和12.81GFLOPs,相比于其他手势识别模型,计算成本和内存占用大大减少,实时手势识别速度达到每秒70帧.     

基于多尺度偶数卷积注意力U-Net的医学图像分割

为了提高U-Net网络性能的同时尽可能减少额外计算量,本文提出了一种新的多尺度偶数卷积注意力UNet(Multiscale Even Convolution Attention U-Net,MECAU-Net)网络。该网络在编码端采用2×2偶数卷积代替3×3卷积进行特征提取,并借鉴多尺度思想,采用4×4偶数卷积将得到的信息直接传递给主干部分,以获取更全面的图像信息并减少额外计算开销,同时还采用对称填充解决偶数卷积提取信息过程中产生的偏移问题。此外,在2×2偶数卷积模块后加入卷积注意力模块,结合空间和通道注意力,在提取更丰富的信息的同时几乎不增加额外开销。最后,在两个医学图像数据集上进行仿真实验,实验结果表明提出的MECAU-Net网络相对于U-Net在稍微增加计算成本的情况下,分割性能得到了较大的提升,并比其他对比网络取得更好的分割性能的同时还降低了参数量。     

非合作目标局部特征识别轻量化特征融合网络设计

给出一种基于轻量化卷积神经网络的空间非合作目标局部特征检测网络,即NCDN模型。在SSD模型中引入特征融合策略以适应不同距离下的检测需求,提高模型对图像尺度变换引起局部特征分辨率降低的鲁棒性;并采用不同压缩比例对MobileNetV2内部卷积通道数量做压缩,从而得到轻量化特征提取网络;对SPEED数据集进行局部特征标注与训练以验证NCDN适用的距离范围。实验结果表明,该模型能够在45 m内距离范围保证mAP达到0.90,同时通道压缩节省75%计算量后模型精度损失仅为5%。满足在轨检测精度和计算量需求。     

一种信号调制识别网络的轻量化设计

神经网络在信号调制识别领域得到了广泛关注和研究。针对现有调制识别算法为提高识别准确率,导致模型尺寸过大、计算时间过长的问题,提出了一种调制识别神经网络的轻量化设计方案。该方案由信号失真校正模块和分类模块两部分组成。其中,信号失真校正模块通过参数估计器提取相位偏移信息,再经参数转换器对相位偏移进行参数校正,保证信号识别精度;分类模块由一维卷积神经网络(One-Dimensional Convolutional Neural Network, 1D-CNN)、选通递归单元(Gated Recurrent Unit, GRU)和高斯衰减层构成,从时间和空间的角度有效提取信号特征,并减少冗余参数量以缩减模型大小。仿真结果表明,所提方案与同精度网络相比,平均识别准确率提升0.21%,计算时间缩减到1/3.4,模型尺寸缩减到1/7.77。     

基于3D U-Net的轻量级脑肿瘤分割网络北大核心CSCD

针对现有脑肿瘤核磁共振成像(magnetic resonance imaging, MRI)分割神经网络的参数量和计算量较大且对肿瘤区域小目标分割精度不高的问题,提出一种改进的轻量级脑肿瘤分割网络MF-RES2Net(multiple fiber residual-like networks)。该网络以3D U-Net为基础架构,将多纤模块(multi-fiber, MF)和类残差模块(RES2)相结合代替传统卷积模块。MF将特征图像的通道进行混合,增加了通道间信息的交流融合;RES2将通道均分,单通道的卷积结果相加到相邻通道,在扩大图像感受野的同时保留了细节特征,同时降低网络参数量。此外,为改善数据不平衡问题,提出一种改进的加权损失函数,提高了网络对小目标的分割精度。将MF-RES2Net在BRATS 2019数据集进行验证,完整肿瘤、核心肿瘤和增强肿瘤分割的平均Dice系数分别为89.98%、84.02%、77.62%,参数量和浮点数分别为3.16 M和16.24 G,结果表明:该网络在降低参数量和计算量的同时进一步提升了分割性能,有效地降低了网络运行时的设备要求。     

面向ADS-B信号辐射源个体识别的轻量化模型设计

针对辐射源个体识别高精确度、轻量化、实时性的现实应用需求,提出了面向广播式自动相关监测(ADS-B)信号辐射源个体识别的轻量化模型设计方法。根据信号数据特点进行解码处理,并对不均衡样本进行权重调节,改善样本质量;通过分组卷积获取不同维度的细微特征,与初始特征拼接,实现多维互补特征融合,并联同步进行提高识别效率。利用Ghost bottleneck结构实现网络模型压缩与跨层连接,在融合多维特征的同时节省计算资源。实验结果表明,本文算法结构精简,计算量低,识别率达到95.2%,并在不同容量的样本识别中效果稳定。本文算法较好地平衡了辐射源个体识别精确度、轻量化与高时效的需求。     

基于改进YOLOv5s轻量化带钢表面缺陷检测方法

针对YOLOv5s模型参数量大、难以在嵌入式设备上部署的问题,设计了一种轻量化的YOLOv5s带钢表面缺陷检测方法。首先将主干网络中的部分卷积层替换为多分枝结构的RepGhost,增强了主干对特征信息的提取能力,推理时可以转化为单分支结构,保证了检测速度。其次提出了一种轻量级的FPN网络(GG-FPN),其中的G-Ghost用于削减C3模块中的冗余参数,而GSConv则利用大卷积核的深度可分离卷积和分支结构,保证精度和速度的双提升。实验表明,在NEU-DET数据集上,GG-FPN模型参数量较原FPN减少了24.7%,GFLOPs降低了20.6%。对 于整个模型,改进的算法mAP仅损失1.9%,参数量较YOLOv5s减少了37.5%,GFLOPs降低了33.1%,检测速度达到187 frame/s,更好地均衡了检测的速度与精度。     

用于语音控制的低资源关键词检索系统

基于深度神经网络的低资源条件下关键词检索已经取得了很大的进展，但这些方法仍旧需要较多的参数才能保证模型的精度。为了进一步减少模型的参数量，本文将Squeeze-and-Excitation网络和深度可分离卷积应用在关键词检索任务中。首先利用Squeeze-and-Excitation网络对不同特征通道之间的相互依赖关系建模的能力进一步提升模型的精度，然后通过将标准卷积替换为深度可分离卷积来有效的减少模型所需要的参数。在谷歌语音命令数据集上的实验证明我们的模型可以在保证高精度的同时把参数量限制在一定的范围内。      

基于轻量化YOLOv4模型的车辆检测方法

当前,各类基于深度学习的车辆检测模型大多存在参数量大的问题,导致对模型运行的硬件系统要求较高,难以移植到嵌入式平台。为了减小模型的参数量,提升模型的检测速度,本文提出一种基于改进的YOLOv4的轻量化目标检测模型,使用MobileNetV2网络替换YOLOv4的主干特征网络,将普通卷积替换为深度可分离卷积。同时,为了保证模型检测精度,使用K-Means++算法聚类得到预设锚框。实验结果表明,所设计的模型参数量从原YOLOv4网络的64.36 Mb压缩到了11.73 Mb,同时检测速度为47.31 f·s^(-1),能够满足道路车辆检测的实时性要求。