基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

用于交通图像识别的改进尺度依赖池化模型

针对交通标志在自然场景中所占的比例较小、提取的特征量不足、识别准确率低的问题,提出改进的尺度依赖池化（SDP）模型用于小尺度交通图像的识别。首先,基于神经网络深卷积层具有较好的轮廓信息与类别特征,在SDP模型只提取浅卷积层特征信息的基础上,使用深卷积层特征补足型SDP（SD-SDP）映射输出,丰富特征信息;其次,因SDP算法中的单层空间金字塔池化损失边缘信息,使用多尺度滑窗池化（MSP）将特征池化到固定维度,增强小目标的边缘信息;最后,将改进的尺度依赖池化模型应用于交通标志的识别。实验结果表明,与原SDP算法比较,提取特征量增加,小尺度交通图像的识别准确率较好地提升。     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于改进YOLOv5的船舶多尺度SAR图像检测算法

针对复杂场景下合成孔径雷达（Synthetic aperture radar, SAR）图像船舶目标像素尺度差异大和船舶密集排列造成目标漏检的问题,提出一种基于改进YOLOv5的船舶多尺度SAR图像检测算法。对于YOLOv5的颈部网络,采用双向特征金字塔结构（Bi-directional feature pyramid network, BiFPN）提升网络多尺度特征融合能力,并在其自下而上的特征融合支路中,基于深度可分离卷积（Depthwise separable convolution, DSC）和通道MLP构建EC-MLP(Enhanced channel-MLP)模块,从而丰富语义信息,提供更充分的船舶目标上下文特征;引入全局注意力机制（Global attention mechanism, GAM）,使网络对输入特征进行针对性提取并运算,减少网络的信息丢失;此外,使用SIoU损失函数进一步提高网络的训练收敛速度和检测精度。在SSDD和HRSID数据集上与其他8种方法（Faster R-CNN、Libra R-CNN、FCOS、YOLOv5s、PP-YOLOv2、YOLOX-s...     

基于全局注意力的多尺度显著性检测网络

针对现有算法的多尺度特征融合效果不理想和全局信息利用不充分的问题,提出一种基于多尺度优化和全局注意力的显著目标检测模型.利用特征增强模块对从骨干网络VGG-16中提取出来的粗糙特征进行增强,提升特征的显著性表达能力,对不同层次特征融合得到高层级和低层级特征;设计全局注意力模块,利用空洞空间卷积池化金字塔ASPP模块提取...     

基于注意力机制的多模态人体行为识别算法

提出了基于注意力机制的多模态人体行为识别算法;针对多模态特征的有效融合问题,设计基于注意力机制的双流特征融合卷积网络(TAM3DNet,two-stream attention mechanism 3D network);主干网络采用结合注意力机制的注意力3D网络(AM3DNet,attention mechanism 3D network),将特征图与注意力图进行加权后得到加权行为特征,从而使网络聚焦于肢体运动区域的特征,减弱背景和肢体静止区域的影响;将RGB-D数据的颜色和深度两种模态数据分别作为双流网络的输入,从两条分支网络得到彩色和深度行为特征,然后将融合特征进行分类得到人体行为识别结果。     

基于YOLOv4改进特征融合及全局感知的目标检测算法

YOLOv4算法在检测速度和精度上达到了很好的平衡,但仍存在着定位框不准确、检测率低的问题,尤其是在检测目标较小、尺度变化大的情况下。针对以上问题,提出一种新的基于YOLOv4改进的目标检测算法。该算法采用改进的特征融合模块（path aggregation network combined with bi-directional feature pyramid network,P-Bifpn）代替PANet(path aggregation network),增加跨尺度连接的同时在输出端引入权重,增强重要特征的表现力,解决由多尺度变化而引起的精度下降。然后,采用新的全局注意力机制（global association network,GANet）,在减少平均池化与计算量的同时增强Sigmoid函数输出,加强模型对目标上下文关系的学习,减少噪声干扰和全局信息的损失。试验采用RSOD、NWPU VHR-10数据集,平均检测精度分别提升了约5%和3%;泛化试验采用VOC2007+2012公共数据集,平均检测精度提升了约0.6%。试验结果表明改进的算法能够有效提高模型的检测能力。     

结合潜在扩散模型和U型网络的HIFU治疗目标区域提取

目的 由于数据采集限制和隐私保护造成高强度聚焦超声（high intensity focused ultrasound,HIFU）治疗超声监控图像数据量过少,导致现有的强监督分割方法提取治疗目标区域不佳。因此,提出了一种结合潜在扩散模型（latent diffusion）和U型网络的HIFU治疗目标区域提取方法。方法 生成阶段利用潜在扩散模型和自动筛选模块,实现超声监控图像数据的扩充。目标区域提取阶段提出新型U型分割网络（novel U-shaped segmentation network,NUNet）,在编码器端结合空洞空间金字塔池化（atrous spatial pyramid pooling,ASPP）,扩大网络的感受野;设计双注意力跳跃连接模块（dual attention skip connection,DAttention-SK）,降低边缘纹理信息丢失的风险;引入多交叉熵损失提高网络的分割性能。结果 实验结果表明,与其他生成模型相比,本文使用潜在扩散模型生成的超声监控图像在FID（Fréchet inception distance）和LPIPS（learned perceptual image patch similarity）上获得更优的指标（分别为0.172和0.072）;相较于先进的PDF-UNet （U-shaped pyramid-dilated network）,在HIFU临床治疗子宫肌瘤超声监控数据集中,本文分割算法的MIoU（mean intersection over union）和DSC（Dice similarity coefficient）分别提高了2.67%和1.39%。为进一步探讨所提算法的泛化性,在乳腺超声公共数据集（breast ultrasound images dataset,BUSI）上进行了验证。相较于M2SNet （multi-scale in multi-scale subtraction network）,本文算法MIoU和DSC分别提升了2.11%和1.36%。结论 本文算法在一定程度上解决了超声监控图像中数据量过少的问题,实现对监控超声图像中目标区域的精确提取。代码开源地址为https://github.com/425877/based-on-latent-diffusion-model-for-HIFU-treatment-target-region-extraction。     

基于条件对抗网和层次特征融合的目标跟踪

为了解决目标跟踪过程中因运动模糊和低分辨率导致跟踪效果变差的问题,提出一种基于条件对抗网和层次特征融合的目标跟踪算法。使用条件对抗生成网络模型（DeblurGAN-v2）,对输入的低分辨率视频帧去模糊;使用改进型VGG-19网络提取目标候选区域的Conv2、Conv4、Conv6三层特征,将孪生网络提取到的低层结构特征、中层特征与高层语义特征进行融合,以提高特征的表征能力。在目标跟踪评估数据集OTB2015与VOT2018上的实验结果表明,与SiamFC、SiamDW等其他算法相比,该算法具有更高的准确性,能够适应目标遮挡运动模糊、外观变化及背景干扰等复杂情况。相比于SiamFC,改进算法在OTB2015数据集上成功率提升5.5个百分点,在VOT2018数据集上EAO提升16.4个百分点。     

基于Darknet网络和YOLOv3算法的船舶跟踪识别

针对我国沿海与内陆水域区域视频监控处理存在实际利用率低、误差率大、无识别能力、需人工参与等问题，提出基于Darknet网络模型结合YOLOv3算法的船舶跟踪识别方法实现船舶的跟踪并实时检测识别船舶类型，解决了重要监测水域船舶跟踪与识别问题。该方法提出的Darknet网络引入了残差网络的思想，采用跨层跳跃连接方式以增加网络深度，构建船舶深度特征矩阵提取高级船舶特征进行组合学习，得到船舶特征图。在此基础上，引入YOLOv3算法实现基于图像的全局信息进行目标预测，将目标区域预测和目标类别预测整合于单个神经网络模型中。加入惩罚机制来提高帧序列间的船舶特征差异。通过逻辑回归层作二分类预测，实现在准确率较高的情况下快速进行目标跟踪与识别。实验结果表明，提出的算法在30 frame/s的情况下，平均识别精度达到89.5%，与传统以及深度学习算法相比，不仅具有更好的实时性、准确性，对各种环境变化具有较好的鲁棒性，而且可以识别多种船舶的类型及其重要部位。     

基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

针对阿尔兹海默症(AD)患者和正常(NC)人之间核磁共振成像(MRI)图像差别小、分类难度大的问题,提出了基于改进VGG网络的弱监督细粒度AD分类方法.该方法以弱监督数据增强网络(WSDAN)为基本模型,主要由弱监督注意力学习模块、数据增强模块及双线性注意力池化模块等构成.首先,通过弱监督力注意学习模块生成特征图和注意...     

多感知兴趣区域特征融合的图像识别方法

针对自然图像识别过程中不同深度学习模型关注兴趣区域不同的现象,本文引入深度卷积神经网络融合机制,结合深度迁移学习方法,给出了一种基于多感知兴趣区域特征融合的图像识别方法.本文将迁移学习方法引入牛津大学视觉组网络模型(visual geometry group network,VGGNet)和残差网络模型(residua...     

改进RFBnet网络的船只目标检测方法

针对目前舰船目标检测中,多目标情况下的舰船目标很容易被多目标遮挡,造成舰船目标漏检、分类错误等问题,提出了一种基于改进RFBnet（I-RFBnet）的自然图像目标检测方法。使用池化特征融合模块（PFF）和反卷积特征融合模块（DFF）进行特征融合,形成新的六个有效特征层。提出一种跨步长卷积方式来提取特征单元在原图中的关心区域信息,设计了融入注意力机制的膨胀卷积模块（dilate convolutions block,DB）和新的前三个有效特征层再次进行特征融合。引入聚焦分类损失函数解决训练过程中正负样本分布不均衡的问题;最后通过对规模船只检测数据集SeaShips训练后,保存其模型。实验结果表明：改进后的算法检测效果良好,尤其在多目标遮挡下的小目标效果显著。平均精度均值为96.26%,比改进前的算法提高了4.74个百分点,帧率达到26?FPS（frame per second）,满足实时检测的需求。     

基于轻量级卷积神经网络的载波芯片缺陷检测

载波芯片(chip on carrier,COC)是光发射次模块(transmitter optical subassembly,TOSA)的重要组成部分,被广泛应用于光通信领域,实现光电转换.针对载波芯片崩口、定位柱破损以及波导污渍三种不同类别缺陷的实时检测问题,提出了一种基于轻量级卷积神经网络的载波芯片缺陷检测算法...     

基于多尺度卷积的船舶行为识别方法

针对复杂海洋环境下人工监管船舶行为效率低的问题,提出了一种基于多尺度卷积神经网络的船舶行为识别方法。首先,从船舶自动识别系统（AIS）中获取海量船舶行驶数据,并提取出具有判别力的船舶行为轨迹;然后,根据轨迹数据的特性,利用多尺度卷积设计并实现了针对船舶轨迹数据的行为识别网络,并且使用特征通道加权以及长短时记忆网络（LSTM）来提高算法的准确率。在船舶行为数据集上的实验结果表明,对于指定长度的船舶轨迹,所提识别网络能够达到92.1%的识别准确率,相较于传统的卷积神经网络提高了5.9个百分点,并且在稳定性以及收敛速度上都有明显提升。该方法能够有效地提高船舶行为的识别精度,为海洋监管部门提供高效的技术支持。     

基于深度自编码网络语音识别噪声鲁棒性研究

为了解决传统径向基（Radial basis function,RBF）神经网络在语音识别任务中基函数中心值和半径随机初始化的问题,从人脑对语音感知的分层处理机理出发,提出利用大量无标签数据初始化网络参数的无监督预训练方式代替传统随机初始化方法,使用深度自编码网络作为语音识别的声学模型,分析梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient,MFCC）和基于Gammatone听觉滤波器频率倒谱系数（Gammatone Frequency Cepstrum Coefficient,GFCC）下非特定人小词汇量孤立词的抗噪性能。实验结果表明,深度自编码网络在MFCC特征下较径向基神经网络表现出更优越的抗噪性能;而与经典的MFCC特征相比,GFCC特征在深度自编码网络下平均识别率相对提升1.87%。     

基于改进RetinaNet的船舶检测算法

目前基于深度学习算法的目标检测技术在合成孔径雷达（SAR）图像船舶检测中取得了显著的成果,然而仍存在着小目标船舶和近岸密集排列船舶检测效果差的问题。针对上述问题,提出了基于改进RetinaNet的船舶检测算法。在传统RetinaNet算法的基础上,首先,将特征提取网络残差块中的卷积改进为分组卷积,以增加网络宽度,从而提高网络的特征提取能力;其次,在特征提取网络的后两个阶段加入注意力机制,让网络更加专注于目标区域,从而提升目标检测能力;最后,将软非极大值抑制（Soft-NMS）加入到算法中,降低算法对于近岸密集排列船舶检测的漏检率。在高分辨率SAR图像数据集（HRSID）和SAR船舶检测数据集（SSDD）上的实验结果表明,所提改进算法对于小目标船舶和近岸船舶的检测效果得到了有效提升,与当前优秀的目标检测模型Faster R-CNN、YOLOv3和CenterNet等相比,在检测精度和速度上更加优越。     

引入注意力机制的JDE多目标跟踪方法

多目标跟踪是计算机视觉领域的一个重要研究内容。JDE（joint detection and embedding）多目标跟踪算法推理速度和精度较高,但是当目标重叠或尺度较小时,该算法的跟踪效果较差。针对以上问题,提出了Attention-JDE,该模型结合了注意力机制、多尺度融合等思想,利用特征金字塔（feature pyramid）和空间金字塔池化（spatial pyramid pooling）提升模型对于小尺度目标的检测和跟踪能力,结合空间域注意力机制和通道域注意力机制改进模型在目标发生重叠时的跟踪效果。此外,还引入了Mish激活函数有效地降低跟踪时的ID切换次数。在MOT16数据集进行验证,结果表明,与原JDE方法以及其他主流方法相比,Attention-JDE具有更高的跟踪精度（MOTA）,同时速度能够达到19.5?FPS,实时性较高。     

基于深度学习的高分辨率遥感图像建筑物识别

为解决当前深度学习方法在高分辨率遥感图像中存在识别结果过度分割,以及小物体识别差的问题,提出一种基于SegNet架构改进的网络模型AA-SegNet,增加了增强的空间金字塔池化模块和空间注意力融合模块。该网络可以加强特征传播并能够有效传递更高级别的特征信息以抑制低级特征的噪声,并且可以增强小目标特征学习。基于高分二号遥感影像制作数据集并进行实验,AA-SegNet网络总体识别准确率为96.61%,在识别率、[F1]分数以及训练时间等方面也都优于SegNet、U-Net、DeepLab-V3网络。