基于改进高分辨率神经网络的多目标行人跟踪

针对行人多目标跟踪过程中目标被遮挡时产生的检测、跟踪失败问题,提出了一种改进型高分辨率神经网络作为检测网络。首先,为了增强网络对于行人目标的初始特征提取能力,在高分辨率神经网络的基础上,对网络的主干部分引入二代瓶颈残差块结构,提升感受野和特征表达力;其次,设计了添加二层高效通道注意力模块的残差检测块架构,并通过该架构替换了原有网络在多尺度信息交换阶段中的残差检测块,以提高了整个网络系统的测试性能;最后,通过选择适当的参数对网络进行了全面地训练,并通过多个测试集对算法测试。测试结果显示,本文算法相较于FairMOT在2DMOT15,MOT17,MOT20数据集上的跟踪准确度分别提升0.1%,1.6%,0.8%。本文算法可以良好地应用在目标较多且遮挡面积较大的特殊情景,同时对于较长时间视频序列的追踪稳定性也大大提高。     

MSA-Net:一种基于多阶段注意力机制的少样本目标检测方法

近年来，样本较少场景下的目标检测引起了广泛的关注。由于少样本提供的信息有限，大部分少样本目标检测模型采用改进的Faster RCNN检测框架进行研究。但由于Faster RCNN框架中潜在的模块矛盾问题，现有的少样本目标检测模型的特征捕捉和分类的能力有待提高。为解决以上问题，以Faster RCNN框架为基础，加入了梯度反传解耦机制，缓解在反向传播过程中，RPN和RCNN的冲突对主干网络的负面影响。为提高目标检测模型的特征捕捉能力，采用元学习框架，并融合基于注意力机制的蒸馏模块和多尺度注意力模块，充分利用查询集和支持集的信息，捕捉更多全局特征信息。大量的实验证明，在随机采样目标数k=1, 2, 3, 5, 10设置下，改进后的模型在Pascal VOC数据集的新类上，分别达到21.8%,34.7%, 40.9%, 44.5%, 51.7%mAP(AP50)。在k=10, 30设置下，改进后的模型在COCO数据集的新类上，分别达到25.1%,27.6%mAP(AP50)。     

并行路径与强注意力机制遥感图像建筑物分割

遥感图像建筑物分割广泛应用于城市规划及军事领域,是当前遥感领域的研究热点。针对遥感图像中建筑物之间尺度变化较大、建筑物遮挡、建筑物阴影与建筑物边缘相似所导致建筑物分割精度较低的问题,提出一种并行路径和强注意力机制的卷积神经网络模型。该模型基于ResNet网络残差连接的思想,以ResNet为基础网络提高网络深度,并采用卷积下采样得到并行路径,提取建筑物的多尺度特征,以减少建筑物之间尺度变化的影响。然后加入强注意力机制,增强多尺度信息的融合效果,增加不同特征之间的区分度,抑制建筑物遮挡及建筑物阴影的影响。最后,在多尺度融合特征后加入金字塔空间池化模块,抑制分割结果中建筑物内部孔洞的出现,提高分割精度。在WHU以及Massachusetts Buildings公开数据集进行实验,分别从MIoU,Recall,Precision,F1-score 4个指标对分割结果进行量化比较,在Massachusetts Buildings数据集中MIoU达到72.84%,相较于ResUNet-a提升1.46%,能够有效提高遥感影像中建筑的分割精度。     

卷积神经网络在视觉图像检测的研究进展

视觉图像检测在机器视觉领域有着重要的研究意义和应用价值。近年来,卷积神经网络的发展带动了视觉图像检测领域的进步。大量新理论、新方法被应用于卷积神经网络,提高了网络对特征的表达能力,降低了网络的复杂性,增强了网络的性能。研究阐述了卷积神经网络的基本构成,从卷积层,池化层,激活函数,网络正则化和网络优化等方面总结了卷积神经网络近年来的改进方法,梳理了卷积神经网络在视觉图像检测领域的应用,总结了卷积神经网络在视觉图像检测领域的优点,并展望了未来的研究方向。     

多尺度交替连接残差网络用于图像去模糊

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题,本文设计了一种多尺度交替连接残差网络用于图像去模糊,采用"从粗到细"的多尺度方式来逐渐恢复出清晰图像。首先,提出一种多尺度残差模块来拓展网络宽度,提取并融合不同尺度之间的特征信息;其次,提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息;最后,利用一层卷积来对特征图进行重建。实验结果表明:本文所提去模糊算法的峰值信噪比以及结构相似度分别为32.313 6 dB和0.942 5,均高于目前先进的图像去模糊技术。从评价指标和主观效果上均可看出本文所提去模糊方法具有更强的图像恢复能力,纹理细节更丰富,能够有效提升图像去模糊效果,具有更强的实用价值。     

ViT 和注意力融合的类别不均衡 PCB 缺陷检测方法

针对实际环境下印刷电路板(PCB)缺陷样本难以收集造成的数据长尾分布和检测精度低以及 ViT 用于检测时计算 复杂度高等问题,提出多尺度 ViT 特征提取和注意力特征融合的端到端 PCB 缺陷检测算法。 首先结合 ViT 和部分卷积构建 多尺度特征提取网络,利用层级多头注意力对不同尺度的特征图执行自适应的注意力操作,使网络能够更好地捕捉局部和 全局信息进而增强其特征提取能力,部分卷积可以降低计算开销。 其次,基于能量空域抑制的无参数注意力机制将多尺度 特征有效融合,提升网络融合特征图的表达能力。 最后,引入对类别不均衡敏感的分类函数对网络的损失函数进行改进,增 强网络对类别不平衡数据的拟合程度,提高网络的泛化能力。 在 3 种不同类型的公开 PCB 数据集上的实验结果表明,所提 出的检测算法在 PCB 表面缺陷数据集的平均精度均值(mAP)均有提升,分别为 99. 13% 、98. 67% ,99. 82% ;在类别不均衡的 PCB 缺陷检测任务上,相较于改进前方法,mAP 提升了 11. 94% ,网络检测速度达到 25 FPS,为 PCB 缺陷的检测提供了一种 快速、有效的方法。     

基于改进YOLOv4的道路交通标志识别

针对复杂场景中交通标志尺度变化大导致识别精度低的问题,提出了一种改进的YOLOv4算法。首先,设计了一个注意力驱动的尺度感知特征提取模块,通过构建类似残差结构的分层连接方式,增加每层的感受野范围,以获得更具细粒度的多尺度特征,并在注意力驱动下生成一对具有方向感知与位置敏感的注意力图,使网络能聚焦于更具鉴别力的关键区域;然后,构建一个特征对齐的金字塔卷积特征融合模块,即通过卷积计算相邻尺度特征图间的特征偏移量进行特征对齐;最后,通过金字塔卷积的方式使网络自适应学习最优的特征融合模式,并构建特征金字塔用于识别不同尺度的交通标志。实验结果表明,在TT100K数据集上改进算法比原YOLOv4算法的识别精度提高了5.4%,且优于其他对比识别算法,FPS达到33.17,可满足道路交通标志识别的精确性、实时性等要求。     

基于注意力和宽激活密集残差网络的图像超分辨率重建

针对全局和局部高低频空间信息利用不足而导致重建图像纹理细节模糊的问题,提出一种基于注意力和宽激活密集残差网络的图像超分辨率重建模型。首先,四个不同尺度且平行的卷积核被用来充分提取图像低频特征作为空间特征转换的先验信息。在深层特征映射模块中构建融合注意力的宽激活残差块,并利用低频先验信息来引导高频特征的提取。该宽激活残差块通过扩大激活函数前的特征通道数来提取更深层次的特征图,且所构造的全局和局部残差连接在加强残差块和网络特征前向传播的同时,在不增加参数情况下使得所提取特征的多样性更加丰富。最后,对得到的特征图进行上采样和重建以得到清晰的高分辨率图像。实验表明,所提算法在BSD100数据集上4倍超分辨率时,相比LatticeNet模型的PSNR指标提升了0.14 dB,SSIM提升了0.001,在主观视觉方面,重建出的图像局部纹理细节也更加清晰。     

基于改进UNet网络的金丝球焊直径测量研究

提出了一种基于改进UNet网络的金丝球焊焊点精确分割与测量的新方法。改进UNet网络由编码器和解码器两部分构成,其中编码器主要用来提取图像特征,使用在ImageNet数据集上预训练分类网络的卷积模块权重初始化编码器部分,可以在不增加训练数据的情况下,加速网络训练且避免过拟合;解码器主要是结合深层特征和浅层特征以实现精确分割,使用改进的多尺度卷积模块替换原网络中的单尺度卷积模块,使解码器能综合利用不同感受野的特征,进一步提升网络的分割精度。实验结果表明,改进UNet网络与原始UNet网络相比,其测试集分割交并比和F分数分别提升了2.04%和1.58%,且直径测量平均误差从7.734μm降低到1.435μm,满足实际检测需求。     

基于注意力机制的多尺度车辆行人检测算法

无人驾驶汽车在复杂多变的交通场景中能提前且准确检测到车辆行人的动态信息尤为重要.然而,无人驾驶场景下存在相机快速运动、尺度变化大、目标遮挡和光照变化等问题.为了应对这些挑战,本文提出了一种基于注意力机制的多尺度目标检测算法.基于YOLOv3网络,首先,使用空间金字塔池化模块对多尺度局部区域特征进行融合和拼接,使网络能够...     

融合超像素与多模态感知网络的遥感影像车辆检测

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题,提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先,基于混合超像素的区域合并规则,通过超像素二分图融合算法将两种模态的超像素分割结果进行融合,提升了不同模态图像超像素分割结果的准确性;其次,提出一种多模态边缘感知网络的遥感影像车辆检测方法 MEANet (Multi-modal Edge Aware Network),引入OPT-FPN模块（Optimized Feature Pyramid Networks）来增强网络学习多尺度目标特征的能力;最后,通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征,进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验,最终的mF1分数分别为91.05%和85.11%。实验结果表明,本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。     

基于深度学习的人脸检测算法研究

随着计算机视觉之深度学习的兴起与人脸识别技术在智能化产品的广泛应用,基于深度卷积神经网络的人脸检测相关技术成为计算机视觉领域的热门研究。基于RetinaFace结构,提出一种改进的人脸检测模型。该模型采用Resnet34作为特征提取层,利用特征金字塔网络(FPN)进行上下文分辨率信息融合,结合Inception网络适应多尺度的人脸。基于人脸边界框回归损失和分类损失,额外增加人脸五点关键点训练损失。通过IoU大于0.5非极大抑制处理在Wider Face的Easy、Medium、Hard数据集的检测边界框,训练的卷积模型在测试集准确率分别是93.79%、91.92%、55.75%。在人脸密集、遮挡严重、背景复杂的场景下检测的效果并不是很理想,而在人脸稀疏的情况下取得较好的结果。     

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。     

基于优化YOLOv5s的道路场景车辆检测算法研究

为了解决人工识别车辆耗时耗力的问题,开展了面向道路场景的智能车辆检测算法研究,旨在实现智能化的车辆检测。提出了一种基于深度学习的道路车辆检测模型,通过采用轻量化且易于部署和开发的YOLOv5s模型作为基础模型,同时引入CA、SE和CBAM三个经典的注意力模块来替换YOLOv5的主干网络中的C3模块,使网络模型能够更好地聚焦于车辆区域,提升了车辆检测的准确性。这使得模型在保持高效性和易用性的同时,能够更好地适应复杂道路场景下的车辆检测需求。实验结果显示,将CBAM注意力模块引入网络模型后,在UA-DETRAC数据集上进行车辆检测的平均精度均值可达92.3%,相比其他注意力模块,其表现更为出色。这一研究结果对于实现智能化的车辆检测具有重要意义,有望为道路交通监控、驾驶辅助系统等应用提供更可靠的解决方案。     

融合知识蒸馏和注意力机制的光伏热斑检测

针对复杂环境下光伏电池板热斑故障的多尺度目标导致检测困难的问题,提出一种融合知识蒸馏和注意力机制的检测算法。为实现故障特征信息高效提取与保留,设计一种融合高阶空间交互和通道注意力的模块以提升网络对于故障特征信息的表达能力;为增强复杂背景下目标信息表达能力,构建一种结合通道和位置信息的注意力模块来提高网络对于故障位置信息的识别准确率;采用知识蒸馏思想将教师网络的参数迁移至学生网络,在不增加任何复杂度的前提下提升学生网络的检测精度。为进一步精确定位热斑目标,引入Focal-CIoU损失函数加速网络收敛,从而提升检测性能。为验证算法有效性,与8种经典算法进行比较,实验结果表明,本文算法的检测精度最高,精度达84.8%,对于分辨率为640×512的图像检测速度可达142 FPS。     

基于改进Mask R-CNN+LaneNet的车载图像车辆压线检测

针对辅助驾驶或自动驾驶领域车载图像的车辆压线检测问题,以及检测过程中由于欠曝、阴影或实体遮挡等因素导致的漏检、误检问题,提出基于改进Mask R-CNN与LaneNet的车辆压线检测算法.在网络优化方面,在Mask R-CNN网络的基础上将RoI Align层的图像缩放算法(双线性插值)改进为双三次插值,将全连接层卷积...     

基于MAResnet的脑电情感识别研究

情感是大脑活动的一种表现形式,与心理活动和日常生活密切相关。利用脑电情感数据库并依据心理效价和唤醒度情感划分模型,对压力、平静、轻松、沮丧和快乐5种情感进行研究分析。针对脑电信号时空特征结合的特点,以深度学习中的残差神经网络为基础,提出基于多尺度注意力残差网络(MAResnet)的脑电情感信号分类模型。通过在传统的残差学习模块中加入注意力机制并在同一空间位置并联使用不同尺寸的卷积核,从而对脑电情感信号进行了多尺度特征提取,并对神经网络通过残差学习来避免网络退化。实验结果表明,改进后的多尺度注意力残差网络的分类精度为85.2%,较传统残差网络的分类精度提升了17.7%,较已有相似研究如应用SVM、KNN等方法在分类类型和识别精度上都有显著提升,证明该方法的有效性。     

轻量级重参数化的遥感图像超分辨率重建网络设计

针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高,本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先,采用重参数化方法设计了一种残差局部特征模块,以有效地提取图像局部特征;同时考虑到图像内部出现的相似特征,设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力,并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能;最后,在上采样模块前使用多层特征融合模块聚合所有的深度特征,以产生更全面的特征表示。在UC Merced遥感数据集上进行测试,该算法在遥感图像3倍超分辨率下的参数量为539 K,峰值信噪比为30.01 dB,结构相似性为0.844 9,模型的推理时间为0.010 s;而HSENet算法的参数量为5 470 K,峰值信噪比为30.00 dB,结构相似性为0.842 0,模型的推理时间为0.059 s。实验结果表明,该算法相比HSENet算法,参数量更少,运行速度较快,且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试,该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势,...     

基于 FRL-Net 的高鲁棒性多尺度小样本轨道入侵异物检测方法研究

针对轨道入侵异物严重威胁行车安全,而基于广义深度学习的目标检测方法无法打破大数据驱动的训练壁垒、小样本目标检测方法在复杂轨道环境中对多尺度入侵异物检测能力差、鲁棒性低等问题,本文提出了一种高鲁棒性多尺度小样本轨道入侵异物检测模型。该模型采用元学习策略,通过多尺度小样本入侵异物特征提取模块增强模型对于不同尺度小样本异物特征的表达能力。使用轨道入侵异物元特征精准重加权模块对小样本异物的元特征进行精准优化。提出小样本轨道入侵异物检测优化模块进一步提升模型的检测性能。实验结果表明,该模型在7-way 30-shot的小样本轨道异物检测任务中的平均检测精度为81.8%,比FSRW高3.2%,更适合在实际轨道环境中检测多尺度小样本入侵异物。     

机器人视觉中行人和车辆检测算法的研究

对车辆和行人进行快速且准确的检测是机器人视觉和自动驾驶领域的一个难题，为了解决这个难题，提出一种基于深度学习网络的行人车辆检测算法，这是一种端到端的单阶段检测方法。主要使用多级跳跃连接网络和多级特征融合网络。多级跳跃链接网络在特征提取阶段避免了反向传播过程中的梯度消失、爆炸和退化等优化问题，从而提高检测精度和模型的收敛速度。多级特征融合网络对来自不同层次的多尺度特征变化尺度后进行特征信息融合，可以提取到比较低层的信息以提高算法的精度。这里的算法在多个公开的数据集上进行实验，实验结果表明，与目前的一些主流算法相比，行人和车辆的平均检测精度大幅提高，在精度提高的情况下，具有更快的检测速度，有较高的应用潜力。