融合多尺度注意力的太赫兹图像目标检测研究

基于太赫兹技术的安检设备具有独特的无损伤检测特性,在安防领域具有良好的发展前景.太赫兹图像分辨率低,特征信息有限,且高亮区域多,目标与背景亮度相近,为太赫兹图像中的目标检测带来了一定的困难.针对此,本文提出一种融合多尺度注意力的目标检测框架MSAD-SSD,在SSD算法的基础上,采用ResNet101作为特征提取网络,并设计一种多尺度注意力模块.该模块采用多支路膨胀卷积进行多尺度特征提取,扩展网络的感受野,充分获取目标的上下文信息;通过注意力机制对特征图的通道特征进行权重分配,增强有用特征,抑制无关信息的干扰;最后对多个分支进行特征融合.实验结果表明,所提MASD-SSD在太赫兹图像数据集中达到82.63%的平均检测精度,能够有效提高目标的检测精度.     

一种基于深度学习模型的无人机巡检输电线路山火检测方法

输电巡检图像的背景复杂，目标检测易受干扰，基于YOLOX神经网络模型，提出一种输电线路山火检测方法。首先采用YOLOX的主干特征提取网络框架，并将其中多尺度特征提取模块的常规卷积替换为可变形卷积；其次在加强特征提取阶段增加了通道注意力和空间注意力模块的融合，能够自适应火焰的外形多变特点，更加有效地提取到山火特征，从而提高目标检测的准确率。经实验验证，所提方法能够较为准确地检测到山火，满足日常巡检的需求。     

基于改进多尺度残差网络的行人检测方法

针对行人检测的尺度变化问题，提出一种基于改进多尺度残差网络无锚检测算法(IMSNet)。将Res2Net残差模块中多尺度特征提取融入ResNeXt,将改进后的网络作为主干网络(Res2NeXt^*),使主干网络包含不同数量、不同组合的感受野；利用多个较小卷积核等效替代单个较大卷积核，增加网络深度并减少网络参数量；对细化的多尺度卷积特征级联融合做卷积运算，将行人检测简化为中心点和尺度预测任务。实验结果表明，IMSNet对CityPersons和Caltech数据集Reasonable设置分别实现了10.6%和2.6%的平均漏检率，检测每张图像仅需0.28 s。     

多尺度融合注意力机制的胆囊癌显微高光谱图像分类

目的 胆囊癌作为胆道系统中一种恶性程度极高的肿瘤,早期诊断困难、预后极差,因此准确鉴别胆囊病变对早期发现胆囊癌具有重要意义。目前胆囊癌的诊断主要依赖于超声、CT(computed tomography)等传统影像学方法,但准确性较低。显微高光谱能够在获取生物组织图像信息的同时从生化角度对生物组织进行分析,从而实现对胆囊癌的早期诊断,相比于传统医学图像更具优势。因此,本文基于胆囊癌显微高光谱图像设计了一种基于多尺度融合注意力机制的网络模型,以提高分类准确率。方法 提出多尺度融合注意力模块（multiscale squeeze-andexcitation-residual, MSE-Res）。MSE-Res模块引入改进的多尺度特征提取模块实现通道维上特征的融合,用一个最大池化层和一个上采样层代替1×1的卷积层来提取图像的显著特征。为了弥补池化层丢失的局部信息,在跳跃连接中加入一个1×1的卷积层。在多尺度特征提取模块后,引入注意力机制来学习不同通道间特征的相关性,实现通道间特征的融合,并通过残差连接使网络在提取图像深层特征的同时避免出现过拟合现象。结果 在胆囊癌高光谱数据集上进行实验,本文模...     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于双并行残差网络的遥感图像超分辨率重建

当面对目标地物尺寸差异性较大、复杂性较高的遥感图像时,图像超分辨率重建算法的重建效果较差.因此,文中提出双并行轻量级残差注意力网络,提高遥感图像重建效果.首先,提出多尺度浅层特征提取块,融合不同感受野的特征信息,解决遥感图像目标地物尺寸差异较大的问题.再设计基于非对称卷积和注意力机制的轻量级残差注意力块,既降低参数规模,又获取更多高频信息.然后,设计含有不同卷积核的并行网络框架,用于融合不同尺度的感受野.此外,多个残差块中使用跳跃连接融合不同阶段特征,增加信息复用性.最后,通过对比实验验证文中网络在遥感图像上具有较优的重建效果.     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

一种基于注意力机制的小目标检测深度学习模型

小目标检测用来识别图像中小像素尺寸目标。传统目标识别算法泛化性差,而通用的深度卷积神经网络算法容易丢失小目标的特征,对小目标识别的效果不甚理想。针对以上问题,提出了一种基于注意力机制的小目标检测深度学习模型AM-R-CNN,该模型在ResNet101主干网络和候选区域生成网络中使用了通道域注意力和空间域注意力,通道域注意力模块实现了通道维度上的特征加权标定,空间域注意力模块实现了空间维度上的特征聚焦,从而提升了小目标的捕获效果。此外,模型使用数据增强技术和多尺度特征融合技术,保证了小目标特征提取的有效性。在遥感影像数据集上的识别船只实验表明,注意力模块可带来小目标检测的性能提升。     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。     

多尺度非监督特征学习的人脸识别

为了充分利用人脸图像的潜在信息,提出一种通过设置不同尺寸的卷积核来得到图像多尺度特征的方法,多尺度卷积自动编码器（Multi-Scale Convolutional Auto-Encoder,MSCAE）。该结构所提取的不同尺度特征反映人脸的本质信息,可以更好地还原人脸图像。这种特征提取框架是一个卷积和采样交替的层级结构,使得特征对旋转、平移、比例缩放等具有高度不变性。MSCAE以encoder-decoder模式训练得到特征提取器,用它提取特征,并融合形成用于分类的特征向量。BP神经网络在ORL和Yale人脸库上的分类结果表明,多尺度特征在识别率和性能上均优于单尺度特征。此外,MSCAE特征与HOG（Histograms of Oriented Gradients）的融合特征取得了比单一特征更高的识别率。     

改进注意力机制的型钢表面微小缺陷检测方法

针对型钢表面缺陷种类多样、微小缺陷占比较大导致的检测效率低、检测精度差的问题,提出了一种基于双重多尺度注意力机制的表面缺陷检测方法DMSA-YOLOv3,实现型钢表面多尺度缺陷快速精确检测。构建了基于通道和空间的双重多尺度注意力模型DMSA,对不同尺度特征进行筛选融合,强化小尺度缺陷的特征权重;改进了YOLOv3模型,使用深度可分离卷积对DarkNet53特征提取主干网络实现轻量化处理,提高检测速度,并构建多尺度长距离上下文特征提取层,使用4种不同扩张率的并行空洞卷积替代全局池化,提高模型对小尺寸缺陷的特征提取能力;构建了融合DMSA模型和改进YOLOv3模型的DMSA-YOLOv3缺陷检测模型,并应用于型钢表面多尺度缺陷检测。实验结果表明：DMSA-YOLOv3模型具有97.6%的多类别平均检测精度和55.3?frame/s的检测速度,与YOLOv3模型相比分别提升了4.7个百分点和24.5?frame/s;最小可检出20×20像素（约10×10?mm2）缺陷,与YOLOv3模型相比提高了6.25倍,有效提升了型钢表面缺陷的检测精度与检测速度。     

基于优化 YOLOv5s 的跌倒人物目标检测方法

针对目标检测模型在人物跌倒时易漏检、鲁棒性和泛化能力差等问题,提出一种基于改进 YOLOv5s 的跌倒人物目标检测方法 YOLOv5s-FPD。首先,对 Le2i 跌倒数据集使用多种方式扩充后用于模型 训练,增强模型鲁棒性和泛化能力;其次,使用 MobileNetV3 作为主干网络来进行特征提取,协调并平衡模型 的轻量化和准确性关系;然后,利用 BiFPN 改善模型多尺度特征融合能力,提高了融合速度和效率,并使用 CBAM 轻量级注意力机制实现注意力对通道和空间的双重关注,增强了注意力机制对模型准确性地提升效果; 最后,引入 Focal Loss 损失评价从而更注重挖掘困难样本特征,改善正负样本失衡的问题。实验结果表明,在 Le2i 跌倒数据集上 YOLOv5s-FPD 模型比原 YOLOv5s 模型,在精确度、F1 分数、检测速度分别提高了 2.91%, 0.03 和 8.7 FPS,验证了该方法的有效性。     

基于密集连接卷积神经网络的道路车辆检测与识别算法

针对现有道路车辆检测识别算法中存在的检测精度不高、实时性差以及小目标车辆漏检等问题,提出一种基于密集连接卷积神经网络的道路车辆检测与识别算法。首先,基于YOLOv4网络框架,通过采用密集连接的深度残差网络结构,加强特征提取阶段的特征复用,实现对浅层复杂度较低的特征的利用;然后,在多尺度特征融合网络引入跳跃连接结构,强化网络的特征信息融合和表征能力,以降低车辆漏检率;最后,采用维度聚类算法重新计算先验框尺寸,并按照合理的策略分配给不同检测尺度。实验结果表明,该算法在KITTI数据集上获得了98.21%的检测精度和48.05 frame/s的检测速度,对于BDD100K数据集中复杂恶劣环境中的车辆也有较好的检测效果,在满足实时检测要求的同时有效提升检测精度。     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。     

基于Transformer和注意力机制的角钢塔螺栓缺陷检测模型

螺帽缺失、螺栓缺失是角钢塔建设阶段常见的结构缺陷,但由于特征区分度低现有目标检测算法对螺栓缺陷检出率较低.针对这个问题,首先基于Transformer对卷积特征进行特征编码提出了全局信息提取算子,其次通过通道注意力机制自适应组合候选检测框多尺度缩放后引入的局部背景信息,最后基于图像分割与背景融合对螺栓缺陷样本进行数据扩增.消融实验表明上述策略均能有效提升螺栓缺陷检测效果且相互不排斥,与其他典型算法对比验证了本文算法的先进性.     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。     

NAFENet: 基于全局注意力特征融合的螺纹扭矩曲线分类网络

为了提高螺纹油套管气密封检测的工作效率, 本文提出了一种基于全局注意力特征融合的螺纹扭矩曲线自动分类网络, 即NAFENet. 具体来说, NAFENet为了增强模型的表达力, 将EfficientNet-B0的卷积结构扩展至11层得到EfficientNet-B11. 同时, 在其每个MBConv卷积层中构建了基于non-local全局注意力和AFF特征融合模块, 以帮助模型获取曲线图像中较为全局的信息, 提高特征提取能力. 实验结果表明, NAFENet在参数量相较于EfficientNet-B0只有小幅度的增加情况下, 曲线识别精度有了较大提升, 在自制UBT_Curve数据集上, 模型准确率达到92.87%.     

融合局部与全局特征的肺炎医学影像分类

针对现有肺炎医学影像识别研究在浅层网络忽略全局特征导致特征提取不全且模型规模较大的问题, 提出了一种基于CNN和注意力机制的轻量化模型提高肺炎类型的识别效率. 采用轻量化模型结构减少模型参数量, 通过增大卷积核, 引入高效通道注意力和自注意力机制解决网络重要信息丢失和无法提取底层全局信息的问题, 通过双分支并行提取局部和全局信息并使用多尺度通道注意力提高二者融合质量, 使用CLAHE算法优化原始数据. 实验结果表明, 该模型在保证轻量性的同时准确率、灵敏度、特异性较原模型分别提高2.59%, 3.1%, 1.38%, 并优于当前优秀的其他分类模型, 具有更强的实用性.     

结合轻量化骨干与多尺度融合的单阶段检测器

目的 基于卷积神经网络的单阶段目标检测网络具有高实时性与高检测精度,但其通常存在两个问题：1)模型中存在大量冗余的卷积计算;2)多尺度特征融合结构导致额外的计算开销。这导致单阶段检测器需要大量的计算资源,难以在计算资源不足的设备上应用。针对上述问题,本文在YOLOv5(you only look once version 5)的结构基础上,提出一种轻量化单阶段目标检测网络架构,称为E-YOLO(efficient-YOLO)。方法 利用E-YOLO架构构建了E-YOLOm(efficient-YOLO medium)与E-YOLOs(efficient-YOLO small)两种不同大小的模型。首先,设计了多种更加高效的特征提取模块以减少冗余的卷积计算,对模型中开销较大的特征图通过下采样、特征提取、通道升降维与金字塔池化进行了轻量化设计。其次,为解决多尺度特征融合带来的冗余开销,提出了一种高效多尺度特征融合结构,使用多尺度特征加权融合方案减少通道降维开销,设计中层特征长跳连接缓解特征流失。结果 实验表明,E-YOLOm、E-YOLOs与YOLOv5m、YOLOv5s相比,参数量分别下降了71.5%和61.6%,运算量下降了67.3%和49.7%。在VOC(visual object classes)数据集上的平均精度(average precision,AP),E-YOLOm比YOLOv5m仅下降了2.3%,E-YOLOs比YOLOv5s提升了3.4%。同时,E-YOLOm的参数量和运算量相比YOLOv5s分别低15.5%与1.7%,mAP@0.5和AP比其高3.9%和11.1%,具有更小的计算开销与更高的检测效率。结论 本文提出的E-YOLO架构显著降低了单阶段目标检测网络中冗余的卷积计算与多尺度融合开销,且具有良好的鲁棒性,并优于对比网络轻量化方案,在低运算性能的环境中具有重要的实用意义。     

融入混合注意力的可变形空洞卷积 近岸SAR小舰船检测

目的 在近岸合成孔径雷达(synthetic aperture radar,SAR)图像舰船检测中,由于陆地建筑及岛屿等复杂背景的影响,小型舰船与周边相似建筑及岛屿容易混淆。现有方法通常使用固定大小的方形卷积核提取图像特征。但是小型舰船在图像中占比较小,且呈长条形倾斜分布。固定大小的方形卷积核引入了过多背景信息,对分类造成干扰。为此,本文针对SAR图像舰船目标提出一种基于可变形空洞卷积的骨干网络。方法 首先用可变形空洞卷积核代替传统卷积核,使提取特征位置更贴合目标形状,强化对舰船目标本身区域和边缘特征的提取能力,减少背景信息提取。然后提出3通道混合注意力机制来加强局部细节信息提取,突出小型舰船与暗礁、岛屿等的差异性,提高模型细分类效果。结果 在SAR图像舰船数据集HRSID(high-resolution SAR images dataset)上的实验结果表明,本文方法应用在Cascade-RCNN(cascade region convolutional neural network)、YOLOv4(you only look once v4)和BorderDet(border detection)3种检测模型上,与原模型相比,对小型舰船的检测精度分别提高了3.5%、2.6%和2.9%,总体精度达到89.9%。在SSDD(SAR ship detection dataset)数据集上的总体精度达到95.9%,优于现有方法。结论 本文通过改进骨干网络,使模型能够改变卷积核形状和大小,集中获取目标信息,抑制背景信息干扰,有效降低了SAR图像近岸复杂背景下小型舰船的误检漏检情况。