改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.     

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

引入注意力机制的多分辨率人体姿态估计研究

针对人体姿态估计任务中多分辨率特征表征直接融合时存在无法有效利用特征图空间特征信息的问题,基于High-Resolution Net（HRNet）进行结构设计,构建出结合了通道域注意力和空间域注意力机制的多分辨率人体姿态估计网络GCT-Nonlocal Net（GNNet）,提出了一种基于注意力机制的多分辨率表征融合方法,在不同分辨率表征融合前由空间注意力提取出各分辨率表征更有用的空间特征信息来改进融合单元,使得各分辨率表征间的信息融合效果更佳,最终输出的高分辨率表征含有更丰富的特征信息,同时构造了Gateneck模块和Gateblock模块,其通过引入通道注意力更明确地对通道关系建模从而高效地提取通道信息。在MS COCOVAL 2017进行验证,结果显示提出的GNNet相较于SOTA级表现的HRNet在相当参数量与运算量的情况下获得了更高的准确度,mAP提高了1.4个百分点。实验结果表明,所提方法有效地提高了多分辨率特征表征融合效果。     

一种轻量化油田危险区域入侵检测算法

油田危险区域入侵是油田安防领域的核心问题,以目标检测的方式捕获实时发生的危险是区域入侵任务的重点。为了提高模型的实时性,本文提出结合跨阶段线性瓶颈模块和通道注意力机制的轻量化YOLO检测算法。首先以轻量化卷积模块与跨阶段局部残差模块级联的跨阶段线性瓶颈模块搭建特征提取网络,大大减少了模型的参数量。在特征金字塔的特征融合模块前使用改进的通道注意力机制,增强特征的表达能力与特征的全局的关联性。在特征推理模块,使用中心归一化非极大值抑制方法进行输出优化,避免了对邻近目标的错误抑制。本算法在VOC2007数据集实验,精确率可达74.9%,优于大多轻量化检测算法,已在冀东油田部署应用,有效保证了油田作业人员的生命财产安全。     

注意力特征融合的快速遥感图像目标检测算法

针对遥感图像背景复杂、小目标多、特征提取难等问题，提出了一种注意力特征融合的快速遥感图像目标检测算法——YOLO-Aff。该算法设计了一种带通道注意力的主干网络模块（ECALAN）以及模糊池（BP）模块来减小下采样带来的损失。此外，采用了一种无跨步卷积的特征金字塔网络（SPD-FPN）结合SimAM注意力特征融合模块（CBSA）来增强特征的跨尺度融合能力。最后，通过使用Wise-IoU作为网络的坐标损失来优化样本不均衡问题。实验结果表明，改进的YOLO-Aff算法在NWPU VHR-10数据集上的mAP值达到96%，较原算法mAP提高了2.9个百分点，为遥感图像的快速、高精度目标检测提供了新的解决方案。     

基于改进Faster R-CNN的绝缘子及其缺陷检测

为实现绝缘子及其缺陷实时检测,文章以改进的区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）作为基础研究算法,将残差网络和特征金字塔网络相融合作为特征提取网络,使用深度可分离卷积替换原有的普通卷积,引入SE通道注意力模块,同时改进了网络中的激活函数。改进后的Faster R-CNN与普通Faster R-CNN相比,全类别平均正确率（mean Average Precision,mAP）和检测速度都有所提高。     

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。     

傅里叶变换通道注意力网络的胆管癌高光谱图像分割

目的 胆管癌高光谱图像的光谱波段丰富但存在冗余,造成基于深度神经网络高光谱图像分割方法的分割精度下降,虽然一些基于通道注意力机制的网络能够关注重要通道,但在处理通道特征时存在信息表示不足问题,因此本文研究构建一种新的通道注意力机制深度网络,以提高分割准确性。方法 提出了傅里叶变换多频率通道注意力机制（frequency selecting channel attention,FSCA）。FSCA对输入特征进行2维傅里叶变换,提取部分频率特征,再通过两层全连接层得到通道权重向量,将通道权重与对应通道特征相乘,获得了融合通道注意力信息的输出。针对患癌区域和无癌区域数据不平衡问题引入了Focal损失,结合Inception模块,构建基于Inception-FSCA的胆管癌高光谱图像分割网络。结果 在采集的胆管癌高光谱数据集上进行实验,Inception-FSCA网络的准确率（accuracy）、精度（precision）、敏感性（sensitivity）、特异性（specificity）、Kappa系数分别为0.978 0、0.965 4、0.958 6、0.985 2、0.945 6,优于另外5种对比方法。与合成的假彩色图像的分割结果相比,高光谱图像上的实验指标分别提高了0.058 4、0.105 8、0.087 5、0.039 0、0.149 3。结论 本文所提出的傅里叶变换多频率通道注意力机制能够更有效地利用通道信息,基于Inception-FSCA的胆管癌高光谱图像分割网络能够提升分割效果,在胆管癌医学辅助诊断方面具有研究和应用价值。     

基于改进YOLOv5的目标检测算法研究

YOLOv5是目前单阶段目标检测性能较好的算法,但对目标边界回归的精确度不高,难以适用对预测框交并比要求较高的场景。基于YOLOv5算法,提出一种对硬件要求低、模型收敛速度快、目标框准确率高的新模型YOLO-G。改进特征金字塔结构（FPN）,采用跨层级联的方式融合更多的特征,一定程度上防止了浅层语义信息的丢失,同时加深金字塔深度,对应增加检测层,使各种锚框的铺设间隔更加合理;其次把并行模式的注意力机制融入到网络结构中,赋予空间注意力模块和通道注意力模块相同的优先级,以加权融合的方式提取注意力信息,使网络可根据对空间和通道注意力的关注程度得到混合域注意力;通过降低网络的参数量和计算量对网络进行轻量化处理,防止因模型复杂度提升造成实时性能的损失。使用PASCAL VOC的2007、2012两个数据集来验证算法的有效性,YOLO-G比YOLOv5s的参数量减少了4.7%,计算量减少了47.9%,而mAP@0.5提高了3.1个百分点,mAP@0.5：0.95提高了5.6个百分点。     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.     

轻量型高分辨率人体关键点检测改进研究

人体关键点检测任务作为一种像素级别的检测任务,深度学习方法通常采用高分辨率特征图表征方法来回归关键点以增强检测效果。针对该方法由于始终采用高分辨率表征导致的参数量过大、运算复杂度要求过高的问题,提出了两种轻量型基础网络模块为Gattneck模块与Gattblock模块,以HRNet（High-Resolution Network）为基础框架,构建出一种轻量型人体关键点检测网络GattNet（Ghost-attention Network）。通过引入线性变换生成冗余特征图与通道注意力机制对通道权重进行重分配对HRNet进行轻量化改进,使用该方法网络参数量下降41.5%,运算复杂度降低36.7%。在MS COCO（Microsoft Common Objects in Context）2017数据集上进行验证,实验结果表明所提出GattNet网络在保留精度的前提下有效降低了参数量与运算复杂度。     

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高、空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他七种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度;且该算法的检测速率达到33.70 帧/秒,满足实时性要求。     

基于注意力机制的特征融合的暗图像增强网络

暗图像能见度低、颜色失真、细节丢失,会对计算机视觉应用造成干扰。提出了基于无参注意力、高效通道注意力、像素注意力和通道注意力的特征融合的暗图像增强网络。提出的网络使用对抗式训练,具有提高图像亮度、增强图像颜色内容和细节信息的能力。算法增强结果的结构相似度（PSNR）和峰值信噪比（SSIM）均优于所对比的算法。     

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.     

轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

融合注意力特征的遮挡物体6D姿态估计

在机械臂视觉抓取过程中,现有的算法在复杂背景、光照不足、遮挡等条件下,难以对目标物体进行实时、准确、鲁棒的姿态估计。针对以上问题,提出一种基于关键点方法的融合注意力特征的物体6D姿态网络。首先,在跳跃连接（Skip Connection）阶段引入能够聚焦通道空间信息的卷积注意力模块（CBAM）,使编码阶段的浅层特征与解码阶段的深层特征进行有效融合,增强特征图的空间域信息和精确位置通道信息;其次,采用归一化损失函数以弱监督的方式回归每个关键点的注意力图,将注意力图作为对应像素位置上关键点偏移量的权重分数;最后,累加求和得到关键点坐标。实验结果证明,所提网络在LINEMOD数据集和Occlusion LINEMOD数据集上ADD(-S)指标分别达到了91.3%和46.3%。与基于关键点的逐像素投票网络（PVNet）相比ADD(-S)指标分别提升了5.0个百分点和5.5个百分点,验证了所提网络在遮挡场景下有更好的鲁棒性。     

基于Dilated ADU-Net的开放环境下的舌象分割算法

舌象的精准分割是能否获得正确舌象诊断结果的重要前提。针对在自然光照条件下传统分割算法难以精确、稳定地分割舌体图像的难题,构建一种融合空洞卷积双注意力机制与密集连接机制的改进型U-Net舌象分割模型（Dilated Attention&Dense U-Net, Dilated ADU-Net）。首先,基于U-Net网络的对称结构搭建主干网络;然后,下采样模块采用空洞型混合注意力模块,使网络聚焦于舌体特征,上采样模块采用密集连接机制融合多层特征信息;最后,采用开放环境下的舌象数据集对网络进行训练获得舌象分割模型。通过实验验证,和其他先进的分割方法相比,本文构建的舌象分割模型平均交并比（mean Intersection over Union, mIoU）达到96.73%,相似系数（Dice Similarity Coefficient, DSC）达到98.08%,具有更好的分割性能,可以实现复杂环境下舌象的精准分割。     

基于深度学习的息肉分割网络GLIA-Net

随着卷积神经网络的发展,现有改进的息肉分割U-Net网络能有效提高息肉分割准确率,但引入了大量参数,导致模型复杂度增大且计算效率降低。提出具有低复杂度、高性能的网络GLIA-Net,用于分割内窥镜图像中的息肉区域。以U-Net为基础架构,在双层卷积后加入全局与局部交互式注意力融合模块。全局注意力基于2个可学习的外部储存器,通过2个级联的线性层和归一化层来实现。局部注意力基于局部跨通道交互策略,将一维卷积代替全连接层,在保证网络性能的同时降低计算复杂度,加快网络的计算速度。结合高效通道注意力和外部注意力的优点,在不引入过多参数量和计算量的前提下融合局部注意力和全局注意力,同时在通道与空间2个维度上引入注意力机制,提取丰富的多尺度语义信息。在Kvasir数据集上的实验结果表明,GLIA-Net的平均交并比、Dice、体积重叠误差分别为69.4%、80.7%和5.0%,与ExfuseNet、SegNet、ResUNet等网络相比,在保证网络计算效率的同时具有较优的分割精度。