融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法

针对交通场景语义分割算法中存在的易融入周围背景的纤细条状目标分割不连续、模型参数量大等问题,提出一种融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法。首先,基于深度卷积构建多尺度条形特征提取模块,在不同尺度下增强对纤细条状目标特征的表示能力。其次,在浅层网络中利用卷积归纳偏置特性设计空间细节辅助模块,以弥补深层空间细节信息的丢失来优化目标边缘分割。最后,提出基于Transformer-CNN框架的非对称编解码网络,编码器结合Transformer与CNN减少细节信息丢失并降低模型参数量;而解码器采用轻量级的多级特征融合设计来进一步建模全局上下文。所提算法在Cityscapes和Cam Vid交通场景公开数据集上分别取得的平均交并比为78.63%和81.06%,能够在交通场景语义分割中实现分割精度和模型大小之间的权衡,具备良好的应用前景。     

ConvFormer：基于Transformer的视觉主干网络

针对主流Transformer网络仅对输入像素块做自注意力计算而忽略了不同像素块间的信息交互,以及输入尺度单一导致局部特征细节模糊的问题,本文提出一种基于Transformer并用于处理视觉任务的主干网络ConvFormer. ConvFormer通过所设计的多尺度混洗自注意力模块（Channel-Shuffle and Multi-Scale attention,CSMS）和动态相对位置编码模块（Dynamic Relative Position Coding,DRPC）来聚合多尺度像素块间的语义信息,并在前馈网络中引入深度卷积提高网络的局部建模能力.在公开数据集ImageNet-1K,COCO 2017和ADE20K上分别进行图像分类、目标检测和语义分割实验,ConvFormer-Tiny与不同视觉任务中同量级最优网络RetNetY-4G,Swin-Tiny和ResNet50对比,精度分别提高0.3%,1.4%和0.5%.     

基于U-net卷积神经网络的多尺度遥感图像分割算法

多尺度遥感图像的非本质特征量较大，不仅易导致图像噪声较大，也增加了图像分割的难度。为充分保留分割后多尺度遥感图像的边缘特征，在U-net卷积神经网络下提出新的图像分割算法。以U-net卷积神经网络为基网，提取被分割图像特征，获得被分割图像细节信息；计算相邻像素和原始像素特征向量的欧氏距离，结合去噪算法，通过归一化参数处理，建立相似性函数，实现对多尺度遥感图像分割特征增强处理；计算分割框候选偏差值；根据U-net卷积神经网络结构确定局部最优合并区域对；计算度量区域的距离，使用全局最优区域合并方法更新分割时间复杂度，实现多尺度遥感图像整体分割。由实验结果可知，该算法能够精准确定指定建筑物位置，并保留建筑物完整边缘细节信息。     

基于上下文注意力机制的实时语义分割

针对实时语义分割网络提取的特征缺少上下文信息,易造成分割结果出现类内不一致和类间不可区分的问题,文中提出了轻量级的自适应通道注意力模块和空间注意力模块。自适应通道注意力模块使用深度分离卷积对通道层面的特征依赖关系进行建模,自适应地调整通道卷积核大小,强化高层特征的上下文表征能力,加强了分割结果的类内一致性。空间注意力模块使用分组卷积,以较小的计算量获得较大的特征信息流动区域,在空间层面加强特征的上下文联系,增强特征的空间细节信息,加强了分割结果的类间可区分性。在Cityscapes数据集上的测试与分析表明,轻量级上下文注意力机制获得了71.5%的mIoU。     

基于Transformer和双残差网络的图像去模糊算法研究

在单幅图像去模糊网络的设计中,已广泛采用了由“粗到精”的策略。经典的基于深度学习的多尺度网络模型通常将子网络与多尺度输入图像堆叠,并从底层子网络到顶层子网络逐渐提高图像的清晰度,将不可避免地产生图像特征信息丢失问题以及较高的时间成本。针对上述问题,构建了一种基于编解码器结构的多输入多输出U型网络。首先,在编码器结构中采用Transformer模型代替传统卷积网络模型以充分获取图像特征信息;其次为了恢复高频细节特征,在解码器结构中设计了双残差网络;最后,提出多尺度融合算法,有效融合了多尺度特征。在GoPro上的仿真实验表明,通过引入Transformer,所提算法分别在PSNR与SSIM评价指标和运行时间上均优于主流算法,PSNR与SSIM值分别为31.15 dB、0.957 7,同时从视觉上可以得到更多的图像细节。     

基于改进生成对抗网络的红外图像增强算法

针对红外图像细节分辨率不高、目标边缘模糊等，提出一种基于改进生成对抗网络的红外图像增强算法。首先，基于编码解码网络U-Net构建生成器，优化U-Net跳跃连接方式，融合全局上下文模块，实现全局和局部特征的上下文建模；然后，基于胶囊网络构建鉴别器，结合Res2Net改进胶囊网络结构，并对胶囊网络全连接层进行反卷积重构，实现多尺度图像特征提取，减少模型参数冗余。实验表明，与当前主流算法相比，该算法能有效突出细节信息、抑制噪声，提高图像分辨率和视觉效果。     

融合多尺度信息的道路场景实时语义分割

道路场景语义分割是自动驾驶车辆实现环境感知的重要技术。针对道路场景实时语义分割中存在目标区域尺度不一、变化迅速的问题,在DABNet语义分割网络的基础上进行优化改进提出一种融合多尺度信息的道路场景实时语义分割网络。对于网络设计：首先引入带有自适应卷积核的卷积层优化DAB模块,自适应地引导网络学习最合适的特征图感受野,提高网络获取多尺度语义信息的能力;然后在编码阶段后引入了金字塔池化PSP模块来聚合特征图中不同尺度子区域的上下文信息,提高网络获取全局信息的能力。本网络提高了对大目标区域完整分割,避免小目标区域漏分割的能力,保证较高的道路场景实时语义分割精度。     

基于注意力机制的脑肿瘤分割算法研究

文章针对形状复杂、边界模糊的脑肿瘤难以实现精确分割的问题,提出一种基于卷积注意力机制和Transformer多头注意力机制的U型分割网络。文章首先设计了基于通道注意力和空间注意力的卷积模块,提高了模块对局部关键特征的提取能力;其次使用一种结构更精简的Transformer模块作为网络的瓶颈层,利用其多头注意力机制对全局特征进行充分感知;最后在BraTS 2021数据集上进行了实验。实验结果表明文章算法在增强肿瘤区域、肿瘤核心区域和整个肿瘤区域的Dice系数评分分别为87.51%,90.69%和93.47%,可以有效提高脑肿瘤分割精度。     

特征增强的Sparse Transformer目标跟踪算法

针对Transformer的自注意力机制计算量大、容易被背景分心,导致有效信息抓取不足,从而降低跟踪性能的问题,提出特征增强的Sparse Transformer目标跟踪算法。基于孪生网络骨干进行特征提取;特征增强模块利用多尺度特征图生成的上下文信息,增强目标局部特征;利用Sparse Transformer的最相关特性生成目标聚焦特征,并嵌入位置编码提升跟踪定位的精度。提出的跟踪模型以端到端的方式进行训练,在OTB100,VOT2018和LaSOT等5个数据集上进行了大量实验,实验结果表明所提算法取得了较好的跟踪性能,实时跟踪速度为34帧/s。     

基于3D全卷积网络的腹部动脉CTA分割算法

目前卷积神经网络已成为腹部动脉血管分割领域的研究热点,但经典的卷积网络存在分割精度低和分割血管不连续的问题。为此,文中提出了基于改进3D全卷积网络的腹部动脉血管分割算法。该方法在网络的编码路径上构造不同尺度的侧输入,并将侧输入卷积后的图像与下采样卷积后的图像进行融合,提取更多的特征信息。同时,网络中嵌入了新的多尺度特征提取模块,该模块将通道注意力与密集扩张卷积进行了融合,有效地捕获了更高层次的特征信息。对腹部动脉血管进行分割的结果表明,与其他分割方法相比,所提方法在直观性和定量性上均有提高,证明了该方法能够提升血管分割精度。     

基于改进Swin-Unet的遥感图像分割方法

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union, mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

基于Transformer改进YOLO v4的火灾检测方法

针对火灾检测算法检测多尺度火焰和烟雾精度低,且实时性差的问题,提出了一种基于Transformer改进YOLO v4的火灾检测方法.首先,结合MHSA(Multi-Head Self-Attention)改进了CSPDarknet53主干网络,建模全局依赖关系以充分利用上下文信息.此外,基于MHSA改进了PANet模块进行多尺度特征图融合,获取更多的细节特征.为验证改进方法的有效性,与YOLO v4、YOLO v3等算法进行比较.实验证明,不仅能够检测多尺度目标,且视频监控场景下达到实时性,具有准确率高、误报率低、检测实时性等优点,满足监控视频场景下的火灾检测任务.     

结合空洞可分离卷积的多尺度医学影像分割算法

传统U-Net语义分割模型在医学影像领域具有广泛的应用,但该模型的准确率受限于单一尺度的预测模式以及上下采样引起的信息丢失。针对上述问题,本文基于U-Net编码—解码架构以及空洞可分离卷积提出了一种高低层级信息丰富的多尺度医学影像语义分割算法,该算法由特征提取网络以及多尺度语义分割预测网络两部分构成。特征提取网络使用空洞可分离卷积和类残差块分别替换原U-Net中上、下采样以及卷积块,在增加感受野的同时使信息得到最大化的保留;提出一个通道注意力机制,强化目标核心特征的表达以及无关背景区域的抑制;在多尺度上挖掘带有图像级全局上下文的卷积特征,进一步提高分割性能。本文在采集的胚胎以及DRIVE数据集上进行仿真实验,其结果表明,与U-Net及其衍生模型相比该方法具有更高的准确率和鲁棒性。     

基于改进PSPNet的桥梁裂缝图像分割算法

针对传统桥梁裂缝检测算法检测精度低和现有的主流语义分割算法容易丢失裂缝图像细节信息、结果不连续等问题,提出了一种基于改进PSPNet的桥梁裂缝图像分割算法.首先使用无人机采集桥梁图像,通过图像增强处理得到桥梁裂缝数据集;其次通过带有扩张卷积的残差网络初步提取裂缝特征;接着将提取到的特征送入到空间位置自注意力模块(SPAM)和金字塔池化模块的串联结构中,使其能够在空间维度上获得丰富的上下文信息.实验结果表明,与现有的主流语义分割算法相比,所提算法得到的裂缝细节更加丰富,各项分割指标都有较为显著的提升,平均交并比达到84.31％,并能对细小桥梁裂缝进行准确、完整提取.     

一种改进级联U-Net网络的结肠息肉分割算法

结肠镜图像中息肉的精确分割是诊断结肠癌的关键环节,针对目前结肠息肉分割算法存在孔洞、分割粗糙以及分割不完全的问题,提出了一种改进级联U-Net结构的结肠息肉分割算法。运用特征融合思想,设计了多尺度语义嵌入模块和残差模块,充分利用深、浅层特征的语义信息。引入注意力机制,在模型的级联处构建了改进空洞卷积模块,扩大卷积感受野并增强特征捕获能力。改进了卷积层模块和分割损失函数,提升模型的泛化性和鲁棒性。在Kvasir-SEG数据集上进行实验分析,相似系数、平均交并比、召回率和准确率分别达到了90.39%、88.34%、83.62%和95.12%。实验结果表明,该文所提算法改善了分割图像内部孔洞、边缘粗糙及分割不完全的问题,优于其他息肉分割算法。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

结合CNN和Transformer的遥感图像土地覆盖分类方法

利用遥感图像进行语义分割是一种有效的土地覆盖分类方法。然而由于主流框架存在边缘分割不准确、缺乏全局信息导致错误分类等问题,阻碍了其在土地覆盖分类中的应用。针对以上问题,提出了一种用于遥感图像土地覆盖分类的卷积神经网络（Convolutional Neural Networks, CNN）和Transformer混合网络CTHNet,结合了CNN的局部细节提取能力和Transformer的全局信息提取能力。同时设计了自适应融合模块,融合来自对应级别的CNN和Transformer特征,自适应融合模块的输出进入分割头得到最终的预测结果。最后,结合边界检测分支为语义分割提供边缘约束。在两个公开的土地覆盖分类数据集上的实验结果表明,该方法优于当前主流的方法,分别实现了90.53%和64.33%的平均交并比（mIoU）,对遥感图像中的大目标和边界也有更好的识别效果。     

基于多尺度多路径FCN的视网膜血管分割

视网膜血管的形态结构信息可以为糖尿病、高血压等疾病提供诊断依据。提出了一种基于多尺度多路径的全卷积神经网络的视网膜血管分割方法。首先,利用空洞卷积代替池化层和上采样操作,在不增加参数的情况下增加感受野,避免了细节信息的丢失;其次,通过使用不同空洞率的空洞卷积实现图像数据的多尺度特征提取,充分学习图像的多尺度特征,避免网络过深,并提升了细小血管的提取能力;同时,利用跳层结构在网络中建立多条信息流通路径,通过多路径信息流充分传递多尺度特征信息,提高网络预测效果。实验结果表明,该算法在DRIVE数据集上的平均准确度、灵敏度和特异性分别为95. 46%、81. 24%、97. 77%,取得了较好的视网膜血管的分割效果。     

X光安检图像多尺度违禁品检测

安检是保障人民生命财产安全的第一道防线,智能安检是安检行业未来发展的必然趋势。X光安检图像存在背景复杂、违禁品尺度多样以及相互遮挡现象,导致传统的目标检测算法无法获得满意的效果。本文在一阶段目标检测网络SSD框架的基础上,提出了适用于X光安检图像多尺度违禁品检测网络——非对称卷积多视野神经网络ACMNet(Asymmetrical Convolution Multi-View Neural Network)。检测网络增加了三个模块:小卷积非对称模块(Asymmetrical Tiny Convolution Module,ATM)、空洞多视野卷积模块(Dilated Convolution Multi-View Module,DCM)、多尺度特征图融合策略(Fusion strategy of multi-scale feature map,MF)。 ATM学习到的细节特征有助于小尺度违禁品的识别;DCM通过提供局部与全局之间的上下文特征信息来解决遮挡问题;MF则是通过融合高、低层特征图以提高模型在背景干扰情况下违禁品的检测精度。在仿真实验中,采用X光安检领域公开的数据集与自建的数据集,ACMNet在精确度上取得了令人满意的效果。