基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法北大核心CSCD

语义分割被广泛应用于机器人、医学成像和自动驾驶等领域,但当前语义分割主要针对可见光图像。可见光图像在光照不足或天气差的情况下成像效果较差,而红外图像受光照影响较小。因此,将可见光图像和红外图像联合使用可以有效提升模型的鲁棒性。本文针对可见光/红外(RGB-IR)双波段图像语义分割任务中目标轮廓预测不准确的问题,提出一种基于多尺度轮廓增强的双波段语义分割算法。首先,本文提出一种新的位置和通道注意力模块EEFM,基于该模块可以高效地对多个尺度的融合特征分别进行轮廓预测。其次,本文将多尺度的预测结果用于对轮廓特征进行由高分辨率至低分辨率的逐步增强。最后,本文还提出了一种新的位置和通道注意力模块SAC对融合图像特征进行增强,以最终获得更准确的分割结果。实验在一个公开RGB-IR数据集以及一个自建数据集上进行,本文所提出的模型使用较小的参数量在公开数据库上取得了57.2的分割精度,综合性能达到了最高水平。同时,消融实验也验证了所提出的各模块的有效性。     

一种改进的高分辨率遥感图像语义分割模型

本文针对高分辨率遥感图像的特点,设计了一种端到端的语义分割网络结构模型,高分辨率遥感图像可得到两种图像数据,采用resnet网络对两种图像的特征分别进行提取,并在不同的特征层上进行数据融合,在网络结构的设计中引入了空间位置注意力模块和通道注意力模块,并对底层特征使用不同扩张率的空洞卷积神经网络进行多尺度融合,得到一种新的高分辨率遥感图像语义分割模型,通过对最终的预测性能分析,相比FCN、Unet、Segnet、DeeplabV3+等流行的语义分割模型,该模型在高分辨率遥感图像的预测中具有一定的优势。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

全局特征提取的全卷积网络图像语义分割算法

以全卷积神经网络为基础设计图像语义分割算法框架,设计全局特征提取模块提升高维语义特征的提取能力,引入带孔卷积算子保留图像细节并提升分割结果的分辨率。通过搭建端到端的图像语义分割算法框架进行训练,在可见光数据集上对算法框架进行性能评估,结果表明,本文方法在可见光图像上取得良好的语义分割性能和精度。本文还在不借助红外数据标注训练的情况下对红外图像进行分割,结果证明本文方法在典型红外目标如行人、车辆的分割中也有较好的表现。     

多尺度残差反馈融合网络的单幅图像超分辨率重建

单幅超分辨率重建可以根据一张或多张低分辨率图像生成高分辨率图像。本文提出了一种基于神经卷积网络的单幅图像超分辨率重建算法,以恢复信息丰富的高分辨率图像。该网络由一系列具有低分辨率图像特征的递归密集连接和级联,能够生成强大的特征表示,并充分捕捉多尺度上下文信息。此外,本文设计了一种多级特征融合模块,不仅可以减少深层学习过程中损失的空间信息,还能有效缓解图像伪影问题。通过在Set5等常用数据集上的对比实验结果表明,本文算法均优于同类算法。     

深层跳线残差网络热红外图像超分辨重建

在公共安全、军事等领域高分辨率热红外图像能够提供更多的场景细节信息,有着广泛的应用需求,但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN),通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题;使用Concat模块实现局部特征信息的融合,利用反卷积层进行特征图像的上采样,使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度,加快运行速度。所提算法与SRCNN,FSRCNN和ADSR等算法进行对比测试,使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法的评价指标。实验结果表明提出的RD-CNN算法优于其他对比算法,生成的高分辨率图像细节丰富且清晰。     

基于自监督注意和图像特征融合的文本生成图像方法

现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取,上采样过程本质是卷积运算,卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制,但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题,提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段,利用注意机制进行图像特征之间的自主映射学习,通过特征的上下文关系引导动态注意矩阵,实现上下文挖掘和自注意学习的高度结合,提高低分辨率图像特征的生成效果,后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块,通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合,生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息,更加保证了不同分辨率特征图的语义一致性,从而实现高分辨率的逼真的图像生成。实验结果表明,相较于基准模型（AttnGAN）,SAF-GAN模型在IS和FID指标上均有改善,在CUB数据集上的IS分数提升了0.31,FID指标降低了3.45;在COCO...     

基于纹理分解和联合回归分析的SAR图像超分辨率北大核心CSCD

为了有效利用合成孔径雷达(SAR)图像丰富的地物纹理信息以解决现有超分辨率算法对SAR图像进行超分辨时有限的性能,提出了一种基于纹理分解的联合优化回归器算法用于低分辨率SAR图像的超分辨任务。该算法通过对低分辨率SAR图像和重构的高分辨率图像在局部和全局视角下的联合优化并辅以图像纹理信息来有效生成高质量的高分辨SAR图像。基于多种评价方法,在模拟数据集和真实数据集上开展实验。实验结果表明:所提算法强于其他典型的超分辨率算法。     

融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

一种面向室内场景的语义分割网络

现有RGB D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了09、13、17,在镜子、书本、箱子等小物体的语义分割交并比指标提高了72、96、112。验证了提出的模型在处理室内场景具更强的适用性。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

多分辨率融合输入的U型视网膜血管分割算法

针对视网膜血管拓扑结构不规则、形态复杂和尺度变化多样的特点,该文提出一种多分辨率融合输入的U型网络(MFIU-Net),旨在实现视网膜血管精准分割。设计以多分辨率融合输入为主干的粗略分割网络,生成高分辨率特征。采用改进的ResNeSt代替传统卷积,优化血管分割边界特征;将并行空间激活模块嵌入其中,捕获更多的语义和空间信息。构架另一U型精细分割网络,提高模型的微观表示和识别能力。一是底层采用多尺度密集特征金字塔模块提取血管的多尺度特征信息。二是利用特征自适应模块增强粗、细网络之间的特征融合,抑制不相关的背景噪声。三是设计面向细节的双重损失函数融合,以引导网络专注于学习特征。在眼底数据用于血管提取的数字视网膜图像(DRIVE)、视网膜结构分析(STARE)和儿童心脏与健康研究(CHASE_DB1)上进行实验,其准确率分别为97.00%, 97.47%和97.48%,灵敏度分别为82.73%, 82.86%和83.24%,曲线下的面积(AUC)值分别为98.74%, 98.90%和98.93%。其模型整体性能优于现有算法。     

融合注意力机制的高分辨人脸识别图像重建

针对由于人脸姿势、光照不均、拍摄环境、拍摄设备等内外部因素造成图像分辨率低的问题,提出融合注意力机制的高分辨人脸识别图像重建模型.首先以低分辨率人脸图像对作为两个生成器输入,通过残差块和注意力模块堆叠网络提取人脸特征信息,进而生成高分辨率人脸图像.训练中使用一个鉴别器来监督两个生成器的训练过程.利用Adam算法对鉴别器...     

基于自注意力深度网络的图像超分辨率重建方法

针对现有图像超分辨重建方法难以充分重建图像的细节信息且易出现重建的图像缺乏层次的问题,提出一种基于自注意力深度网络的图像超分辨重建方法。以深度神经网络为基础,通过提取低分辨率图像特征,建立低分辨率图像特征到高分辨率图像特征的非线性映射,重建高分辨率图像。在进行非线性映射时,引入自注意力机制,获取图像中全部像素间的依赖关系,利用图像的全局特征指导图像重建,增强图像层次。在训练深度神经网络时,使用图像像素级损失和感知损失作为损失函数,以强化网络对图像细节信息的重建能力。在3类数据集上的对比测试结果表明,所提方法能够提升图像超分辨重建结果的细节信息,且重建图像的视觉效果更好。     

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于改进PSPNet的桥梁裂缝图像分割算法

针对传统桥梁裂缝检测算法检测精度低和现有的主流语义分割算法容易丢失裂缝图像细节信息、结果不连续等问题,提出了一种基于改进PSPNet的桥梁裂缝图像分割算法.首先使用无人机采集桥梁图像,通过图像增强处理得到桥梁裂缝数据集;其次通过带有扩张卷积的残差网络初步提取裂缝特征;接着将提取到的特征送入到空间位置自注意力模块(SPAM)和金字塔池化模块的串联结构中,使其能够在空间维度上获得丰富的上下文信息.实验结果表明,与现有的主流语义分割算法相比,所提算法得到的裂缝细节更加丰富,各项分割指标都有较为显著的提升,平均交并比达到84.31％,并能对细小桥梁裂缝进行准确、完整提取.     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。