基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领域有着重要的研究意义.为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN)的图像超分辨率重建模型.首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃连接和特征复用模块对多层图像信息进行筛选...     

融合边缘特征和对抗网络的遥感影像超分辨重建方法

遥感影像中含有较为丰富的高频信息，但受硬件设备限制和外界环境干扰，高频信息边缘部分较为模糊，影响遥感影像的空间分辨率质量。针对这一问题提出一种基于边缘检测和密集残差的遥感影像超分辨率重建方法。该方法利用边缘检测算子提取影像边缘细节特征，采用密集残差模块代残差网络复用底层特征，并将每一层的特征图进行加权融合，最后通过生成器完成遥感影像的超分辨率重构，实现遥感影像分辨率质量的提高。实验结果表明，该算法指标优于传统的双三次插值、SRCNN、VDSR和SRGAN,为遥感影像重建提供新的解决方法与技术思路。     

一种优化的迭代反投影超分辨率重建方法

针对现有超分辨率重建方法存在重建的高分辨率图像具有边缘结构不清晰、高频信息提升有限的问题,提出了一种结合迭代反投影(iterative back-projection,IBP)与限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)的遥感图像超分辨率重建方法。通过结合迭代反投影与限制对比度自适应直方图均衡的超分辨率重建方法重建高分辨率遥感影像,增加重建图像的纹理细节信息,并利用灰度信息与梯度特征的能量优化模型对重建图像进行优化处理。本文以不同地貌类型遥感图像为实验数据。实验结果表明,该重建方法与经典迭代反投影方法相比,纹理细节丰富,边缘结构清晰,与非局部迭代反投影(nonlocal iterative back-projection,NLIBP)相比,客观质量评价指标均有明显改善,验证了该方法具有较好的普适性与鲁棒性。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题,提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先,构造了并行通道-空间注意力残差块,通过空间注意力模块获取图像重点区域与高频信息的相关性,通过通道注意力模块获取图像各通道对关键信息响应程度的权重,同时拓宽网络的特征提取层以增加流入注意力模块的特征信息;此外,添加了权重归一化层,保证了网络的训练效率;最后,在网络末端应用多尺度上采样层,增加了网络的灵活性和可用性。实验结果表明,相较深层残差通道注意力超分辨率网络（RCAN）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

基于机器学习的遥感图像超分辨综述

综述了基于机器学习的遥感图像超分辨重建技术的研究和发展。基于机器学习的遥感图像超分辨率重建技术通过学习低分辨图像与高分辨图像之间映射的关系,提升遥感图像的空间分辨率,从而有助于遥感图像的视觉分析。根据数据表达方法的不同将基于机器学习的遥感图像超分辨方法分为两类,包括基于字典学习的方法和基于深度学习的方法;简述了各类方法针对的问题,分析其设计思路和实现原理;对各类方法的优缺点和性能指标进行了对比分析;总结了遥感图像超分辨面临的问题和难点,并对未来发展的趋势进行了展望。     

基于空间特征变换与反投影的渐进式图像超分辨

基于深度网络的单帧图像超分辨(SISR)方法为目前SR研究热点,但是多数该类方法在特征提取时主要侧重在网络深度结构的探索,忽略了中间空间特征层之间的相似性,并且在重构时忽略了特征层之间的特征差异性.针对上述问题,提出了基于空间特征变换与反投影重构的渐进式网络.该方法的主要特征是,在图像特征提取时对特征空间进行特征仿射变换,从而获得渐进式特征和空间变换特征,增加特征层间的不同相似性.在图像重构阶段,重构模块采用多尺度反投影的策略融合了图像多源特征,从而使得其模块更加注重特征之间的差异性.实验结果表明,相比大多数超分辨算法,所提方法在图像超分辨重建时PSNR/SSIM等评估指标均有较大提升,且重构图像的纹理信息也更加丰富.     

改进卷积网络的高分遥感图像城镇建成区提取

目的 城镇建成区是城镇研究重要的基础信息,也是实施区域规划、落实城镇功能空间布局的前提。但是遥感影像中城镇建成区的环境复杂,同时不同城镇建成区在坐落位置、发展规模等方面存在许多差异,导致其信息提取存在一定困难。方法 本文基于面向图像语义分割的深度卷积神经网络,使用针对特征图的强化模块和通道域的注意力模块,对原始DeepLab网络进行改进,并通过滑动窗口预测、全连接条件随机场处理方法,更准确地实现城镇建成区提取。同时,针对使用深度学习算法容易出现过拟合和鲁棒性不强的问题,采用数据扩充增强技术进一步提升模型能力。结果 实验数据是三亚和海口部分地区的高分二号遥感影像。结果表明,本文方法的正确率高于93%,Kappa系数大于0.837,可以有效地提取出大尺度高分辨率遥感影像中的城镇建成区,且提取结果最为接近实际情况。结论 针对高分辨率遥感卫星影像中城镇建成区的光谱信息多样化、纹理结构复杂化等特点,本文算法能在特征提取网络中获取更多特征信息。本文使用改进的深度学习方法,提出两种处理方法,显著提高了模型的精度,在实际大幅遥感影像的使用中表现优秀,具有重要的实用价值和广阔的应用前景。     

基于残差收缩网络的遥感图像目标检测算法

针对于遥感图像中背景复杂噪声多、小目标多且排布密集、目标尺度差异大等问题,提出了一种改进通道注意力与残差收缩网络的遥感图像目标检测算法。该算法借助卷积神经网络,以YOLOV3模型作为基础网络,选择Mosaic图像增强的方式进行数据预处理,采用深度残差收缩模块重构了特征提取网络,并结合通道注意力机制与组合池化构建空间金字塔池化融合层,采用CIOU进行定位损失计算,最终实现遥感图像目标检测。实验结果表明：改进算法相比于原算法的总体mAP由89.2%提升至92.2%,获得了更好的性能表现。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

结合深度学习的单幅遥感图像超分辨率重建

目的 克服传统遥感图像超分辨率重建方法依赖同一场景多时相图像序列且需预先配准等缺点,解决学习法中训练效率低和过拟合问题,同时削弱插值操作后的块效应,增强单幅遥感图像超分辨率重建效果。方法 首先构造基于四层卷积的深度神经网络结构,并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化,经过训练得到遥感图像超分辨率重建模型,其次,对多波段遥感图像的亮度空间进行双三次插值,然后使用该模型对插值结果进行重建,并在亮度空间重建结果指导下,使用联合双边滤波来提升其色度空间边缘细节。结果 应用该方法对实验遥感图像进行2倍、3倍、4倍重建时在无参考指标上均优于对比方法,平均清晰度提升约2.5个单位,同时取得了较好的全参考评价结果,在2倍重建时峰值信噪比较传统插值法提升了约2 dB,且平均训练效率较其他学习法提升3倍以上,所得遥感图像重建结果在目视效果上更加细致、自然。结论 实验结果表明,本文设计的网络抗过拟合能力强、训练效率高,重建时针对单幅遥感图像,无需依赖图像序列且不受波段影响,重建结果细节表现较好,具有较强的普适性。     

Progressive spatial-angular feature enhancement network for light field image super-resolution

The intensity and direction of the light field (LF) can be recorded simultaneously by using LF cameras. However, since LF cameras sacrifice spatial resolution for higher angular resolution, the images acquired by LF cameras tend to have low spatial resolution. Therefore, LF image super-resolution (SR) has become an integral part of LF studies. Many existing LF image SR methods fail to fully utilize angular and spatial information due to only using partial sub-aperture images (SAIs). In this paper, we propose a progressive spatial-angular feature enhancement network (PSAFENet) to deal with the problem of missing information in LF image SR. Specifically, we first extract the spatial features of SAIs, the spatial and angular features contained in the macro-pixel images (MacPIs) by three different feature extraction modules. Then, these features are fed into a spatial-angular feature enhancement (SAFE) module to perform enhancement of spatial-angular information on the SAIs. To improve the reconstruction accuracy, we also use the information multi-distillation block (IMDB) to remove the redundant information before upsampling. Our network can well merge the angular and spatial information into each SAI, which facilitates the reconstruction of the LF images. Experimental results on five public datasets show that the proposed PSAFENet method outperforms existing methods in both qualitative and quantitative comparisons.     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...