图像超分辨重建算法综述

图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,近些年来研究人员主要采用基于学习的方法,从大量数据中学习图像先验信息,以实现对解空间的约束。本文介绍了近20年来主流的图像超分辨重建算法,主要分为基于传统特征的方法和基于深度学习的方法。对于传统的超分辨重建算法,阐述了基于邻域嵌入的方法、基于稀疏表示的方法以及基于局部线性回归的方法。对于基于深度学习的超分辨重建算法,详细总结了网络模型结构设计、上采样方式、损失函数形式以及复杂条件下的算法设计4个方面。此外,本文简要分析了超分辨重建技术在视频超分辨、遥感图像超分辨以及在视觉高层任务方面的应用。最后,本文展望了图像超分辨重建技术的未来发展方向。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

基于学习的图像超分辨重建方法综述

全面综述了基于学习的单帧图像超分辨重建技术的研究与发展。基于学习的单帧图像超分辨重建借助机器学习技术,通过学习低分辨与高分辨图像之间的映射关系估计低分辨图像中丢失的高频细节,以获得边缘清晰、纹理细节丰富的高质量图像。根据超分辨重建过程中实例样本使用方式和学习算法的不同,已有基于学习的超分辨重建方法可分为五种类型,包括基于[k]近邻学习的方法、基于流形学习的方法、基于字典学习的方法、基于实例多线性回归的方法和基于深度学习的方法。对每类方法的主要思想和具有代表性的方法进行了详细介绍,对六种具有代表性的基于学习的超分辨重建方法的重建结果进行了比较和分析。最后,对基于学习的超分辨重建技术的未来发展趋势进行了展望。     

图像超分辨率深度学习研究及应用进展

图像超分辨率重建是用低分辨率图像重建出对应的高分辨率图像的过程。目前,图像超分辨率技术已经成功应用于计算机视觉和图像处理领域。近年来,由于深度学习具有能够从大量数据中自动学习特征的能力,因此被广泛应用于图像超分辨率领域中。介绍了图像超分辨重建的背景,详细总结了用于图像超分辨率的深度学习模型,阐述了图像超分辨率技术在卫星遥感图像、医学影像、视频监控、工业检测任务方面的应用。总结了图像超分辨算法的当前研究现状以及未来发展方向。     

单幅图像超分辨重建的深度学习方法综述

图像超分辨重建（Super-Resolution,SR）是指利用信号处理和机器学习等方法,从单幅或者多幅低分辨率图像（Low Resolution,LR）中重建对应的高分辨率图像（High Resolution,HR）的技术。由于多幅LR图像之间亚像素位移的不可预知性,单幅图像超分辨重建（Single Image Super-Resolution,SISR）逐渐成为超分辨研究的主要方向。近年来,深度学习方法得到迅速发展,并广泛应用到图像处理领域。因此,针对单幅图像超分辨重建所使用的深度学习相关算法和网络模型进行系统的总结。介绍图像超分辨问题的设置和评价指标;讨论和比较单幅图像超分辨重建的深度学习算法,主要从网络结构设计、损失函数和上采样方式三方面进行论述;介绍常用的标准数据集,并选用基于不同网络模型的几种典型算法进行实验对比分析;展望图像超分辨技术未来的研究趋势和发展方向。     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

图像超分辨率重建的研究进展

图像超分辨率重建技术对于输入的低分辨率图像进行相关处理,从而重构出高分辨率图像,该技术已经成为图像处理研究领域的一个热点方向。对超分辨率图像重建的研究进展进行了综述。阐述了图像超分辨率重建的基本原理。对基于重建的图像超分辨重建中：IBP,POCS等算法,基于学习的图像超分辨率重建中：稀疏表示,基于深度神经网络等算法及一些相关改进的算法进行了综述。对图像超分辨率重建的研究提出了展望。     

单幅图像超分辨率重建技术研究进展

图像分辨率是衡量一幅图像质量的重要标准. 在军事、医学和安防等领域, 高分辨率图像是专业人士分析问题并做出准确判断的前提. 根据成像采集设备、退化因素等条件对低分辨率图像进行超分辨率重建成为一个既具有研究价值又极具挑战性的难点问题. 首先简述了图像超分辨率重建的概念、重建思想和方法分类; 然后重点分析用于单幅图像超分辨率重建的空域方法, 梳理基于插值和基于学习两大类重建方法中的代表性算法及其特点; 之后结合用于超分辨率重建技术的数据集, 重点分析比较了传统超分辨率重建方法和基于深度学习的典型超分辨率重建方法的性能; 最后对图像超分辨率重建未来的发展趋势进行展望.     

基于SRGAN的图像超分辨率方法研究

基于机器学习的图像超分辨率系统主要应用于摄像设备分辨率不足、图像精度受损等场景，通过机器学习算法模型的方法解决对高清图像的需求问题。使用基于SRGAN图像超分辨率上的模型,对传统SRGAN模型的有关网络和函数进行改进和优化：通过对优化器Adam进行改进、调整学习率以及使用图像降噪等技术，使得重建的图像细节更加清晰，整体表现出较好的性能。     

数字图像超分辨率重建技术综述

图像超分辨率重建的目的是通过一幅或多幅低分辨率降质图像来估计一幅视觉效果较好的高分辨率图像.它从传统的图像恢复与重建技术而来,利用图像之间的信息互补来获得比单幅图像更多的细节.超分辨率技术主要分为两大类:基于重建的超分辨率技术和基于学习的超分辨率技术.基于重建的超分辨率技术按照特定的退化模型,通过输入的图像来估计高分辨率图像.基于学习的超分辨率技术从训练样本中获取先验知识,对输入图像的信息进行补充,可以获得比基于重建的算法更好的效果.对超分辨技术的算法作了系统的介绍,并指出图像的配准、退化模型的建立、盲估计问题、学习模型的建立、学习算法等仍是图像超分辨率技术中存在的主要问题,也是进一步研究的方向.     

遥感图像时空融合综述

高时空分辨率的遥感图像大数据在遥感领域发挥着重要作用。然而,由于技术上和预算上的限制等原因,目前单一的卫星传感器无法获取同时具有高空间分辨率和高时间分辨率的遥感影像。因此遥感图像时空融合技术被认为是解决时间分辨率和空间分辨率折衷问题的有效途径之一。随着深度学习在各领域的广泛应用,深度学习技术已经被证实是解决图像问题非常有效的方法。针对国内外学者的研究成果,全面总结遥感图像时空融合的经典算法,同时重点分析基于深度学习的遥感图像时空融合算法的研究成果,在三个数据集上进行复现并分析实验结果,并对未来遥感图像时空融合进行展望。     

2023年第1期目次

超分辨率(SR)是一类重要的数字图像处理技术,其根据一个观测者得到的低分辨率(LR)图像重 建并输出一个相应的高分辨率(HR)图像,从而提高现代数字图像的分辨率。SR 在数字图像压缩与传输、医学 成像、遥感成像、视频感知与监控等学科中的研究与应用价值巨大。随着深度学习的快速发展,结合最新的深 度学习方法,可以为 SR 问题提供创新性的解决方案。首先回顾 SR 的背景意义、发展过程以及将深度学习应 用于 SR 的技术价值。其次简要介绍传统 SR 算法的基本方法、分类和优缺点;按照不同的实现技术和网络类 型对基于深度学习的 SR 方法进行了分类介绍,重点分析对比了卷积神经网络(CNN)、残差网络(ResNet)和生成 对抗网络(GAN)在 SR 中的应用。然后介绍主要评价指标和解决策略,并对不同的 SR 算法在标准数据集中的 性能表现进行对比。最后总结基于深度学习的 SR 算法,并对未来发展趋势进行展望。     

结合深度学习的单幅遥感图像超分辨率重建

目的 克服传统遥感图像超分辨率重建方法依赖同一场景多时相图像序列且需预先配准等缺点,解决学习法中训练效率低和过拟合问题,同时削弱插值操作后的块效应,增强单幅遥感图像超分辨率重建效果。方法 首先构造基于四层卷积的深度神经网络结构,并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化,经过训练得到遥感图像超分辨率重建模型,其次,对多波段遥感图像的亮度空间进行双三次插值,然后使用该模型对插值结果进行重建,并在亮度空间重建结果指导下,使用联合双边滤波来提升其色度空间边缘细节。结果 应用该方法对实验遥感图像进行2倍、3倍、4倍重建时在无参考指标上均优于对比方法,平均清晰度提升约2.5个单位,同时取得了较好的全参考评价结果,在2倍重建时峰值信噪比较传统插值法提升了约2 dB,且平均训练效率较其他学习法提升3倍以上,所得遥感图像重建结果在目视效果上更加细致、自然。结论 实验结果表明,本文设计的网络抗过拟合能力强、训练效率高,重建时针对单幅遥感图像,无需依赖图像序列且不受波段影响,重建结果细节表现较好,具有较强的普适性。     

影像超分辨率重建技术的发展与应用现状

影像超分辨率重建是通过对多幅具有互补信息的低分辨率影像的处理,重构一幅高分辨率影像的技术.从互补信息来源方式、重建模型、快速算法、"硬件"与"软件"相结合、多/高光谱、视频压缩、遥感应用、医学应用和生物信息提取与识别等多个角度阐述了影像超分辨率重建技术的发展与应用现状.     

A new framework for remote sensing image super-resolution: Sparse representation-based method by processing dictionaries with multi-type features

Remote sensing images play an important role in many practical applications, however, due to the physical limitations of remote sensing devices, it is difficult to obtain images at an expecting high resolution level. Acquiring high-resolution(HR) images from the original low-resolution(LR) ones with super-resolution(SR) methods has always been an attractive proposition in embedded systems including various kinds of tablet PC and smart phone. SR methods based on sparse representation have been successfully used in processing remote sensing images, however, they have two major problems in common. First, they use only one type of image features to represent the low resolution(LR) images. However, one single type of features cannot accurately represent an image due to the diverse structures of the image, as a result, artifacts would be produced simultaneously. Second, many dictionary learning methods try to build a universal dictionary with only one single type of features. However, apparently, a dictionary with a single type of features is not enough to capture the different structures of a remote sensing image, without any doubt, the resultant image would turn out to be a poor one. To overcome the problems above, we propose a new framework for remote sensing image super resolution: sparse representation-based SR method by processing dictionaries with multi-type features. First, in order to represent the remote sensing image more accurately, different types of features are extracted from images. Second, to achieve a better performance, various dictionaries with multi-type features are learned to capture the essential structures of the image. Then, it’s proposed to adaptively control the weights of the high resolution(HR) patches obtained by different dictionaries. Numerous experiments validate that this proposed framework brings better results in terms of both objective quantitation and visual perception than other compared algorithms.     

航空遥感图像深度学习目标检测技术研究进展

航空遥感图像目标检测旨在定位和识别遥感图像中感兴趣的目标,是航空遥感图像智能解译的关键技术,在情报侦察、灾害救援和资源勘探等领域具有重要应用价值。然而由于航空遥感图像具有尺寸大、目标小且密集、目标呈任意角度分布、目标易被遮挡、目标类别不均衡以及背景复杂等诸多特点,航空遥感图像目标检测目前仍然是极具挑战的任务。基于深度卷积神经网络的航空遥感图像目标检测方法因具有精度高、处理速度快等优点,受到了越来越多的关注。为推进基于深度学习的航空遥感图像目标检测技术的发展,本文对当前主流遥感图像目标检测方法,特别是2020—2022年提出的检测方法,进行了系统梳理和总结。首先梳理了基于深度学习目标检测方法的研究发展演化过程,然后对基于卷积神经网络和基于Transformer目标检测方法中的代表性算法进行分析总结,再后针对不同遥感图象应用场景的改进方法思路进行归纳,分析了典型算法的思路和特点,介绍了现有的公开航空遥感图像目标检测数据集,给出了典型算法的实验比较结果,最后给出现阶段航空遥感图像目标检测研究中所存在的问题,并对未来研究及发展趋势进行了展望。     

一种高效的多模型图像超分辨率框架

图像超分辨率(Super Resolution,SR)技术能够从低分辨率图像中恢复出高分辨率图像,已被广泛应用于遥感、医学影像、目标跟踪与识别等多个领域。随着深度学习研究的深入,该技术也被成功应用于 SR 相关研究中,但现有工作往往只关注输出图像的质量,而忽略了训练和重构效率。该文基于对图像特征和训练效率的观察,提出了一种基于多模型的 SR 框架——MMSR,能够根据不同的图像特征选择合适的网络模型,从而在不影响输出图像质量的情况下有效缩短训练时间。面向 DIV_2K 图像集的测试结果表明,该框架能够实现平均 66.7% 的性能提升,同时具有良好的可扩展性。     

深度学习在高分遥感图像场景分类中的应用

高分遥感图像场景分类致力于自动辨别土地利用或覆盖的类别,在军事和国土资源勘探等领域具有重要的应用价值。基于深度学习的高分遥感图像场景分类方法取得了比传统方法更好的效果,也是当前研究的热点,对此类方法进行归纳总结和综合评估。按照监督方式的不同,对基于深度学习的流行方法进行了逐类分析。对不同监督方式下的流行方法在三个公开数据集上进行了定量实验评估。总结了基于不同监督方式方法的特点,并对下一步发展趋势进行了展望。     

深度学习框架下压缩感知重建算法综述

压缩感知技术以远小于奈奎斯特频率采样信号,并高概率重建原信号,是信号处理领域里程碑式的进展。近年来深度学习在特征提取与模式分类方面的优势给压缩感知技术提供了新的思路,基于深度学习的压缩感知重建算法采用数据驱动的方式,在重建时间上有数量级的降低,且重建精度具有可比性或更高。重点综述基于深度学习的压缩感知重建方法,综合考虑传统重建方法,并分为基于先验知识、纯数据驱动、混合先验知识与数据驱动的三类,分析了典型算法的特点、网络结构、关键步骤。最后分析与总结,展望了深度学习技术应用于压缩感知的研究前景。