图像超分辨率重建技术综述

超分辨率(SR)重建技术是利用一幅或多幅低分辨率(LR)图像的信息重建出一幅高分辨率(HR)图像,同时能够消除由成像器件引入的模糊、噪声.该技术应用领域广泛,已经成为国内外图像处理领域的研究热点之一.介绍了超分辨率重建技术的基本原理,并分别以单帧和多帧、频域和空域为分类依据,分别阐述了超分辨率重建技术的经典方法,系统地总结了各种方法的优缺点,提出了超分辨率重建技术可能的研究方向,从而为超分辨率重建相关技术的进一步研究提供一定的理论基础.     

一种基于正则化技术的超分辨影像重建方法

超分辨率影像重建已经成为近年来人们广泛研究的热点，利用超分辨率重建技术，可以得到分辨率高于原始影像的重建影像。为此，提出了一个利用多幅具有亚像素位移的低分辨率欠采样影像重建一幅高分辨影像的超分辨率重建方法。该方法利用正则化技术，通过迭代运算解求重建影像的最优解。在迭代过程中，得到的重建影像用于求解下一次迭代的正则化参数，不断的循环迭代，最后求解出重建影像的最优解。对Lena影像进行了处理，并用PSNR影像评价方法对重建影像进行了定量评价。实验结果证明，该方法能较大限度地减弱噪声对重建结果的影响，当重建比率较大时，仍可得到高质量的高分辨率重建影像。     

数字图像超分辨率重建技术综述

图像超分辨率重建的目的是通过一幅或多幅低分辨率降质图像来估计一幅视觉效果较好的高分辨率图像.它从传统的图像恢复与重建技术而来,利用图像之间的信息互补来获得比单幅图像更多的细节.超分辨率技术主要分为两大类:基于重建的超分辨率技术和基于学习的超分辨率技术.基于重建的超分辨率技术按照特定的退化模型,通过输入的图像来估计高分辨率图像.基于学习的超分辨率技术从训练样本中获取先验知识,对输入图像的信息进行补充,可以获得比基于重建的算法更好的效果.对超分辨技术的算法作了系统的介绍,并指出图像的配准、退化模型的建立、盲估计问题、学习模型的建立、学习算法等仍是图像超分辨率技术中存在的主要问题,也是进一步研究的方向.     

基于插值的遥感图像超分辨率重建

利用卫星对地观测的特点,容易得到同一地区的多幅多时相的遥感影像.这些影像提供了不同角度对地观测的数据,影像之间存在着互补性的信息.本文中提出了利用插值进行超分辨率重建的简单算法,首先对不同的遥感影像进行运动参数估计.进行图像配准.然后将低分辨率的遥感影像投影到高分辨率的网格上以获得超分辨率重建后的影像.重建后的图像的目视效果较好,图像的平均值、标准差及信息熵等对比效果有所提高.     

基于亚像素的图像超分辨率重建算法研究

图像超分辨率重建是指利用一幅或多幅具有互补信息的低分辨率图像,运用相应的算法来获得一幅清晰的高分辨率图像的过程。本文采用亚像素插值重建算法,利用多幅低分辨率视频图像重建出一幅高分辨率图像。重建算法有效利用了各幅图像中对应像素的相关信息,提高了图像的视觉效果和峰值信噪比。     

基于自适应双边全变差的图像超分辨率重建

超分辨率图像重建技术就是通过融合多幅变形、模糊、有噪、频谱混叠的低分辨率降质图像(或视频序列)来重建一幅高质量高分辨率图像.MAP估计算法是一种广泛使用的统计重建方法.针对标准的MAP算法引入了自适应概念,引入了图像自适应加权系数矩阵;据此给出一种基于自适应双边全变差的图像超分辨率重建算法,该方法不仅能在图像超分辨率重建过程中抑制噪声,而且能锐化图像中的边缘信息;建立了自适应重建模型并用梯度下降法推导出迭代计算公式.实验表明,该算法在收敛性和精确性上都达到了较好的效果.     

基于图像配准的新媒体视觉影像超分辨率重建方法

针对传统的影像超分辨率重建方法受到原始影像分辨率的影响,导致重建效果差、信噪比高的问题,提出基于图像配准的新媒体视觉影像超分辨率重建方法.仿真结果表明,采用该方法进行新媒体视觉影像超分辨重建的视觉表达能力较好,输出峰值信噪比较高.     

多尺度半耦合卷积稀疏编码的遥感影像超分辨率重建

传统的卷积稀疏编码超分辨率方法在特征空间转换时仅引入线性投影关系,且在特征图的学习中未能考虑局部细节信息,使重建结果在边缘和细节方面不尽如人意.为此,将卷积稀疏编码理论引入遥感影像的超分辨重建框架中,提出ー种多尺度半耦合卷积稀疏编码的超分辨率重建方法.首先对输入影像进行多尺度分解,提取出平滑分量和多个尺度的纹理分量,并...     

融合边缘特征和对抗网络的遥感影像超分辨重建方法

遥感影像中含有较为丰富的高频信息，但受硬件设备限制和外界环境干扰，高频信息边缘部分较为模糊，影响遥感影像的空间分辨率质量。针对这一问题提出一种基于边缘检测和密集残差的遥感影像超分辨率重建方法。该方法利用边缘检测算子提取影像边缘细节特征，采用密集残差模块代残差网络复用底层特征，并将每一层的特征图进行加权融合，最后通过生成器完成遥感影像的超分辨率重构，实现遥感影像分辨率质量的提高。实验结果表明，该算法指标优于传统的双三次插值、SRCNN、VDSR和SRGAN,为遥感影像重建提供新的解决方法与技术思路。     

单幅图像超分辨率重建技术研究进展

图像分辨率是衡量一幅图像质量的重要标准. 在军事、医学和安防等领域, 高分辨率图像是专业人士分析问题并做出准确判断的前提. 根据成像采集设备、退化因素等条件对低分辨率图像进行超分辨率重建成为一个既具有研究价值又极具挑战性的难点问题. 首先简述了图像超分辨率重建的概念、重建思想和方法分类; 然后重点分析用于单幅图像超分辨率重建的空域方法, 梳理基于插值和基于学习两大类重建方法中的代表性算法及其特点; 之后结合用于超分辨率重建技术的数据集, 重点分析比较了传统超分辨率重建方法和基于深度学习的典型超分辨率重建方法的性能; 最后对图像超分辨率重建未来的发展趋势进行展望.     

A local structure adaptive super-resolution reconstruction method based on BTV regularization

Super-resolution (SR) image reconstruction has been one of the hottest research fields in recent years. The main idea of SR is to utilize complementary information from a set of low resolution (LR) images of the same scene to reconstruct a high-resolution image with more details. Under the framework of the regularization based SR, this paper presents a local structure adaptive BTV regularization based super-resolution reconstruction method to overcome the shortcoming of the Bilateral Total Variation (BTV) super resolution reconstruction model. The proposed method adaptively chooses prior model and regularization parameter according to the local structures. Experimental results show that the proposed method can get better reconstruction results and significantly reduces the manual workload of the regularization parameter selection.     

自适应IQA阈值序列图像NLM超分辨重建方法

序列图像超分辨率（super resolution,SR）算法可以利用多帧低分辨率图像之间的互补信息重建出一张高分辨率结果。传统非局部均值（non-local means,NLM）超分辨率重建方法的迭代次数选取和最佳SR重建结果筛选过程高度依赖使用者经验值和主观评价,这极大地增加了算法复杂度,降低了算法的鲁棒性。为了解决这两个问题,提出一种基于图像质量评价（image quality assessment,IQA）自适应阈值的NLM超分辨重建算法。通过设计一种SR重建结果质量评价指标,将该指标引入到NLM重建算法中：一方面作为阈值,用以确定算法迭代收敛条件;另一方面作为评价标准,用以筛选多个输出结果中重建效果最佳的高分辨率图像。实验结果表明,提出的算法能在有效保证鲁棒性的同时,极大地提升NLM超分辨率重建算法的运算效率。     

小波局部适应插值的图像超分辨率重建

针对单帧低分辨率图像的超分辨率重建问题,提出一种改进的小波局部适应插值的超分辨率重建方法,该方法能够弥补重建图像边缘不平滑的缺陷。结合小波变换与可分离高低频信息的特性,提出一种综合两者优点的单帧图像超分辨率重建算法。实验结果表明,采用该算法得到的重建图像不仅能较好地保留原始图像的细节信息,提高图像的空间分辨率,并能提高图像的峰值信噪比,更适合人眼视觉系统。     

Fast multisensor infrared image super-resolution scheme with multiple regression models

High resolution (HR) infrared (IR) images play an important role in many areas. However, it is difficult to obtain images at a desired resolution level because of the limitation of hardware and image environment. Therefore, improving the spatial resolution of infrared images has become more and more urgent. Methods based on sparse coding have been successfully used in single-image super-resolution (SR) reconstruction. However, the existing sparse representation-based SR method for infrared (IR) images usually encounter three problems. First, IR images always lack detailed information, which leads to unsatisfying IR image reconstruction results with conventional method. Second, the existing dictionary learning methods in SR aim at learning a universal and over-complete dictionary to represent various image structures. A large number of different structural patterns exist in an image, whereas one dictionary is not capable of capturing all of the different structures. Finally, the optimization for dictionary learning and image reconstruction requires a highly intensive computation, which restricts the practical application in real-time systems. To overcome these problems, we propose a fast IR image SR scheme. Firstly, we integrate the information from visible (VI) images and IR images to improve the resolution of IR images because images acquired by different sensors provide complementary information for the same scene. Second, we divide the training patches into several clusters, then the multiple dictionaries are learned for each cluster in order to provide each patch with a more accurate dictionary. Finally, we propose an method of Soft-assignment based Multiple Regression (SMR). SMR reconstructs the high resolution (HR) patch by the dictionaries corresponding to its K nearest training patch clusters. The method has a low level of computational complexity and may be readily suitable for real-time processing applications. Numerous experiments validate that this scheme brings better results in terms of quantization and visual perception than many state-of-the-art methods, while at the same time maintains a relatively low level of time complexity. Since the main computation of this scheme is matrix multiplication, it will be easily implemented in FPGA system.     

基于非线性最小二乘的图像自适应SR重建以及运动估计

图像超分辨率（SR）重建是利用数字信号处理技术由一系列低分辨率观测图像得到高分辨率图像。为了扩展SR技术的应用范围,提出了一种同时进行图像超分辨率重建和全局运动估计的方法。该方法首先基于最大后验概率(MAP)给出了图像SR重建和运动估计框架,该框架不仅考虑了前后两次迭代所得的HR图像差值对最终重建图像的影响,而且引入了不同LR图像对重建图像的重要性权值,使得算法具有自适应性;然后将总体框架转换为图像SR重建模型和运动估计模型;最后基于非线性最小二乘法对模型进行优化求解,得出了SR重建图像及其全局运动域。实验表明,该方法不仅图像重建效果良好,并有着良好的收敛性。     

基于深度学习的心脏磁共振影像超分辨率前沿进展

心脏为人体血液流动提供动力,是人体血液循环系统的重要组成部分。受人口老龄化影响,心脏病诊疗已成为重大公共健康话题。非侵入式活体心脏成像对心脏疾病的检测、诊断与治疗意义重大。然而,受活体心跳影响,成像扫描时间与心脏影像分辨率成为难以调和的矛盾。为缓和这一矛盾,基于快速扫描获得的低分辨率影像重建出心脏高分辨率影像的超分辨率（super-resolution,SR）重建技术成为研究热点。深度学习技术在医学影像处理领域中展现出强大生命力,基于深度学习的SR技术因其强大的学习能力与数据驱动性,在心脏影像SR重建领域中表现出明显优于传统方法的性能。目前领域内前沿成果较多,但缺少对领域现状进行总结、对未来发展进行展望的综述性文献。因此,本文对领域内现状进行梳理总结,挑选出代表性方法,分析方法特性,总结文献中心脏影像数据来源与规模,给出常用的评价指标,以及模型得出的性能评价结论。分析发现,基于深度学习的心脏SR重建技术取得了较大进展,但在运动伪影抑制、模型简化程度与时间性能方面仍有进步空间。此外,现有模型基本完全依靠网络强大的表达能力,鲜有临床先验知识的引入。最后,模型间性能对比相对较少,且领域内缺少代表性的可用于评价不同心脏SR重建模型性能的数据集。基于深度学习的心脏影像SR技术仍有较大发展空间。     

基于机器学习的遥感图像超分辨综述

综述了基于机器学习的遥感图像超分辨重建技术的研究和发展。基于机器学习的遥感图像超分辨率重建技术通过学习低分辨图像与高分辨图像之间映射的关系,提升遥感图像的空间分辨率,从而有助于遥感图像的视觉分析。根据数据表达方法的不同将基于机器学习的遥感图像超分辨方法分为两类,包括基于字典学习的方法和基于深度学习的方法;简述了各类方法针对的问题,分析其设计思路和实现原理;对各类方法的优缺点和性能指标进行了对比分析;总结了遥感图像超分辨面临的问题和难点,并对未来发展的趋势进行了展望。     

基于自适应块组割先验的噪声图像超分辨率重建

要增强噪声图像的分辨率,传统的串联方式依次进行去噪与超分辨率重建两个步骤,但去噪算法去除噪声的同时也损失了部分细节信息,影响了后续超分辨率重建的质量.为了使低分辨率噪声图像中所有细节信息都能参与超分辨率重建,本文以非局部中心化稀疏表示（Nonlocally centralized sparse representation,NCSR）模型为基础,提出了基于自适应块组割（Patch-group-cuts,PGCuts）先验的噪声图像超分辨率重建方法,同时实现去噪和超分辨率重建功能.块组割先验基于新颖的三维邻域系统和块组模型,能够达到图像去噪、边缘平滑和边缘清晰等效果.重建时以边缘强度为参考对块组割先验进行自适应约束,由于块组割在平滑区域约束力较低,采用分区域融合的方式进一步抑制噪声.本文对合成的低分辨率噪声图像和真实的低分辨率噪声图像进行了重建实验,实验表明,基于自适应块组割先验的噪声图像超分辨率重建算法,在丰富细节的同时能抑制噪声的干扰,不但具有较高的峰值信噪比和结构相似度等客观评价值,而且在非光滑区域具有很好的主观重建效果.     

基于超分重建技术的图像增强系统

为了提高图像分辨率,也为了给研究人员提供一个图像增强算法比较分析的工具,本文构建并实现一个集图像退化模拟、简单图像增强、图像超分辨率重建和图像质量评估为一体的图像增强系统SR-IES。系统采用多种图像处理方法对图像进行增强,其中超分重建技术是系统的核心技术。系统测试表明,SR-IES系统可以有效改善图像的分辨率和视觉效果,并通过图像质量评估为算法比较提供依据。      

Progressive spatial-angular feature enhancement network for light field image super-resolution

The intensity and direction of the light field (LF) can be recorded simultaneously by using LF cameras. However, since LF cameras sacrifice spatial resolution for higher angular resolution, the images acquired by LF cameras tend to have low spatial resolution. Therefore, LF image super-resolution (SR) has become an integral part of LF studies. Many existing LF image SR methods fail to fully utilize angular and spatial information due to only using partial sub-aperture images (SAIs). In this paper, we propose a progressive spatial-angular feature enhancement network (PSAFENet) to deal with the problem of missing information in LF image SR. Specifically, we first extract the spatial features of SAIs, the spatial and angular features contained in the macro-pixel images (MacPIs) by three different feature extraction modules. Then, these features are fed into a spatial-angular feature enhancement (SAFE) module to perform enhancement of spatial-angular information on the SAIs. To improve the reconstruction accuracy, we also use the information multi-distillation block (IMDB) to remove the redundant information before upsampling. Our network can well merge the angular and spatial information into each SAI, which facilitates the reconstruction of the LF images. Experimental results on five public datasets show that the proposed PSAFENet method outperforms existing methods in both qualitative and quantitative comparisons.