数字图像超分辨率重建技术综述

图像超分辨率重建的目的是通过一幅或多幅低分辨率降质图像来估计一幅视觉效果较好的高分辨率图像.它从传统的图像恢复与重建技术而来,利用图像之间的信息互补来获得比单幅图像更多的细节.超分辨率技术主要分为两大类:基于重建的超分辨率技术和基于学习的超分辨率技术.基于重建的超分辨率技术按照特定的退化模型,通过输入的图像来估计高分辨率图像.基于学习的超分辨率技术从训练样本中获取先验知识,对输入图像的信息进行补充,可以获得比基于重建的算法更好的效果.对超分辨技术的算法作了系统的介绍,并指出图像的配准、退化模型的建立、盲估计问题、学习模型的建立、学习算法等仍是图像超分辨率技术中存在的主要问题,也是进一步研究的方向.     

1种新颖的图像超分辨率算法的设计与实现

随着人们对图像质量要求的不断提高,为了弥补原有图像数据空间分辨率的不足,重建质量更好、空间分辨率更高的图像数据,进一步提高图像空间解像力和清晰度,在对现有图像分辨率增强技术进行分析的基础上,提出了1种新颖的图像超分辨率算法-单向多样学习图像超分辨率算法.该算法思路是:首先建立训练图像集,再对待处理图像和训练集中的特征图像对进行分割、光栅排列和对比度正则化等适当的预处理.然后让待处理图像上的每个局部图像块在训练集中使用搜索算法进行多样学习,以获得低分辨图像上不同区域缺乏的高频细节信息,最后使用这些学习所获得的信息预测生成超分辨率图像.在本算法中,训练样本具有更好的一般化能力,训练集的通用性强,其图像存储空间减小,采用的最先最优搜索算法能快速找到了1个较好的匹配结果,从而以极小的计算代价提高了匹配质量,比采用图像超分辨率重建技术所获得图像质量更好.因此在军事遥感侦察、目标的识别与监测、天文观察、生物医学、公安侦破和交通监视等诸多领域具有广泛的应用前景.实验结果也表明,本文算法得到的高分辨率图像较大程度上提高了图像质量.     

基于加权POCS的图像超分辨率重建

对凸集投影(POCS)图像超分辨率重建算法中的残差修复阈值选取问题进行分析,提出一种基于图像超分辨率重建的改进算法。改变传统POCS算法中固定残差修复阈值模式,通过引入低分辨率图像清晰度这一先验信息,用表征图像相对清晰度的参数控制阈值,从而实现整个重建过程阈值动态选取。实验结果证明,该算法能提高残差计算和阈值选取的针对性,对提升重建图像的清晰度及信噪比具有较好的效果。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

图像超分辨率重建的研究进展

图像超分辨率重建技术对于输入的低分辨率图像进行相关处理,从而重构出高分辨率图像,该技术已经成为图像处理研究领域的一个热点方向。对超分辨率图像重建的研究进展进行了综述。阐述了图像超分辨率重建的基本原理。对基于重建的图像超分辨重建中：IBP,POCS等算法,基于学习的图像超分辨率重建中：稀疏表示,基于深度神经网络等算法及一些相关改进的算法进行了综述。对图像超分辨率重建的研究提出了展望。     

基于MAP技术的图像类推超分辨重建方法

在最大后验概率(Maximum A Posterior,MAP)的基础上,结合图像类推(Image Analogies,IA)思想,提出一种序列图像超分辨率重建方法--MAPIA (Maximum A Posterior Image Analogies).该算法先利用传统MAP方法将序列图像进行超分辨率重建,然后在序列图像中选取一帧图像与重建后的图像构造训练集合的图像对,学习它们之间的关系,利用图像类推技术进行超分辨率重建.实验证明文中方法不仅能有效提高图像的清晰度,而且较其它的方法,能得到边缘更加清晰、细节更加突出的重建图像.     

基于L1/2正则化的超分辨率图像重建算法

为提高图像重建质量,研究超分辨率图像重建技术与稀疏表示理论,提出一种基于L1/2正则化的超分辨率图像重建算法.将L1/2正则化理论运用到字典学习中,利用学习得到的字典重建高分辨率图像.实验结果表明,该算法的图像重建效果优于基于L1正则化的超分辨率图像重建算法.     

基于正则化的超分辨率图像重建方法及其实现

超分辨率图像重建是用同一景物的若干低分辨率图像通过数字图像处理技术获取其高分辨率图像的一种技术.介绍了基于正则化方法的超分辨率图像重建的研究现状和以正则化为基础的几种重建方法在近几年的研究和发展趋势.在此基础上,实现了一种遥感图像的正则化超分辨率重建算法,实验验证了方法的有效性.     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于定向双边全变差正则化的文档图像超分辨率算法研究

针对文档图像超分辨率重建问题,在传统双边全变差(Bilateral Total Variation,BTV)正则化超分辨率算法的基础上,提出了一种基于改进BTV的文档图像超分辨率算法。该算法引入一个新的正则项,即笔画宽度的方向,并根据字符笔画的局部宽度和局部方向自适应地进行平滑处理;然后通过分析输入的低分辨率图像及其插值,使输出图像的局部笔画宽度接近于局部的笔画方向。这种信息被压缩到基于笔画宽度的方向全变分正则项中。通过最小化正则项和数据保真项的线性组合,重建了高分辨率的图像。与相关的文档图像超分辨率方法相比,所提方法在视觉图像质量和字符识别精度方面得到了显著的改善。     

Limits on super-resolution and how to break them

Nearly all super-resolution algorithms are based on the fundamental constraints that the super-resolution image should generate low resolution input images when appropriately warped and down-sampled to model the image formation process. (These reconstruction constraints are normally combined with some form of smoothness prior to regularize their solution.) We derive a sequence of analytical results which show that the reconstruction constraints provide less and less useful information as the magnification factor increases. We also validate these results empirically and show that, for large enough magnification factors, any smoothness prior leads to overly smooth results with very little high-frequency content. Next, we propose a super-resolution algorithm that uses a different kind of constraint in addition to the reconstruction constraints. The algorithm attempts to recognize local features in the low-resolution images and then enhances their resolution in an appropriate manner. We call such a super-resolution algorithm a hallucination or reconstruction algorithm. We tried our hallucination algorithm on two different data sets, frontal images of faces and printed Roman text. We obtained significantly better results than existing reconstruction-based algorithms, both qualitatively and in terms of RMS pixel error     

超分辨率重建的素描人脸识别

目的 基于学习的超分辨率重建由于引入了先验知识,可以更好地描述图像的细节部分,显著地增强图像的分辨率,改善图像的视觉效果。将超分辨率重建应用在素描人脸识别中,既可以增加人脸图像的质量也可以有效地提高识别精度。方法 首先利用特征脸算法根据素描图像合成人脸灰度图像,然后对合成的人脸图像利用稀疏表示进行超分辨率重建,最后利用主成分分析对重建前后的合成人脸分别进行识别。结果 在香港中文大学的素描人脸库(CUFS)上进行实验。经过超分辨率重建之后的人脸在眼睛等部位细节描述更好。同时,由于重建过程中引入了先验知识,重建之后的素描人脸识别率有提高。支持向量机算法得到的识别率由重建前的65%提高至66%,本文利用的主成分分析算法得到的识别率由重建前的87%提高至89%。结论 基于超分辨率重建的素描人脸识别算法可以有效地改善合成人脸图像的视觉效果并且提高素描人脸识别精度。     

基于超分辨率和深度神经网络的车型识别

车型识别在视频监控系统中起着关键作用,文中利用深度神经网络和超分辨率来实现交通监控中的车型识别。利用深度卷积神经网络CaffeNet,并采用先进的深度学习框架CAFFE和具有强大计算能力的GPU来完成对车辆的车型识别。在图像预处理阶段,采用一种基于深度学习和稀疏表示的图像超分辨率(SR)重构算法,来增强图像的细节信息。其中首先基于深度学习模型自编码器,提出一种改进模型非负稀疏去噪自编码器(Nonnegative Sparse Denoising Auto-Encoders,NSDAE)来实现字典的联合学习,然后基于稀疏表示实现车辆图像的超分辨率重构。经实验验证,在加入超分辨率处理之后,车型识别效果在精确度上得到了明显的提升。     

改进相似性度量模型的单幅图像自学习超分辨算法

在自学习超分辨算法中,高低分辨率图像块匹配是否准确是算法的关键。在高低分辨率图像块匹配过程中,考虑图像块纹理结构的重要性,提出了一种基于纹理约束的图像块相似性度量模型,应用该模型完成了高低分辨率图像块更为准确的匹配,使超分辨结果图像的细节更加丰富,进一步提高了图像质量。该算法仅使用了单幅低分辨率图像自身的相关先验信息,有效提升了图像的空间分辨率。实验结果表明,与双三次插值算法、自相似学习超分辨算法相比,本文提出的算法超分辨视觉效果更好,并且在客观评价指标中同样表现良好。     

基于稀疏表示的自适应图像超分辨率重建算法

针对图像高分辨率重建过程中稀疏解的存在性和唯一性问题以及超分辨率图像的边缘特征和平滑噪声的关系进行了研究, 提出了局部正则化参数自适应选取的方法。结合联合构造字典的算法, 在重建过程中动态调整正则化参数。通过对图像的超分辨率实验证明, 改进的算法具有较高的可行性, 能有效平衡超分辨率图像的边缘特征和平滑噪声两者的关系, 与传统的超分辨率重建算法相比, 有更高的峰值信噪比。     

Super-resolution Reconstruction of Remote Sensing Images by Using Empirical Mode Decomposition and Compressed Sensing

Super resolution (SR) of remote sensing images is significant for improving accuracy of target identification and for image fusing.Conventional fusion-based methods inevitably result in distortion of spectral information,a feasible solution to the problem is the single-image based super resolution.In this work,we proposed a single-image based approach to super resolution of multiband remote sensing images.The method combines the EMD (Empirical Mode Decomposition),compressed sensing and PCA to dictionary learning and super resolution reconstruction of remote sensing color image.First,the original image is decomposed into a series of IMFs(Intrinsic Mode Function) according to their frequency component by using EMD,and the super resolution is implemented only on IMF1,which includes high-frequency component;then the K-SVD algorithm is used to learn and obtain overcomplete dictionaries,and the MOP (Orthogonal Matching Pursuit) algorithm is used to reconstruct the IMF1;Finally,the up-scaled IMF1 is combined with other IMFs to acquire the super resolution of original image.For a multiband image reconstruction,a PCA transform is first implemented on multiband image,and the PC1 is adopted for learning to get overcomplete dictionaries,the obtained dictionaries is then used to super-resolution reconstruction of each multi-spectral band.The Geoeye-1 panchromatic and multi-spectral images are used as experimental data to demonstrate the effectiveness of the proposed algorithm.The results show that the proposed method is workable to exhibit the detail within the images.     

一种超分辨率图像重构算法研究

为了从低分辨率序列图像中重构出高分辨率的图像,该文在Robust超分辨率图像重构算法中引入了正则化因子,提出了一种新的超分辨率图像重构算法,它不仅消除了低分辨率图像中的奇变信息(bias),而且增强了抑制超分辨率图像重构噪声的能力。实验结果表明,该文提出的算法具有更好的效果(MSE值更小)。