基于图像块分类的图像超分辨率重建

针对当前图像超分辨率重建算法中存在的字典单一而导致重建图像质量不佳的问题，提出一种将图像块分类与图像卡通纹理分解相结合的单幅图像超分辨率重建算法。首先，将图像分块，并将图像块分为边缘类、纹理类和平滑类三类，其中纹理类用形态成分分析（MCA）算法分解为卡通部分和纹理部分；然后，对边缘类、卡通部分和纹理部分分别训练高低分辨率字典；最后，求解稀疏系数并与高分辨率字典重建图像块。仿真结果显示，与基于稀疏表示的超分辨率重建（SCSR）算法和单幅图像超分辨率重建（SISR）算法相比，所提算法的峰值信噪比（PNSR）值分别提高了0.26 dB和0.14 dB，表明该算法的重建效果更好，重建图像纹理细节更丰富。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

深度学习视频超分辨率技术综述

视频超分辨率技术在卫星遥感侦测、视频监控和医疗影像等方面发挥着关键作用,在各领域具有广阔的应用前景,受到广泛关注,但传统的视频超分辨率算法具有一定局限性。随着深度学习技术的愈发成熟,基于深度神经网络的超分辨率算法在性能上取得了长足进步。充分融合视频时空信息可以快速高效地恢复真实且自然的纹理,视频超分辨率算法因其独特的优势成为一个研究热点。本文系统地对基于深度学习的视频超分辨率的研究进展进行详细综述,对基于深度学习的视频超分辨率技术的数据集和评价指标进行全面归纳,将现有视频超分辨率方法按研究思路分成两大类,即基于图像配准的视频超分辨率方法和非图像配准的视频超分辨率方法,并进一步立足于深度卷积神经网络的模型结构、模型优化历程和运动估计补偿的方法将视频超分辨率网络细分为10个子类,同时利用充足的实验数据对每种方法的核心思想以及网络结构的优缺点进行了对比分析。尽管视频超分辨率网络的重建效果在不断优化,模型参数量在逐渐降低,训练和推理速度在不断加快,然而已有的网络模型在性能上仍然存在提升的潜能。本文对基于深度学习的视频超分辨率技术存在的挑战和未来的发展前景进行了讨论。     

基于混合POCS的视频图像超分辨率重建

提出混合凸集投影算法HPOCS对视频图像进行超分辨率重建,利用连续视频图像间的互异信息生成更高分辨率的视频图像.该算法首先采用图像匹配估计视频图像间的运动位移;然后进行基于的APEX盲解卷积,估计点扩散函数和理想视频图像;最后在凸集投影的理论框架下进行图像重建.实验表明,HPOCS重建后,视频图像的分辨率相对于原始图像、双线性内插图像和POCS重建图像明显提高,图像边缘更加清晰,细节信息更加突出.     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

改进的非局部均值视频超分辨率重建算法

针对基于非局部均值(NLM)的视频超分辨率重建方法存在结果过于平滑、收敛速度慢及计算量大等问题,提出一种改进的NLM视频超分辨率重建算法。该方法采用模糊边缘补足算法将经过预处理的视频图像分成平坦区和纹理区;对于平坦区,采用直方图均衡化的方式进行图像增强处理,以减少算法计算量;对于纹理区,采用改进的NLM重建算法进行处理,通过设计多方向自适应搜索窗并引入邻域相干系数修正相似性权值,以增强重建图像的纹理细节,加快算法的收敛速度;将重建的纹理区与增强的平坦区进行叠加归一化处理,完成整个视频图像的超分辨率重建。实验结果表明,该算法能够在提高重建图像纹理细节及峰值信噪比的同时,降低算法的整体复杂度,缩短重建时间。     

基于深度学习的单图像超分辨率重建综述

图像超分辨率重建是用于提高图像质量的一项重要技术, 得益于深度学习在计算机视觉领域的成功应用和快速发展, 单图像超分辨率重建的效果得到了显著提升. 因此, 本文针对基于深度学习的单图像超分辨率重建方法展开深入研究, 首先综合介绍了用于该领域的基准数据集、性能评价指标、损失函数等相关知识, 然后对有监督学习和无监督学习下单图像超分辨率重建技术的最新算法进行分类讨论, 并且比较分析了不同模型之间的异同点与优缺点, 最后对该领域面临的问题和未来的发展方向进行了总结与展望.     

正则化算法在CT图像重建上的应用

由于受数据采集时间、照射剂量、成像系统扫描的几何位置等因素的约束,计算机断层成像（Computed tomography,CT）技术目前只能在有限角度范围或在较少的投影角度得到数据,这些都属于不完全角度重建问题. 因此,图像重建的算法应用变得尤为重要,本文将现有的几种正则化超分辨率重建算法应用到CT图像重建上并做了一系列的对比分析,分析不同算法下不同的图像重建效果. 首先对低分辨率CT图像进行图像配准,然后再进行样条插值放大,最后运用相关正则化算法进行超分辨率图像重建. 实验结果表明正则化算法的应用一定程度上提高了图像分辨率,其中双边正则化下的重建效果最好,基于L2范数全变分正则化效果较差.     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

集成超分辨率重建的图像压缩编码新型框架及其实现

提出一种集成超分辨率重建的图像压缩编码新型框架。在编码端对输入图像以因子2进行下采样,对下采样图像用JPEG标准编解码,而后采用事先通过外部训练库训练得到的字典,对解码后的图像进行基于学习的超分辨率重建。为了进一步提高解码重建图像质量,在算法框架中设计了反馈环节,即在编码端用原始图像减去超分辨率重建图像得到残差辅助图像,在解码端用该残差辅助图像弥补在超分辨率图像重建环节中损失的高频细节信息,在保证残差辅助图像较低编码比特率的情况下,大幅度提高了解码重建图像质量。此外,还实现了框架图像编码控制量化参数的单一化,实用性较强。实验结果表明,算法较JPEG标准在相同峰值信噪比的情况下,编码比特率大幅度降低,压缩倍数提高较多。     

图像超分辨率技术的回顾与展望

图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的超分辨率技术,根据其输入输出进行分类介绍;其次,将基于深度学习的单图像超分辨率技术分为有监督学习和无监督学习两类进行论述,并对部分具有代表性的最新超分辨率重建技术进行总结分类介绍;然后,讨论了超分辨率技术的相关问题,即性能评价指标、标准数据集,进而对几种典型算法进行实验对比;最后,对图像超分辨率算法未来的研究趋势进行展望。     

图像超分辨重建算法综述

图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,近些年来研究人员主要采用基于学习的方法,从大量数据中学习图像先验信息,以实现对解空间的约束。本文介绍了近20年来主流的图像超分辨重建算法,主要分为基于传统特征的方法和基于深度学习的方法。对于传统的超分辨重建算法,阐述了基于邻域嵌入的方法、基于稀疏表示的方法以及基于局部线性回归的方法。对于基于深度学习的超分辨重建算法,详细总结了网络模型结构设计、上采样方式、损失函数形式以及复杂条件下的算法设计4个方面。此外,本文简要分析了超分辨重建技术在视频超分辨、遥感图像超分辨以及在视觉高层任务方面的应用。最后,本文展望了图像超分辨重建技术的未来发展方向。     

Real-world single image super-resolution: A brief review

Single image super-resolution (SISR), which aims to reconstruct a high-resolution (HR) image from a low-resolution (LR) observation, has been an active research topic in the area of image processing in recent decades. Particularly, deep learning-based super-resolution (SR) approaches have drawn much attention and have greatly improved the reconstruction performance on synthetic data. However, recent studies show that simulation results on synthetic data usually overestimate the capacity to super-resolve real-world images. In this context, more and more researchers devote themselves to develop SR approaches for realistic images. This article aims to make a comprehensive review on real-world single image super-resolution (RSISR). More specifically, this review covers the critical publicly available datasets and assessment metrics for RSISR, and four major categories of RSISR methods, namely the degradation modeling-based RSISR, image pairs-based RSISR, domain translation-based RSISR, and self-learning-based RSISR. Comparisons are also made among representative RSISR methods on benchmark datasets, in terms of both reconstruction quality and computational efficiency. Besides, we discuss challenges and promising research topics on RSISR.     

自适应IQA阈值序列图像NLM超分辨重建方法

序列图像超分辨率（super resolution,SR）算法可以利用多帧低分辨率图像之间的互补信息重建出一张高分辨率结果。传统非局部均值（non-local means,NLM）超分辨率重建方法的迭代次数选取和最佳SR重建结果筛选过程高度依赖使用者经验值和主观评价,这极大地增加了算法复杂度,降低了算法的鲁棒性。为了解决这两个问题,提出一种基于图像质量评价（image quality assessment,IQA）自适应阈值的NLM超分辨重建算法。通过设计一种SR重建结果质量评价指标,将该指标引入到NLM重建算法中：一方面作为阈值,用以确定算法迭代收敛条件;另一方面作为评价标准,用以筛选多个输出结果中重建效果最佳的高分辨率图像。实验结果表明,提出的算法能在有效保证鲁棒性的同时,极大地提升NLM超分辨率重建算法的运算效率。     

Visual-Quality Optimizing Super Resolution

In this paper, we propose a robust image super-resolution (SR) algorithm that aims to maximize the overall visual quality of SR results. We consider a good SR algorithm to be fidelity preserving, image detail enhancing and smooth. Accordingly, we define perception-based measures for these visual qualities. Based on these quality measures, we formulate image SR as an optimization problem aiming to maximize the overall quality. Since the quality measures are quadratic, the optimization can be solved efficiently. Experiments on a large image set and subjective user study demonstrate the effectiveness of the perception-based quality measures and the robustness and efficiency of the presented method.     

An efficient and robust multi-frame image super-resolution reconstruction using orthogonal Fourier-Mellin moments

Multi-frame image super-resolution (SR) has recently become an active area of research. The orthogonal rotation invariant moments (ORIMs) have several useful characteristics which make them very suitable for multi-frame image super-resolution application. Among the various ORIMs, Zernike moments (ZMs) and pseudo-Zernike moments (PZMs)-based SR approaches, i.e., NLM-ZMs and NLM-PZMs, have already shown improved SR performances for multi-frame image super-resolution. However, it is a well-known fact that among many ORIMs, orthogonal Fourier-Mellin moments (OFMMs) demonstrate better noise robustness and image representation capabilities for small images as compared to ZMs and PZMs. Therefore, in this paper, we propose a multi-frame image super-resolution approach using OFMMs. The proposed approach is based on the NLM framework because of its inherent capability of estimating motion implicitly. We have referred to this proposed approach as NLM-OFMMs-I. Also, a novel idea of using OFMMs-based interpolation in place of traditional Lanczos interpolation for obtaining an initial estimate of HR sequence has been presented in this paper. This variant of the proposed approach is referred to as NLM-OFMMs-II. Detailed experimental analysis demonstrates the effectiveness of the proposed OFMMs-based SR approaches to generate high-quality HR images in the presence of factors like image noise, global motion, local motion, and rotation in between the image frames.     

边缘振荡效应的自适应滤除算法

超分辨率图像重构技术已经被证明在卫星成像、视频监控、医学成像等研究领域中具有极其重要的应用价值。但是,由于超分辨率图像重构本身是一个病态求逆过程,在重构图像中所产生的边缘振荡效应往往很难在重构过程中予以消除。为此,文章提出了一个边缘振荡效应的自适应滤除算法。在该算法中,重构图像先被分割为均匀区域、边界区域和纹理区域,然后分别对这三类区域采用不同的滤波算法。实验结果表明,新算法在滤除边缘振荡效应的同时,较好地保存了超分辨重构图像的细节。     

基于MAP框架的时空联合自适应视频序列超分辨率重建

超分辨率重建在视频监控、高清晰度电视、遥感图像、医学图像处理等领域具有广阔的应用前景. 最大后验估计(maximum a posteriori, MAP)法是普遍采用的一种超分辨率重建方法. 针对传统MAP法存在的局限性, 本文提出了一种基于MAP框架的时空联合自适应视频序列超分辨率重建算法. 时空联合自适应机制的引入使得算法在保持边缘的同时可减小错误运动估计矢量对重建图像质量的影响. 实验结果表明, 算法具有重建质量好、边缘保持能力强、收敛速度快等特点.     

Single image super-resolution: a comprehensive review and recent insight

Super-resolution (SR) is a long-standing problem in image processing and computer vision and has attracted great attention from researchers over the decades. The main concept of SR is to reconstruct images from low-resolution (LR) to high-resolution (HR).It is an ongoing process in image technology, through up-sampling, de-blurring, and de-noising. Convolution neural network (CNN) has been widely used to enhance the resolution of images in recent years. Several alternative methods use deep learning to improve the progress of image super-resolution based on CNN. Here, we review the recent findings of single image super-resolution using deep learning with an emphasis on distillation knowledge used to enhance image super-resolution., it is also to highlight the potential applications of image super-resolution in security monitoring, medical diagnosis, microscopy image processing, satellite remote sensing, communication transmission, the digital multimedia industry and video enhancement. Finally, we present the challenges and assess future trends in super-resolution based on deep learning.