单幅图像超分辨率重建技术研究进展

图像分辨率是衡量一幅图像质量的重要标准. 在军事、医学和安防等领域, 高分辨率图像是专业人士分析问题并做出准确判断的前提. 根据成像采集设备、退化因素等条件对低分辨率图像进行超分辨率重建成为一个既具有研究价值又极具挑战性的难点问题. 首先简述了图像超分辨率重建的概念、重建思想和方法分类; 然后重点分析用于单幅图像超分辨率重建的空域方法, 梳理基于插值和基于学习两大类重建方法中的代表性算法及其特点; 之后结合用于超分辨率重建技术的数据集, 重点分析比较了传统超分辨率重建方法和基于深度学习的典型超分辨率重建方法的性能; 最后对图像超分辨率重建未来的发展趋势进行展望.     

基于图像块分类的图像超分辨率重建

针对当前图像超分辨率重建算法中存在的字典单一而导致重建图像质量不佳的问题，提出一种将图像块分类与图像卡通纹理分解相结合的单幅图像超分辨率重建算法。首先，将图像分块，并将图像块分为边缘类、纹理类和平滑类三类，其中纹理类用形态成分分析（MCA）算法分解为卡通部分和纹理部分；然后，对边缘类、卡通部分和纹理部分分别训练高低分辨率字典；最后，求解稀疏系数并与高分辨率字典重建图像块。仿真结果显示，与基于稀疏表示的超分辨率重建（SCSR）算法和单幅图像超分辨率重建（SISR）算法相比，所提算法的峰值信噪比（PNSR）值分别提高了0.26 dB和0.14 dB，表明该算法的重建效果更好，重建图像纹理细节更丰富。     

超分辨重建图像质量评价算法

超分辨率图像重建技术可以提高图像分辨率,但是通常会给图像带来相应的尺寸变化,如何评价质量提升是个难题。目前常用的图像质量评价算法很少涉及图像的尺寸变化。基于结构相似度（SSIM）和尺度空间理论（SIFT）,提出了一种针对超分辨率重建图像的弱参考质量评价算法,算法将SSIM与SIFT融合,能够适用图像尺寸的变化。通过仿真和实验证明了该算法的有效性。实验结果表明,该算法能够很好地适应图像尺寸的变化,可以客观地评价超分辨重建图像质量的好坏。     

集成超分辨率重建的图像压缩编码新型框架及其实现

提出一种集成超分辨率重建的图像压缩编码新型框架。在编码端对输入图像以因子2进行下采样,对下采样图像用JPEG标准编解码,而后采用事先通过外部训练库训练得到的字典,对解码后的图像进行基于学习的超分辨率重建。为了进一步提高解码重建图像质量,在算法框架中设计了反馈环节,即在编码端用原始图像减去超分辨率重建图像得到残差辅助图像,在解码端用该残差辅助图像弥补在超分辨率图像重建环节中损失的高频细节信息,在保证残差辅助图像较低编码比特率的情况下,大幅度提高了解码重建图像质量。此外,还实现了框架图像编码控制量化参数的单一化,实用性较强。实验结果表明,算法较JPEG标准在相同峰值信噪比的情况下,编码比特率大幅度降低,压缩倍数提高较多。     

基于生成对抗网络的多幅离焦图像超分辨率重建算法

为提高超分辨率算法重建出的图像质量,提出融合多幅离焦图像的超分辨率重建算法。以离焦图像作为切入点,利用自编码器提取离焦图像中的重要特征,根据空间特征变换层结构,将离焦特征与原始特征相结合,完成图像的超分辨率重建。在Celeb A人脸数据集上进行实验,结果表明,与传统插值算法及SRGAN算法相比,所提算法在大多数情况下能获得更高峰值信噪比及结构相似性数值,能生成质量更高的重建图像。     

1种新颖的图像超分辨率算法的设计与实现

随着人们对图像质量要求的不断提高,为了弥补原有图像数据空间分辨率的不足,重建质量更好、空间分辨率更高的图像数据,进一步提高图像空间解像力和清晰度,在对现有图像分辨率增强技术进行分析的基础上,提出了1种新颖的图像超分辨率算法-单向多样学习图像超分辨率算法.该算法思路是:首先建立训练图像集,再对待处理图像和训练集中的特征图像对进行分割、光栅排列和对比度正则化等适当的预处理.然后让待处理图像上的每个局部图像块在训练集中使用搜索算法进行多样学习,以获得低分辨图像上不同区域缺乏的高频细节信息,最后使用这些学习所获得的信息预测生成超分辨率图像.在本算法中,训练样本具有更好的一般化能力,训练集的通用性强,其图像存储空间减小,采用的最先最优搜索算法能快速找到了1个较好的匹配结果,从而以极小的计算代价提高了匹配质量,比采用图像超分辨率重建技术所获得图像质量更好.因此在军事遥感侦察、目标的识别与监测、天文观察、生物医学、公安侦破和交通监视等诸多领域具有广泛的应用前景.实验结果也表明,本文算法得到的高分辨率图像较大程度上提高了图像质量.     

一种用于车牌识别的图像超分辨率重建技术

获取的车牌图像因分辨率过低、过量模糊和噪声等原因会导致其图像质量较低,影响了车牌识别的准确率。为了提高车牌识别的准确率,采用基于学习的超分辨率重建算法增强低质车牌图像。引入在线字典学习方法训练超完备字典,并制作适合于车牌超分的训练图集,根据低质车牌图像重建高分辨率车牌,按照既定的模板匹配方法进行车牌识别。实验表明,超分方法的PSNR和SSIM比经典的SCSR(Sparse Coding Super-Resolution)法都有明显提升,车牌识别率也比SCSR提高了5.0%。可见,所提出的算法较好地增强了低质车牌的图像质量,有效地提高了识别率。     

基于小波分析的TM遥感图像超分辨率重建

基于图像算法的超分辨率重建技术可以提高光学遥感图像的空间分辨率,能够更加有效地利用现有数据并降低成本。以滇西北香格里拉市小中甸坝为实验区,以2009年的TM影像为数据源,开展遥感图像超分辨率重建实验研究。首先分析其中造成图像退化的各项因素并经过双线性插值、维纳逆滤波、卷积等处理;然后通过小波分解得到描述各个方向上不同尺度的高低频信息的小波系数,并多次试验推导出满足预期条件的加权因子。再将多时段的低分辨率图像小波系数以小波重构的方式重建。通过实验可以看出,重建图像能提供更多的细节信息,图像质量有了明显提高。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于小波分析和多项式细分定位的超分辨率图像重建算法

图像超分辨率重建是图像增强和图像复原研究中的一项重要课题,广泛应用于高清晰电视、医学成像和遥感成像等领域。在小波分析边缘检测的基础上,通过多项式细分算法定位亚像素边缘,将图像分为平滑区域、边缘区域和微细边缘区域。根据不同的区域特性,采用不同的插值方式进行超分辨率图像重建。仿真结果显示所提算法重建的高分辨率图像边界部分清晰自然,其主观判断和客观评价结果明显好于传统重建算法,从而验证了本算法的可行性和有效性。     

单幅图像超分辨重建的深度学习方法综述

图像超分辨重建（Super-Resolution,SR）是指利用信号处理和机器学习等方法,从单幅或者多幅低分辨率图像（Low Resolution,LR）中重建对应的高分辨率图像（High Resolution,HR）的技术。由于多幅LR图像之间亚像素位移的不可预知性,单幅图像超分辨重建（Single Image Super-Resolution,SISR）逐渐成为超分辨研究的主要方向。近年来,深度学习方法得到迅速发展,并广泛应用到图像处理领域。因此,针对单幅图像超分辨重建所使用的深度学习相关算法和网络模型进行系统的总结。介绍图像超分辨问题的设置和评价指标;讨论和比较单幅图像超分辨重建的深度学习算法,主要从网络结构设计、损失函数和上采样方式三方面进行论述;介绍常用的标准数据集,并选用基于不同网络模型的几种典型算法进行实验对比分析;展望图像超分辨技术未来的研究趋势和发展方向。     

自适应IQA阈值序列图像NLM超分辨重建方法

序列图像超分辨率（super resolution,SR）算法可以利用多帧低分辨率图像之间的互补信息重建出一张高分辨率结果。传统非局部均值（non-local means,NLM）超分辨率重建方法的迭代次数选取和最佳SR重建结果筛选过程高度依赖使用者经验值和主观评价,这极大地增加了算法复杂度,降低了算法的鲁棒性。为了解决这两个问题,提出一种基于图像质量评价（image quality assessment,IQA）自适应阈值的NLM超分辨重建算法。通过设计一种SR重建结果质量评价指标,将该指标引入到NLM重建算法中：一方面作为阈值,用以确定算法迭代收敛条件;另一方面作为评价标准,用以筛选多个输出结果中重建效果最佳的高分辨率图像。实验结果表明,提出的算法能在有效保证鲁棒性的同时,极大地提升NLM超分辨率重建算法的运算效率。     

基于机器学习的遥感图像超分辨综述

综述了基于机器学习的遥感图像超分辨重建技术的研究和发展。基于机器学习的遥感图像超分辨率重建技术通过学习低分辨图像与高分辨图像之间映射的关系,提升遥感图像的空间分辨率,从而有助于遥感图像的视觉分析。根据数据表达方法的不同将基于机器学习的遥感图像超分辨方法分为两类,包括基于字典学习的方法和基于深度学习的方法;简述了各类方法针对的问题,分析其设计思路和实现原理;对各类方法的优缺点和性能指标进行了对比分析;总结了遥感图像超分辨面临的问题和难点,并对未来发展的趋势进行了展望。     

基于峭度图像的超分辨率重建算法

针对在强噪声环境下,传统的超分辨率重建算法重建图像效果不佳的问题,提出一种基于峭度图像的超分辨率重建算法。定义峭度图像,从统计学角度分析得到峭度图像的2个重要性质,即具有高斯不变性,并且图像越模糊,峭度绝对值越小。在满足高分辨率图像与低分辨率图像之间反卷积的剩余误差有界的前提下,通过最大化峭度绝对值求解未知的高分辨率图像,采用Lagrange乘子法则求解此约束优化问题。分析高斯噪声和非高斯噪声环境下算法性能。仿真结果表明,该算法在主观视觉和客观评价上都明显优于传统算法。     

基于多种正则化的改进超分辨率重建算法

为了解决超分辨率图像重建过程中无法同时降低平滑区域噪声和保持图像细节的问题,结合改进的非局部变分（NLTV）和全变分（TV）正则项方法提出一种新的超分辨率重建算法。首先,根据图像重尾分布特性,结合高斯分布、拉普拉斯分布及柯西分布改进了传统NLTV正则项系数,提出了改进的ANLTV正则项。然后利用ANLTV正则项基于分裂Bregman算法重建了初始的高分辨率图像。最后结合TV正则项对重建的高分辨率图像进行去模糊操作,进而得到最终的超分辨率图像重建结果。为验证所提算法的性能,分别利用该算法与传统的TV和NLTV算法进行超分辨率图像重建并对比。实验结果表明,所提出的方法相比于传统的TV和NLTV重建算法,其峰值信噪比、信噪比和结构相似度均有所提高,能够同时满足超分辨率图像重建过程中抑制噪声和保持边缘细节的需求。     

基于人工欠曝光融合和白平衡技术的水下图像增强算法

获得清晰准确的水下图像是人类探索水下世界的重要前置条件。然而与平常图像相比,水下图像往往具有对比度低、细节保留不足及颜色失真等问题,这导致其视觉效果不佳。针对上述问题,提出了基于人工欠曝光融合和白平衡技术（AUF+WB）的水下图像增强算法。首先,利用调节伽马值的方式对原始水下图像进行操作,从而生成5幅相应的欠曝光图像;然后,以对比度、饱和度及良好曝光度作为融合权重,并结合多尺度融合来生成融合图像;最后,将各类颜色通道补偿后的图像分别结合灰色世界假设白平衡生成相应的白平衡图像,再利用水下彩色图像质量评价指标（UCIQE）及水下图像质量评价标准（UIQM）对得到的白平衡图像进行评价。通过选取不同类型的水下图像作为实验样本,将AUF+WB算法与现存先进的水下图像去雾算法进行比较,结果表明AUF+WB算法在图像质量定性、定量两方面分析中和对比算法相比均有更好的表现。所提出的AUF+WB算法可矫正水下图像的颜色失真,并增强其对比度、恢复其细节,有效提升了水下图像的视觉质量。     

基于学习的图像超分辨重建方法综述

全面综述了基于学习的单帧图像超分辨重建技术的研究与发展。基于学习的单帧图像超分辨重建借助机器学习技术,通过学习低分辨与高分辨图像之间的映射关系估计低分辨图像中丢失的高频细节,以获得边缘清晰、纹理细节丰富的高质量图像。根据超分辨重建过程中实例样本使用方式和学习算法的不同,已有基于学习的超分辨重建方法可分为五种类型,包括基于[k]近邻学习的方法、基于流形学习的方法、基于字典学习的方法、基于实例多线性回归的方法和基于深度学习的方法。对每类方法的主要思想和具有代表性的方法进行了详细介绍,对六种具有代表性的基于学习的超分辨重建方法的重建结果进行了比较和分析。最后,对基于学习的超分辨重建技术的未来发展趋势进行了展望。     

基于光流法的迭代反投影超分辨率重构算法

为了提高重构图像或者视频的分辨率．提出把新型的基于光流法的图像配准算法应用于迭代反投影（IBP）超分辨率算法中。在所提出的方法中．基于光流法的图像配准算法用来提高图像配准的准确性。首先,为了得到像素级别的运动矢量．基于光流法的图像配准算法被用于估计图像间的运动矢量。以得到更加准确的运动矢量矩阵。接着,利用所获得的运动矢量矩阵结合迭代反投影算法重构高分辨率的图像。同时．由于基于光流法的图像配准能够很好地估计视频图像间的运动．所提出的方法同样适用于视频图像的超分辨。实验结果表明．提出的方法对于图像或者视频的超分辨率效果．在主观效果和客观评价上都有一定的提升。     

基于卷积神经网络的图像超分辨率重建

单幅图像超分辨率（Super Resolution，SR）重建，是计算机视觉领域的一个经典问题，其目的在于从一个低分辨率图像得到一个高分辨率图像。目前的卷积神经网络重建算法只有三层结构，浅层结构在处理内部结构复杂的数据时，会出现表征能力不足的问题，因此提出了一个基于特征转移的八层卷积神经网络结构来实现图像超分辨率重建。针对不同的测试集，提出的卷积神经网络模型取得了更佳的超分辨率结果，不管是在主观视觉上还是在客观评价指标上均有明显改善，把数据集图像放大3倍时，对于不同算法的对比图像，该算法的峰值信噪比最高，而且在清晰度方面尤其是图像纹理边缘得到了增强。实验结果证明了基于迁移转移的八层卷积神经网络对图像超分辨率重建的有效性，且网络的收敛速度更快，在精细度方面具有更高的优势。     

基于非线性最小二乘的图像自适应SR重建以及运动估计

图像超分辨率（SR）重建是利用数字信号处理技术由一系列低分辨率观测图像得到高分辨率图像。为了扩展SR技术的应用范围,提出了一种同时进行图像超分辨率重建和全局运动估计的方法。该方法首先基于最大后验概率(MAP)给出了图像SR重建和运动估计框架,该框架不仅考虑了前后两次迭代所得的HR图像差值对最终重建图像的影响,而且引入了不同LR图像对重建图像的重要性权值,使得算法具有自适应性;然后将总体框架转换为图像SR重建模型和运动估计模型;最后基于非线性最小二乘法对模型进行优化求解,得出了SR重建图像及其全局运动域。实验表明,该方法不仅图像重建效果良好,并有着良好的收敛性。