基于学习的图像超分辨重建方法综述

全面综述了基于学习的单帧图像超分辨重建技术的研究与发展。基于学习的单帧图像超分辨重建借助机器学习技术,通过学习低分辨与高分辨图像之间的映射关系估计低分辨图像中丢失的高频细节,以获得边缘清晰、纹理细节丰富的高质量图像。根据超分辨重建过程中实例样本使用方式和学习算法的不同,已有基于学习的超分辨重建方法可分为五种类型,包括基于[k]近邻学习的方法、基于流形学习的方法、基于字典学习的方法、基于实例多线性回归的方法和基于深度学习的方法。对每类方法的主要思想和具有代表性的方法进行了详细介绍,对六种具有代表性的基于学习的超分辨重建方法的重建结果进行了比较和分析。最后,对基于学习的超分辨重建技术的未来发展趋势进行了展望。     

统一最小二乘规则的单幅图像超分辨算法

基于机器学习的超分辨方法是一个很有发展前景的单幅图像超分辨方法,稀疏表达和字典学习是其中的研究热点。针对比较耗时的字典训练与恢复精度不高图像重建,从减小低分辨率(LR)和高分辨率(HR)特征空间之间差异性的角度提出了一种使用迭代最小二乘字典学习算法(ILS-DLA),并使用锚定邻域回归(ANR)进行图像重建的单幅图像超分辨算法。迭代最小二乘法的整体优化过程极大地缩短了低分辨字典/高分辨字典的训练时间,它采用了与锚定邻域回归相同的优化规则,有效地保证了字典学习和图像重建在理论上的一致性。实验结果表明,所提算法的字典学习效果比K-均值奇异值分解(K-SVD)和Beta过程联合字典学习(BPJDL)等算法更高效,图像重建的效果也优于许多优秀的超分辨算法。     

基于改进稀疏编码的图像超分辨率算法

针对传统基于稀疏字典对的超分辨率（SR）算法训练速度慢、字典质量差、特征匹配准确性低的缺点,提出一种基于改进稀疏编码的图像超分辨率算法。该算法使用自适应阈值的形态组成分析(MCA)方法提取图像特征,并采用主成分分析算法对训练集进行降维,提高特征提取的有效性,缩短字典训练时间,减少过拟合现象。在字典训练阶段,使用改进的稀疏K-奇异值分解(K-SVD)算法训练低分辨率字典,结合图像块的重叠关系求解高分辨率字典,增强字典的有效性和自适应能力,同时极大地提高了字典的训练速度。在Lab颜色空间对彩色图像进行重建,避免由于颜色通道相关性造成的重建图像质量下降。与传统方法相比,该算法重建图像质量和计算效率更优。     

基于改进稀疏编码的图像超分辨率算法

针对传统基于稀疏字典对的超分辨率(SR)算法训练速度慢、字典质量差、特征匹配准确性低的缺点,提出一种基于改进稀疏编码的图像超分辨率算法。该算法使用自适应阈值的形态组成分析(MCA)方法提取图像特征,并采用主成分分析算法对训练集进行降维,提高特征提取的有效性,缩短字典训练时间,减少过拟合现象。在字典训练阶段,使用改进的稀疏K-奇异值分解(K-SVD)算法训练低分辨率字典,结合图像块的重叠关系求解高分辨率字典,增强字典的有效性和自适应能力,同时极大地提高了字典的训练速度。在Lab颜色空间对彩色图像进行重建,避免由于颜色通道相关性造成的重建图像质量下降。与传统方法相比,该算法重建图像质量和计算效率更优。     

基于自适应半耦合字典学习的超分辨率图像重建

在超分辨图像重建领域,如何平衡字典学习中表示系数的稀疏性和协同性对重建效果具有重要意义。针对该问题,在半耦合字典学习的超分辨重建基础上,利用核范数构建一个新的正则项,将稀疏性和协同性作为一个整体进行考虑,并用交替方向乘子法（ADMM）求解优化模型,得到了基于自适应半耦合字典学习的超分辨率图像重建算法。实验结果表明,该方法比现有的一些基于字典学习的重建方法具有更好的重建效果,其能根据字典的变化自适应地平衡稀疏性与关联性,并通过两者之间的协调产生一个最合适的系数,因此在噪声环境下具有一定的抗干扰能力。     

基于预测稀疏编码的快速单幅图像超分辨率重建

针对经典的基于稀疏编码的图像超分辨率算法在重建过程中运算量大、计算效率低的缺点,提出一种基于预测稀疏编码的单幅图像超分辨率重建算法。训练阶段,该算法在传统的稀疏编码误差函数基础上叠加编码预测误差项构造目标函数,并采用交替优化过程最小化该目标函数;测试阶段,仅需将输入的低分辨图像块和预先训练得到的低分辨率字典相乘就能预测出重建系数,从而避免了求解稀疏回归问题。实验结果表明,与经典的基于稀疏编码的单幅图像超分辨率算法相比,该算法能够在显著减少重建阶段运算时间的同时几乎完全保留超分辨率视觉效果。     

基于多字典的单幅图像超分辨率重建

对于目前图像超分辨率重建算法中的问题，忽略重建图像结构性和重建过程中丢失高频信息，提出了一种基于多字典的单幅图像超分辨率重建算法。在字典学习阶段根据每个图像块的主方向角，对所有训练图像块进行聚类并训练各类的字典。利用训练得到的字典重建训练样本并计算各类的残差图像块，然后对残差图像块再进行聚类、训练残差字典。用锚定邻域回归方法重建高分辨率图像，实验结果表明，该算法在客观评价和视觉效果上均优于许多优秀的图像超分辨算法。     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于聚类和回归的超分辨率方法

基于实例的超分辨算法在超分辨重建技术中得到了广泛的应用,如邻域嵌入算法。这个算法的理论基础建立在流形假设上,而流形假设往往并不是成立。为了避免流形假设,提出了基于聚类和回归的超分辨率方法。由于图像的信息较为复杂,因此首先将图像样本块进行聚类。然后,在高分辨图像块与低分辨图像块中学习局部回归函数。最后应用回归函数进行超分辨重建。将仿真实验结果与其他算法进行比较,证明了该算法的可行性和有效性。     

基于字典学习和非局部相似的超分辨率重建

为提高单帧降质图像的分辨率,提出了一种基于字典学习和非局部相似性的超分辨率重建算法。该算法主要将高分辨率图像减去利用迭代反投影重建结果得到差值图像,再利用K-奇异值分解(K-SVD)算法和联合字典生成的思想形成的字典训练方法,训练差值图像块和低分辨率图像块得到对应的高、低分辨率字典用于超分辨重建。此外,引入非局部相似性的正则项约束以提高重建图像的质量。实验结果表明,所提算法重建得到的图像在主观视觉效果和客观评价上优于基于例子学习的超分辨率算法。     

Learning graph-constrained cascade regressors for single image super-resolution

Learning cascade regression has been shown an effective strategy to further enhance the perceptual quality of resulted high-resolution (HR) images. However, previous cascade regression-based SR methods have two obvious weaknesses: (1)edge structures cannot be preserved well when applying texture features to represent low-resolution (LR) images, and (2)the local manifold structures spanned by the LR-HR feature spaces cannot be revealed by the learned local linear mappings. To alleviate the aforementioned problems, a novel example regression-based super-resolution (SR) approach called learning graph-constrained cascade regressors (LGCCR) is presented, which learns a group of multi-round residual regressors in a unique way. Specifically, we improve the edge preservation capability by synthesizing the whole HR image rather than local image patches, which facilitates to extract the edge features to represent LR images. Moreover, we utilize a graph-constrained regression model to build the local linear regressors, where each local linear regressor responds to an anchored atom in the learned over-complete dictionary. Both quantitative and qualitative quality evaluations on seven benchmark databases indicate the superiority of the proposed LGCCR-based SR approach in comparing with other state-of-the-art SR predecessors.

     

基于半耦合稀疏表达的极低分辨率人脸识别

现有基于学习的人脸超分辨率算法假设高低分辨率特征具有流形一致性（耦合字典学习）,然而低分辨率图像的降质过程使得高低分辨率特征产生了“一对多”的映射关系偏差,减少了极低分辨率图像特征的判决信息,降低了超分辨率重建图像的识别率。针对这一问题,引入了半耦合稀疏字典学习模型,松弛高低分辨率流形一致性假设,同时学习稀疏表达字典和稀疏表达系数之间的映射函数,提升高低分辨率判决特征的一致性,在此基础上,引入协同分类模型,实现半耦合特征的高效分类。实验表明：相比于传统稀疏表达分类算法,算法不仅提高了识别率,并且还大幅度降低了时间开销,验证了半耦合稀疏学习字典在人脸识别中的有效性。     

基于判别性解析字典与分类器学习的模式分类

稀疏表示（Sparse Representation,SR）和字典学习（Dictionary Learning,DL）已被广泛用于编码特征数据并有助于模式分类。现有方法通常使用[l1/l2]范数或每类使用特定字典来强制SR的类判别能力,但由此产生的类判别能力有限。在这项工作中,提出使用训练集作为训练样本的SR的综合字典,因为它为每类数据提供了最自然的特定字典。训练集的类信息可用于增强SR的判别能力：精确块对角线结构,意味着每个数据只能由同类中数据表示。为了使测试阶段容易,在训练集的判别SR的监督下学习解析字典和线性分类器。一旦学习了解析字典和分类器,测试阶段就非常简单并且高效。称之为判别分析字典与分类器学习（Discriminative Analysis Dictionary and Classifier Learning,DADCL）。大量实验表明,该方法具有较好的分类性能。     

基于自适应锚定邻域回归的图像超分辨率算法

在基于字典的图像超分辨率（SR）算法中，锚定邻域回归超分辨率（ANR）算法由于其优越的重建速度和质量引起了人们的广泛关注。然而，ANR算法的锚定邻域投影并不稳定，以致于不足以涵盖各种样式的映射关系。因此提出一种基于自适应锚定邻域回归的图像SR算法，根据样本分布自适应地计算邻域中心从而以更精确的邻域来预计算投影矩阵。首先，以图像块为中心，运用K均值聚类算法将训练样本聚类成不同的簇；然后，用每个簇的聚类中心替换字典原子来计算相应的邻域；最后，运用这些邻域来预计算从低分辨率（LR）空间到高分辨率（HR）空间的映射矩阵。实验结果表明，所提算法在Set14上平均重建效果以31.56 dB的峰值信噪比（PSNR）及0.8712的结构相似性（SSIM）优于其他基于字典的先进算法，甚至胜过超分辨率卷积神经网络（SRCNN）算法。同时，在主观表现上看，所提算法恢复出了尖锐的图像边缘且产生的伪影较少。     

基于小训练样本的AdaBoost人脸检测

AdaBoost算法已被广泛地应用于人脸检测系统中,但往往需要大量的训练样本。针对其训练过程复杂冗长的缺陷,选择研究基于少量训练样本的人脸检测问题。采用协方差特征代替图像统计的直方图进行特征提取。为达到更好的分类效果,应用基于Fisher判别式分析的线性超平面分类器,通过AdaBoost算法构成多层级联分类器进行人脸检测。在小数据库里可以看到,与目前用于多数人脸检测系统的类Haar特征相比,该算法在减少训练样本的同时能获得更好的检测效果。     

基于多字典学习和图像块映射的超分辨率重建

针对单一冗余字典在稀疏表示图像超分辨率重建结果出现不清晰、伪影以及重建过程编码效率不高、运算时间过长的问题,提出一种基于多字典学习和图像块映射的超分辨率重建方法。该方法在传统稀疏表示的框架下,首先探索局部图像块的梯度结构信息,按梯度角度将训练样本块分类;然后为每个子类样本集学习高低分辨率字典对,再结合最近邻思想应用生成的字典,为每个子类计算从低分辨率块到高分辨率块映射的函数;最后将重建过程简化为输入块和映射函数的乘积,在保证提高重建质量的同时减少了图像重建的时间。实验结果表明,所提算法在视觉效果有较大的提升,同时与锚点邻域回归算法相比,评价参数峰值信噪比(PSNR)平均提高约0.4 dB。     

Boosting neural networks

Boosting is a general method for improving the performance of learning algorithms. A recently proposed boosting algorithm, AdaBoost, has been applied with great success to several benchmark machine learning problems using mainly decision trees as base classifiers. In this article we investigate whether AdaBoost also works as well with neural networks, and we discuss the advantages and drawbacks of different versions of the AdaBoost algorithm. In particular, we compare training methods based on sampling the training set and weighting the cost function. The results suggest that random resampling of the training data is not the main explanation of the success of the improvements brought by AdaBoost. This is in contrast to bagging, which directly aims at reducing variance and for which random resampling is essential to obtain the reduction in generalization error. Our system achieves about 1.4% error on a data set of on-line handwritten digits from more than 200 writers. A boosted multilayer network achieved 1.5% error on the UCI letters and 8.1% error on the UCI satellite data set, which is significantly better than boosted decision trees.     

一种进行稀疏编码的复数数据词典快速训练方法

稀疏编码理论应用于信号处理的各个领域,为了获取优化的稀疏编码,需要通过训练获取数据词典.提出了一种复数域数据词典的快速训练方法,将词典训练问题转化为最优化问题并交替地对词典原子和编码进行最优化而得到最终训练词典.在对词典原子的最优化过程中,采用具有记忆性的在线训练算法;而在对编码进行最优化的过程中,采用交换乘子方向方法进行实现.通过实验得出:所提出的算法能够有效地提高数据词典的训练效率,在保证收敛值的同时缩短训练时间,并且对于训练样本中的噪声具有鲁棒性.     

自适应IQA阈值序列图像NLM超分辨重建方法

序列图像超分辨率（super resolution,SR）算法可以利用多帧低分辨率图像之间的互补信息重建出一张高分辨率结果。传统非局部均值（non-local means,NLM）超分辨率重建方法的迭代次数选取和最佳SR重建结果筛选过程高度依赖使用者经验值和主观评价,这极大地增加了算法复杂度,降低了算法的鲁棒性。为了解决这两个问题,提出一种基于图像质量评价（image quality assessment,IQA）自适应阈值的NLM超分辨重建算法。通过设计一种SR重建结果质量评价指标,将该指标引入到NLM重建算法中：一方面作为阈值,用以确定算法迭代收敛条件;另一方面作为评价标准,用以筛选多个输出结果中重建效果最佳的高分辨率图像。实验结果表明,提出的算法能在有效保证鲁棒性的同时,极大地提升NLM超分辨率重建算法的运算效率。