结合支持向量回归和图像自相似的单幅图像超分辨率算法

目的 基于学习的单幅图像超分辨率算法是借助实例训练库由一幅低分辨率图像产生高分辨率图像。提出一种基于图像块自相似性和对非线性映射拟合较好的支持向量回归模型的单幅超分辨率方法,该方法不需使用外部图像训练库。方法 首先根据输入的低分辨率图像建立图像金字塔及包含低/高分辨率图像块对的集合;然后在低/高分辨率图像块对的集合中寻找与输入低分辨率图像块的相似块,利用支持向量回归模型学习这些低分辨率相似块和其对应的高分辨率图像块的中心像素之间的映射关系,进而得到未知高分辨率图像块的中心像素。结果 为了验证本文设计算法的有效性,选取结构和纹理不同的7幅彩色高分辨率图像,对其进行高斯模糊的2倍下采样后所得的低分辨率图像进行超分辨率重构,与双三次插值、基于稀疏表示及基于支持向量回归这3个超分辨率方法重建的高分辨率图像进行比较,峰值信噪比平均依次提升了2.37 dB、0.70 dB和0.57 dB。结论 实验结果表明,本文设计的算法能够很好地实现图像的超分辨率重构,特别是对纹理结构相似度高的图像具有更好的重构效果。     

利用双通道卷积神经网络的图像超分辨率算法

目的 图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法 首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果 本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。结论 本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。     

残差密集结构的东巴画渐进式重建

目的 东巴画具有内容丰富、线条疏密相间、色彩多样的独特艺术风格,将现有针对自然图像的超分辨率算法直接应用于低分辨率东巴画时,对东巴画线条、色块以及材质的重建效果不理想。为了有效提高东巴画数字图像分辨率,本文针对东巴画提出超分辨率重建方法。方法 首先,针对东巴画图像包含丰富高频信息的特点搭建重建网络,网络整体结构采用多级子网络级联方式渐进地重建出高分辨率东巴画,多级子网络标签共同指导重建,减少了东巴画图像在上采样过程中高频细节的丢失,每一级子网络内部均包含浅层特征提取模块和以残差密集结构为核心的深层特征提取模块,分别提取东巴画不同层次的特征进行融合,改善了卷积层简单的链式堆叠造成的特征丢失。其次,为了进一步提升重建东巴画的视觉质量,在像素损失的基础上引入感知损失和对抗损失进行对抗训练。最后,为了使网络对东巴画图像特征的学习更具针对性,本文自建东巴画数据集用于网络训练。结果 实验结果表明,在本文东巴画测试集set20上,当上采样因子为8时,相较于Bicubic(bicubic interpolation)、SRCNN(super-resolution convolutional neural network)、Srresnet(super-resolution residual network)和IMDN(information multi-distillation network)方法,本文算法的峰值信噪比分别增加了3.28 dB、1.80 dB、0.23 dB和0.36 dB,重建东巴画的主观视觉质量也得到了更好的结果。结论 本文提出的超分辨率网络模型能有效提高低分辨率东巴画的分辨率和清晰度,并且具有普适性,亦可采用其他数据集进行训练以拓展应用范围。     

联合局部约束的邻域嵌入人脸超分辨率重建

目的 现有的基于邻域嵌入的人脸超分辨率重建算法只利用了低分辨率图像流形空间的几何结构,而忽略了原始高分辨率图像的流形几何结构,不能很好的反映高低分辨率图像流形几何结构的关系。此外,其对同一幅图像中的不同图像块选取固定数目的最近邻域图像块,从而导致重建质量的下降。为了充分利用原始高分辨率图像空间的几何结构信息,提出基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建算法。方法 该方法结合待重构图像与低分辨率图像样本库的相似性约束与初始高分辨图像与高分辨率图像样本库的相似性约束,形成约束低分辨率图像块的重构权重,并利用该重构权重估计出高分辨率的人脸图像,同时引入自适应邻域选择的方法。结果 在CAS-PEAL-R1人脸库上的实验结果表明,相较于传统的基于邻域嵌入的人脸超分辨率重建方法,本文算法在PSNR和SSIM上分别提升了0.39 dB和0.02。相较于LSR重建方法,在PSNR和SSIM上分别提升了0.63 dB和0.01;相较于LcR重建方法,在PSNR和SSIM上分别提升了0.36 dB和0.003 2;相较于TRNR重建方法,在PSNR和SSIM上分别提升了0.33 dB和0.001 1。结论 本文所提的重建方法在现有人脸数据库上进行实验,在主观视觉和客观评价指标上均取得了较好的结果,可进一步适用于现实监控视频中人脸图像的高分辨率重建。     

基于中间层监督卷积神经网络的图像超分辨率重建

目的 基于学习的图像超分辨率重建方法已成为近年来图像超分辨率重建研究的热点。针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法网络层少、感受野小、泛化能力差等缺陷,提出了基于中间层监督卷积神经网络的图像超分辨率重建方法,以进一步提高图像重建的质量。方法 设计了具有中间层监督的卷积神经网络结构,该网络共有16层卷积层,其中第7层为中间监督层;定义了监督层误差函数和重建误差函数,用于改善深层卷积神经网络梯度消失现象。训练网络时包括图像预处理、特征提取和图像重建3个步骤,采用不同尺度因子（2、3、4）模糊的低分辨率图像交叉训练网络,以适应对不同模糊程度的图像重建;使用卷积操作提取图像特征时将参数pad设置为1,提高了对图像和特征图的边缘信息利用;利用残差学习完成高分辨率图像重建。结果 在Set5和Set14数据集上进行了实验,并和双三次插值、A+、SelfEx和SRCNN等方法的结果进行比较。在主观视觉评价方面,本文方法重建图像的清晰度和边缘锐度更好。客观评价方面,本文方法的峰值信噪比（PSNR）平均分别提高了2.26 dB、0.28 dB、0.28 dB和0.15 dB,使用训练好的网络模型重建图像耗用的时间不及SRCNN方法的一半。结论 实验结果表明,本文方法获得了更好的主观视觉评价和客观量化评价,提升了图像超分辨率重建质量,泛化能力好,而且图像重建过程耗时更短,可用于自然场景图像的超分辨率重建。     

基于图像块分类的图像超分辨率重建

针对当前图像超分辨率重建算法中存在的字典单一而导致重建图像质量不佳的问题，提出一种将图像块分类与图像卡通纹理分解相结合的单幅图像超分辨率重建算法。首先，将图像分块，并将图像块分为边缘类、纹理类和平滑类三类，其中纹理类用形态成分分析（MCA）算法分解为卡通部分和纹理部分；然后，对边缘类、卡通部分和纹理部分分别训练高低分辨率字典；最后，求解稀疏系数并与高分辨率字典重建图像块。仿真结果显示，与基于稀疏表示的超分辨率重建（SCSR）算法和单幅图像超分辨率重建（SISR）算法相比，所提算法的峰值信噪比（PNSR）值分别提高了0.26 dB和0.14 dB，表明该算法的重建效果更好，重建图像纹理细节更丰富。     

基于过完备字典的鲁棒性单幅图像超分辨率重建模型及算法

针对单幅含噪图像的超分辨率重建问题,基于图像在过完备字典下的稀疏表示建立了超分辨率重建模型.该模型中低分辨率字典采用K-SVD算法直接训练,高分辨率字典则由高分辨率图像块与低分辨率字典下的同构的表示系数进行逼近求得;近似的高分辨率图像块通过高分辨率字典乘以表示系数得到,为使重建结果对噪声具有鲁棒性,利用基于稀疏表示的噪声图像恢复的方法由重叠的近似高分辨率图像块求得最终结果.实验结果表明,文中模型无论是主观视觉还是客观评价指标均取得了较好的效果,并验证了模型及算法的有效性.     

核稀疏表示和原子相关度的图像重建

目的 针对目前基于稀疏表示的超分辨率重建算法中对字典原子的选取效率低、图像重建效果欠佳的问题,本文提出了核方法与一种高效的字典原子相关度筛选方法相融合的图像超分辨重建算法,充分利用字典原子与图像的相关度,选用对重建的贡献最大的原子来提高重建的效率和效果。方法 首先,通过预处理高分辨率图像得到高、低分辨率图像样本集,再用字典学习得到高、低分辨率字典对;然后,对字典原子进行非相关处理提高字典原子的表达能力;此后,再利用低分辨率字典,引入核方法和字典原子筛选方法进行稀疏表示,设置阈值筛选高相关原子,低相关度原子对重建贡献度低,在迭代过程中耗费计算量,所以舍去低相关原子,再对普通原子进行正则化处理后加入支撑集,处理后的字典原子对于重建具有很好的表达能力;最后,利用处理后的字典原子对低分辨率图求解稀疏表示问题得到稀疏表示系数,结合高分辨率字典重建出高分辨率图像。结果 实验通过与其他学习算法对比,得到结构相似度（SSIM）、峰值信噪比（PSNR）以及重建时间的结果。实验结果表明：本文方法与对比方法相比,图像重建时间提高了22.2%;图像结构相似度提高了9.06%;峰值信噪比提高了2.30 dB。原有的基于字典学习的方法对于字典选取具有一定的盲目性,所选取的原子与重建图像相关度较低,使重建效果差,本文方法获得的字典原子可以减少稀疏表示过程的时耗,同时提高稀疏表示的精度。引入核方法,改善经典算法中对原子选取的低精度问题,经实验证明,本方法能有效提高重建算法性能。结论 实验结果表明,图像的稀疏表示过程的重建时间明显减少,重建效果也有一定的提高,并且在训练样本较少的情况下同样有良好的重建效率和效果,适合在实际中使用。     

边缘增强深层网络的图像超分辨率重建

目的 针对基于学习的图像超分辨率重建算法中存在边缘信息丢失、易产生视觉伪影等问题,提出一种基于边缘增强的深层网络模型用于图像的超分辨率重建。方法 本文算法首先利用预处理网络提取输入低分辨率图像的低级特征,然后将其分别输入到两路网络,其中一路网络通过卷积层级联的卷积网络得到高级特征,另一路网络通过卷积网络和与卷积网络成镜像结构的反卷积网络的级联实现图像边缘的重建。最后,利用支路连接将两路网络的结果进行融合,并将其结果通过一个卷积层从而得到最终重建的具有边缘增强效果的高分辨率图像。结果 以峰值信噪比（PSNR）和结构相似度（SSIM）作为评价指标来评价算法性能,在Set5、Set14和B100等常用测试集上放大3倍情况下进行实验,并且PSNR/SSIM指标分别取得了33.24 dB/0.9156、30.60 dB/0.852 1和28.45 dB/0.787 3的结果,相比其他方法有很大提升。结论 定量与定性的实验结果表明,基于边缘增强的深层网络的图像超分辨重建算法所重建的高分辨率图像不仅在重建图像边缘信息方面有较好的改善,同时也在客观评价和主观视觉上都有很大提高。     

基于多字典的单幅图像超分辨率重建

对于目前图像超分辨率重建算法中的问题，忽略重建图像结构性和重建过程中丢失高频信息，提出了一种基于多字典的单幅图像超分辨率重建算法。在字典学习阶段根据每个图像块的主方向角，对所有训练图像块进行聚类并训练各类的字典。利用训练得到的字典重建训练样本并计算各类的残差图像块，然后对残差图像块再进行聚类、训练残差字典。用锚定邻域回归方法重建高分辨率图像，实验结果表明，该算法在客观评价和视觉效果上均优于许多优秀的图像超分辨算法。     

基于残差的图像超分辨率重建

提出一种基于图像残差的超分辨率重建算法.以原高分辨率图像与插值放大后图像之间的图像残差与低分辨率图像样本特征作为样本对,对其进行K均值分类,并对每类样本对采用KSVD(K-singular value decomposition)方法进行训练获得高、低分辨率字典对,然后根据测试样本与类中心的欧氏距离选择字典对,以与测试样本相近的多个类别所重建的结果加权获得图像残差,并结合低分辨率图像的插值结果获得高分辨率图像.实验结果表明,提出的方法具有更高的重建质量,且采用训练样本分类和相近类别的重建结果的加权和有利于提高图像重建质量.     

统一最小二乘规则的单幅图像超分辨算法

基于机器学习的超分辨方法是一个很有发展前景的单幅图像超分辨方法,稀疏表达和字典学习是其中的研究热点。针对比较耗时的字典训练与恢复精度不高图像重建,从减小低分辨率(LR)和高分辨率(HR)特征空间之间差异性的角度提出了一种使用迭代最小二乘字典学习算法(ILS-DLA),并使用锚定邻域回归(ANR)进行图像重建的单幅图像超分辨算法。迭代最小二乘法的整体优化过程极大地缩短了低分辨字典/高分辨字典的训练时间,它采用了与锚定邻域回归相同的优化规则,有效地保证了字典学习和图像重建在理论上的一致性。实验结果表明,所提算法的字典学习效果比K-均值奇异值分解(K-SVD)和Beta过程联合字典学习(BPJDL)等算法更高效,图像重建的效果也优于许多优秀的超分辨算法。     

基于小波域压缩感知的遥感图像超分辨算法

针对单字典表达复杂多样的图像纹理存在一定的局限性的问题,利用压缩感知和小波理论建立了一种多字典遥感图像超分辨算法。首先,对训练图像在小波域的不同频带利用K-奇异值分解（K-SVD）算法建立不同的字典;然后,利用全局限制求取高分辨率图像的初始解;最后,利用正交匹配追踪算法（OMP）对初始解在小波域进行多字典稀疏求解。实验结果表明,相比基于单字典的超分辨重建算法,结果图像的主观视觉效果有很大提高,客观评价指标的峰值信噪比（PSNR）和结构相似度（SSIM）分别提高2.8 dB以上和0.01以上。字典可一次建立重复使用,降低了运算时间。     

小波域中双稀疏的单幅图像超分辨

目的 过去几年,基于稀疏表示的单幅图像超分辨获得了广泛的研究,提出了一种小波域中双稀疏的图像超分辨方法。方法 由小波域中高频图像的稀疏性及高频图像块在空间冗余字典下表示系数的稀疏性,建立了双稀疏的超分辨模型,恢复出高分辨率图像的细节系数;然后利用小波的多尺度性及低分辨率图像可作为高分辨率图像低频系数的逼近的假设,超分辨图像由低分辨率图像的小波分解和估计的高分辨率图像的高频系数经过二层逆小波变换来重构。结果 通过大量的实验发现,双稀疏的方法不仅较好地恢复了图像的局部纹理与边缘,且在噪声图像的超分辨上也获得了不错的效果。结论 与现在流行的使用稀疏表示的超分辨方法相比,双稀疏的方法对噪声图像的超分辨效果更好,且计算复杂度减小。     

Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction

Recent researches have shown that the sparse representation based technology can lead to state of art super-resolution image reconstruction (SRIR) result. It relies on the idea that the low-resolution (LR) image patches can be regarded as down sampled version of high-resolution (HR) images, whose patches are assumed to have a sparser presentation with respect to a dictionary of prototype patches. In order to avoid a large training patches database and obtain more accurate recovery of HR images, in this paper we introduce the concept of examples-aided redundant dictionary learning into the single-image super-resolution reconstruction, and propose a multiple dictionaries learning scheme inspired by multitask learning. Compact redundant dictionaries are learned from samples classified by K-means clustering in order to provide each sample a more appropriate dictionary for image reconstruction. Compared with the available SRIR methods, the proposed method has the following characteristics: (1) introducing the example patches-aided dictionary learning in the sparse representation based SRIR, in order to reduce the intensive computation complexity brought by enormous dictionary, (2) using the multitask learning and prior from HR image examples to reconstruct similar HR images to obtain better reconstruction result and (3) adopting the offline dictionaries learning and online reconstruction, making a rapid reconstruction possible. Some experiments are taken on testing the proposed method on some natural images, and the results show that a small set of randomly chosen raw patches from training images and small number of atoms can produce good reconstruction result. Both the visual result and the numerical guidelines prove its superiority to some start-of-art SRIR methods.     

Single Image Super-Resolution Reconstruction Technique based on A Single Hybrid Dictionary

A new sparse domain approach is proposed in this paper to realize the single image super-resolution (SR) reconstruction based upon one single hybrid dictionary, which is deduced from the mixture of both the high resolution (HR) image patch samples and the low resolution (LR) ones. Moreover, a linear model is proposed to characterize the relationship between the sparse representations of both the HR image patches and the corresponding LR ones over the same hybrid dictionary. It is shown that, the requirement on the identical sparse representation of both HR and LR image patches over the corresponding HR dictionary and the LR dictionary can be relaxed. It is unveiled that, the use of one single hybrid dictionary can not only provide a more flexible framework to keep the similar sparse characteristics between the HR patches and the corresponding degenerated LR patches, but also to accommodate their differences. On this basis, the sparse domain based SR reconstruction problem is reformulated. Moreover, the proposed linear model between the sparse representations of both the HR patch and the corresponding LR patch over the same hybrid dictionary offers us a new method to interpret the image degeneration characteristics in sparse domain. Finally, practical experimental results are presented to test and verify the proposed SR approach.     

基于半耦合稀疏表达的极低分辨率人脸识别

现有基于学习的人脸超分辨率算法假设高低分辨率特征具有流形一致性（耦合字典学习）,然而低分辨率图像的降质过程使得高低分辨率特征产生了“一对多”的映射关系偏差,减少了极低分辨率图像特征的判决信息,降低了超分辨率重建图像的识别率。针对这一问题,引入了半耦合稀疏字典学习模型,松弛高低分辨率流形一致性假设,同时学习稀疏表达字典和稀疏表达系数之间的映射函数,提升高低分辨率判决特征的一致性,在此基础上,引入协同分类模型,实现半耦合特征的高效分类。实验表明：相比于传统稀疏表达分类算法,算法不仅提高了识别率,并且还大幅度降低了时间开销,验证了半耦合稀疏学习字典在人脸识别中的有效性。     

A new framework for remote sensing image super-resolution: Sparse representation-based method by processing dictionaries with multi-type features

Remote sensing images play an important role in many practical applications, however, due to the physical limitations of remote sensing devices, it is difficult to obtain images at an expecting high resolution level. Acquiring high-resolution(HR) images from the original low-resolution(LR) ones with super-resolution(SR) methods has always been an attractive proposition in embedded systems including various kinds of tablet PC and smart phone. SR methods based on sparse representation have been successfully used in processing remote sensing images, however, they have two major problems in common. First, they use only one type of image features to represent the low resolution(LR) images. However, one single type of features cannot accurately represent an image due to the diverse structures of the image, as a result, artifacts would be produced simultaneously. Second, many dictionary learning methods try to build a universal dictionary with only one single type of features. However, apparently, a dictionary with a single type of features is not enough to capture the different structures of a remote sensing image, without any doubt, the resultant image would turn out to be a poor one. To overcome the problems above, we propose a new framework for remote sensing image super resolution: sparse representation-based SR method by processing dictionaries with multi-type features. First, in order to represent the remote sensing image more accurately, different types of features are extracted from images. Second, to achieve a better performance, various dictionaries with multi-type features are learned to capture the essential structures of the image. Then, it’s proposed to adaptively control the weights of the high resolution(HR) patches obtained by different dictionaries. Numerous experiments validate that this proposed framework brings better results in terms of both objective quantitation and visual perception than other compared algorithms.     

多监督损失函数光滑化图像超分辨率重建

目的 将低分辨率（low-resolution,LR）图像映射到高分辨率（high-resolution,HR）图像是典型的不适定恢复问题,即输出的HR图像和输入的LR图像之间的映射是多对一的,这意味着仅通过增加网络深度来确定HR图像与LR图像之间的特定映射关系是非常困难的。针对该问题,本文提出一种基于多监督光滑化损失函数的图像超分辨率方法。方法 该方法主体由LR图像上采样通道和HR图像下采样通道两部分组成。各通道分为两个阶段,每个阶段均包括浅层特征提取模块、基于迭代采样错误反馈机制的采样模块、全局特征融合模块和图像重建模块。将LR图像上采样通道第1阶段结果与HR图像下采样通道第1阶段结果对比,然后将HR原图像和HR图像下采样通道第2阶段结果作为约束构成多监督,使映射函数空间尽可能精确,并将多监督损失函数光滑化保证梯度在全局范围内传递。结果 在基准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）、Urban100（urban scenes dataset）、Manga109（109 manga volumes dataset）数据集上进行测试,并与Bicubic、SRCNN （super-resolution convolutional neural network）、FSRCNN （fast super-resolution convolutional neural network）、LapSRN （Laplacian pyramid super-resolution network）、VDSR （very deep super-resolution convolutional networks）、DBPN （deep back-projection networks for super-resolution）和DRN （dual regression networks）等方法的实验结果进行对比。当放大因子为4时,本文算法的峰值信噪比分别为32.29 dB、28.85 dB、27.61 dB、26.16 dB和30.87 dB;在重建图像的可视化分析方面,本文算法相较于对比算法具有更加丰富的纹理和清晰的轮廓。结论 实验结果表明,基于多监督光滑化损失函数方法的图像重建结果与其他超分辨率主流算法相比,在重建图像质量和高频细节处理方面均有所提高。