超分辨率图像重建方法综述

由于广泛的实用价值与理论价值,超分辨率图像重建(Super-resolution image reconstruction, SRIR 或 SR)技术成为计算机视觉与图像处理领域的一个研究热点, 引起了研究者的广泛关注. 本文 将超分辨率图像重建问题按照不同的输入输出情况进行系统分类, 将超分辨率问题分为基于重建的超分辨率、视频超分辨率、 单帧图像超分辨率三大类. 对于其中每一大类问题, 分别全面综述了该问题的发展历史、常用算法的分类及当前的最新研究成果等 各种相关问题, 并对不同算法的特点进行了比较分析. 本文随后讨论了各不同类别超分辨率算法的互相融合和图像视频质量评价的方法, 最后给出了对这一领域未来发展的思考与展望.     

基于残差神经网络的图像超分辨率改进算法

为更有效地提升图像的超分辨率（SR）效果,提出了一种多阶段级联残差卷积神经网络模型。首先,该模型采用了两阶段超分辨率图像重建方法先重建2倍超分辨率图像,再重建4倍超分辨率图像;其次,第一阶段与第二阶段皆使用残差层和跳层结构预测出高分辨率空间的纹理信息,由反卷积层分别重建出2倍与4倍大小的超分辨率图像;最后,以两阶段的结果分别构建多任务损失函数,利用第一阶段的损失指导第二阶段的损失,从而提高网络的训练速度,加强网络学习中的监督指导。实验结果表明,与bilinear算法、bicubic算法、基于卷积神经网络的图像超分辨率（SRCNN）算法和加速的超分辨率卷积神经网络（FSRCNN）算法相比,所提模型能更好地重建出图像的细节和纹理,避免了经过迭代之后造成的图像过度平滑,获得更高的峰值信噪比（PSNR）和平均结构相似度（MSSIM）。     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

基于递归残差网络的遥感图像超分辨率重建

深层网络有效地提高了重建图像的精度，但是拥有大量参数，使训练时间过长。因此，改进了一种基于递归残差网络的遥感图像超分辨率重建算法，将全局残差学习和局部残差学习相结合，有效地降低训练深层网络的难度，并且通过递归学习控制网络参数。实验结果证明了递归残差网络在遥感图像超分辨率重建中的有效性，改进的网络可以获得更好的主观视觉效果以及客观评价指标。     

基于深度学习的单图像超分辨率重建研究综述

为深入了解基于深度学习的单图像超分辨率重建（SISR）的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模型的性能,其目的在于从本质上了解基于深度学习的单图像超分辨率重建模型的优势;对单图像超分辨率重建的关键问题进行了总结,并对未来的发展趋势进行了展望。     

基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法

针对目前的图像超分辨率重建算法中存在的大尺度因子的重建效果较差、不同尺度的图像重建均需要单独训练等问题,提出一种基于拉普拉斯金字塔生成对抗网络（GAN）的图像超分辨率重建算法。算法中的生成器使用金字塔结构实现多尺度的图像重建,从而以渐进上采样的方式降低了大尺度因子的学习难度,并在层与层之间使用密集连接加强特征传播,从而有效避免了梯度弥散问题。算法中使用马尔可夫判别器将输入数据映射为结果矩阵,并在训练的过程中引导生成器关注图像的局部特征,从而丰富了重建图像的细节。实验结果表明：在Set5等基准数据集上分别进行放大2倍、4倍、8倍的图像重建时,所提算法的平均峰值信噪比（PSNR）分别达到了33.97 dB、29.15 dB、25.43 dB,平均结构相似性（SSIM）分别达到了0.924、0.840、0.667,相比用于超分辨率重建的卷积神经网络（SRCNN）、深度拉普拉斯金字塔超分辨率重建网络（LapSRN）、用于超分辨率重建的生成对抗式网络（SRGAN）等其他算法有较大提升,且其重建的图像在主观视觉上保留了更多生动的纹理和小颗粒细节。     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

数据外补偿的深度网络超分辨率重建

单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块,存在若干高分辨率图像块与之对应.基于学习的方法受此影响,学习到的逆映射规则只能预测这些高分辨率图像块的均值,从而产生视觉上模糊的超分辨率重建结果.为了克服歧义性造成的高频细节损失,本文提出了一种基于深度网络,利用在线检索的数据进行高频信息补偿的图像超分辨率重建算法.该方法构建一个深度网络,通过三个分支预测高分辨率重建结果：一条旁路直接将输入的低分辨率图像输入到网络的最后一层;一条内部高频信息重建路径基于低分辨率图像回归预测高分辨率图像,重建高分辨率图像的主要结构;另一条外部高频信息补偿路径根据内部重建的结果,从在线检索到的相似图像中提取高频细节,对内部重建的重建结果进行细节补偿.在第二条路径中,为了有效提取高频信号并使之适应于内部重建的重建结构,本文在多层特征的测量和约束下,进行高频细节迁移.相比于之前基于云数据库的传统图像超分辨率方法,本文提出的方法是端对端可训练的（end-to-end trainable）,因此通过在大数据上进行学习,方法能同时建模内部重建和外部补偿,并能自动权衡两者利弊而给出最优的重建结果.图像超分辨率重建的实验结果表明,相比于最新的超分辨率算法,本文方法在主客观评价中均取得了更加优越的性能.     

Gabor texture in active appearance models

In computer vision applications, Active Appearance Models (AAMs) is usually used to model the shape and the gray-level appearance of an object of interest using statistical methods, such as PCA. However, intensity values used in standard AAMs cannot provide enough information for image alignment. In this paper, we firstly propose to utilize Gabor filters to represent the image texture. The benefit of Gabor-based representation is that it can express local structures of an image. As a result, this representation can lead to more accurate matching when condition changes. Given the problem of the excessive storage and computational complexity of the Gabor, three different Gabor-based image representations are used in AAMs: (1) GaborD is the sum of Gabor filter responses over directions, (2) GaborS is the sum of Gabor filter responses over scales, and (3) GaborSD is the sum of Gabor filter responses over scales and directions. Through a large number of experiments, we show that the proposed Gabor representations lead to more accurate and robust matching between model and images.     

中国图像工程25年

本文是对至今已连续发表25年的中国图像工程年度文献综述系列的概括回顾。近25年来，为了使国内广大从事图像工程研究和图像技术应用的科技人员能够较全面地了解图像工程研究和发展的现状，能够有针对性地查询有关文献，并向期刊编者和作者提供有用的参考，笔者每年都对上一年度图像工程的相关文献进行统计和分析。25年间，该综述系列从国内15种有关图像工程重要期刊所发行的共2 964期上所发表的65 040篇学术研究和技术应用文献中，选取出15 856篇属于图像工程领域的文献，并根据各文献的主要内容将其分别归入图像处理、图像分析、图像理解、技术应用和综述评论5个大类，然后进一步分入23个专业小类，并在此基础上分别进行各期刊各类文献的统计和分析。此次回顾，除汇总了25年的统计分类情况，还着重对一些主要的研究方向进行了分析和讨论。这样，不仅可从中了解最近四分之一个世纪图像工程相关文献的发表情况，还可以提供全面和可信的各研究方向发展趋势的信息。     

基于压缩感知的SAR图像鲁棒编码传输

目的 尽管传统的联合信源信道编码方案可以获得高效的压缩性能,但当信道恶化超过信道编码的纠错能力时会导致解码端重构性能的急剧下降;为此利用压缩感知的民主性提出一种鲁棒的SAR图像编码传输方案,且采用了一系列方法提高该方案的率失真性能。方法 考虑到SAR图像丰富的边缘信息,采用具有更强方向表示能力的方向提升小波变换(DLWT)对SAR图像进行稀疏表示,且为消除压缩感知中恢复非稀疏信号时存在的混叠效应,采用了稀疏滤波方法保证大系数的精确恢复,在解码端采用了高效的Bayesian重建算法获得图像的高性能重建。结果 在同等码率下,与传统的联合信源信道编码方案CCSDS-RS相比,本文方案可以实现更加鲁棒的编码传输,当丢包率达到0.05时,本文方案DSFB-CS获得的重建性能明显要高于CCSDS-RS;与基于Bayesian重建算法TSW-CS的传统方案相比,本文方案可提高峰值信噪比(PSNR)3.9 dB。结论 本文方案DSFB-CS 实现了SAR图像的鲁棒传输,随着丢包率的上升,DSFB-CS获得的重建性能缓慢下降,保证了面对不稳定信道时,解码端可以获得相对稳定的重构图像。     

Effective and Efficient Video Compression by the Deep Learning Techniques

Deep learning has reached many successes in Video Processing. Video has become a growing important part of our daily digital interactions. The advancement of better resolution content and the large volume offers serious challenges to the goal of receiving, distributing, compressing and revealing high-quality video content. In this paper we propose a novel Effective and Efficient video compression by the Deep Learning framework based on the flask, which creatively combines the Deep Learning Techniques on Convolutional Neural Networks (CNN) and Generative Adversarial Networks (GAN). The video compression method involves the layers are divided into different groups for data processing, using CNN to remove the duplicate frames, repeating the single image instead of the duplicate images by recognizing and detecting minute changes using GAN and recorded with Long Short-Term Memory (LSTM). Instead of the complete image, the small changes generated using GAN are substituted, which helps with frame-level compression. Pixel wise comparison is performed using K-nearest Neighbours (KNN) over the frame, clustered with K-means and Singular Value Decomposition (SVD) is applied for every frame in the video for all three colour channels [Red, Green, Blue] to decrease the dimension of the utility matrix [R, G, B] by extracting its latent factors. Video frames are packed with parameters with the aid of a codec and converted to video format and the results are compared with the original video. Repeated experiments on several videos with different sizes, duration, Frames per second (FPS), and quality results demonstrated a significant resampling rate. On normal, the outcome delivered had around a 10% deviation in quality and over half in size when contrasted, and the original video.     

Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model

In this paper, a novel model-based pan-sharpening method via sparse representation and local autoregressive (AR) model is proposed. To recover the high-resolution multispectral (HRMS) image from the observed images, we impose sparsity prior on the unknown HRMS image in the restoration model. The quality of the recovered HRMS image depends on the employed sparse domain. Hence, a new sparse representation model for the HRMS image is constructed, in which we suppose that the low-frequency and high-frequency components of the HRMS image can be sparsely represented by a spectral dictionary and a spatial-detail dictionary respectively. The spectral dictionary and spatial-detail dictionary are learned from the source images: low-spatial-resolution multispectral (LRMS) image and high-spatial-resolution panchromatic (HRP) image adaptively. Additionally, local autoregressive (AR) model is employed to improve the spatial structure of the HRMS image patch. Firstly, a set of AR model parameters are learned from the PAN image patches. Then, the local spatial structure of a given HRMS image patch is regularized by an AR model with the learned parameters. By solving the l₁ -norm optimization problem, the HRMS image can be well reconstructed. Experiments are carried out on very high-resolution QuickBird and GeoEye-1 images. In the simulated and real experiments, our proposed method demonstrates its good performance in terms of visual analysis and quantitative evaluation.     

Laplace平滑变换及其在人脸识别中的应用

本文主要研究如何从最优化的角度出发,从图像中提取低频特征.首先,基于图像的局部梯度定义了一种图像频率,并基于这种定义,诱导出Laplace平滑变换(LST),将二维图像映射到一维的向量.然后,将LST与学习算法相结合,提出二步子空间学习算法.所提的基于LST的二步子空间方法,对于光照、表情、姿势具有鲁棒性.实验表明,在ORL,Yale和FERET人脸数据库上,基于LST的人脸识别算法,相对DCT,DWT和PCA等预处理算法,具有更小的识别误差.     

结合EFD与NCut的彩色图像分割方法

为了克服边缘流引导的各向异性扩散(EFD)方法过分割和归一化分割(NCut)方法计算复杂度高的缺点,提出结合EFD和NCut的彩色图像分割方法。首先利用EFD对图像进行预分割,然后将分割区域作为节点构建带权无向图G,用NCut对图进行全局最优化分类,并进行相应后处理,得到最终结果。由于图G是基于过分割区域而非像素点的,所以算法效率得到较大提高。另外,EFD方法可有效利用图像的局部信息,NCut方法则考虑到图像的全局特征,因此文中方法综合两者的优点。实验结果表明,文中方法能够取得较好的分割效果。     

通道注意力嵌入的Transformer图像超分辨率重构

目的 基于深度学习的图像超分辨率重构研究取得了重大进展，如何在更好提升重构性能的同时，有效降低重构模型的复杂度，以满足低成本及实时应用的需要，是该领域研究关注的重要问题。为此，提出了一种基于通道注意力（channel attention，CA）嵌入的Transformer图像超分辨率深度重构方法（image super-resolution with channelattention-embedded Transformer，CAET）。方法 提出将通道注意力自适应地嵌入Transformer变换特征及卷积运算特征，不仅可充分利用卷积运算与Transformer变换在图像特征提取的各自优势，而且将对应特征进行自适应增强与融合，有效改进网络的学习能力及超分辨率性能。结果 基于5个开源测试数据集，与6种代表性方法进行了实验比较，结果显示本文方法在不同放大倍数情形下均有最佳表现。具体在4倍放大因子时，比较先进的SwinIR （image restoration using swin Transformer）方法，峰值信噪比指标在Urban100数据集上得到了0.09 dB的提升，在Manga109数据集提升了0.30 dB，具有主观视觉质量的明显改善。结论 提出的通道注意力嵌入的Transformer图像超分辨率方法，通过融合卷积特征与Transformer特征，并自适应嵌入通道注意力特征增强，可以在较好地平衡网络模型轻量化同时，得到图像超分辨率性能的有效提升，在多个公共实验数据集的测试结果验证了本文方法的有效性。     

高动态范围图像和色阶映射算子

图像传感器动态响应范围的局限使其在捕捉高动态范围场景时力不从心, 为了捕捉高动态范围图像(High dynamic range image, HDRI), 近年来出现了许多新型传感器和新方法, 本文将简要介绍这些研究进展; 同样由于动态响应范围的局限, 显示设备也不能胜任HDRI的显示, 必须利用色阶映射算子(Tone mapping operator, TMO)将图像的动态范围进行合理的压缩, TMO最终决定了图像显示的质量, 本文将众多的TMO归纳为全局算子和局部算子并进行了详细论述.     

一种深度置信网络和迭代量化的图像检索方法

针对网络图像数据的迅速增多导致传统图像检索的效果不能满足当前需求的问题,提出了一种基于深度置信网络(deep belief network,DBN)和迭代量化(iterative quantization,ITQ)的无监督学习图像检索的方法.首先,构造深度置信网络的模型,此模型是由3层受限玻尔兹曼机堆叠而成;然后,用此深度置信网络模型对原始图像的高维特征进行中维特征提取,再采用迭代量化的哈希方法,对提取图像中维特征进行二值编码;最后,针对MNIST、CIFAR-10和Corel-1000数据集对模型进行实验验证并评估.结果表明,所提出的方法与现在的几种主流方法相比检索性能更好.除此之外,本方法对乳腺数据集DDSM和肺结节CT图像数据集LIDC-IDRI中的检索也取得了较好的效果.