多尺度自适应上采样的图像超分辨率重建算法

针对现有基于卷积神经网络的图像超分辨率重建网络中存在的训练难以收敛、无法适配多个放大系数和无法进行非整数放大系数上采样的问题,提出了一种基于多尺度和分而治之思想的自适应上采样图像超分辨率重建算法。该算法通过改进后的多尺度通道注意力特征提取模块对低分辨率图像进行多尺度特征提取以生成不同尺度下的特征图,再将其输入瓶颈层实现全局特征融合,使用基于分而治之的自适应上采样模块获得超分辨率图像,从而解决了不同放大系数的适配问题和非整数放大系数的上采样问题。在对比实验中,该算法在不使用任何初始化方法时仍然具有良好的收敛性。在整数放大系数下,该算法的图像重建性能超过当前主流的超分辨率网络,PSNR和SSIM性能相比MRFN分别提升了0.34 dB和0.039 1。在非整数放大系数下,其PSNR性能相比双三次插值方法平均提升1.24 dB,且不需要对每一个放大系数都进行训练。     

跨尺度多分支网络的单帧图像超分辨率重建

超分辨率重建算法是计算机视觉领域的重点研究问题之一,目前各个领域对图像要求逐渐提高,现有的超分辨率重建算法通过加深单一网络深度来提升图像质量,忽略了重建时的计算复杂度问题,同时缺少利用图像自身信息来提升图像的重建效果。针对以上问题提出了一种跨尺度多分支的单帧图像超分辨率重建网络,跨尺度模块探索图像内部相似区域的相关性,用于提升重建图像细节信息的能力,并获得更好的视觉效果。多分支结构将图像中重建难度不同的区域,通过不同复杂度的网络分别进行重建,解决了深度网络计算复杂度高的问题。实验结果表明,该模型在Urban100和Manga109测试集上相比其他方法具有更高的峰值信噪比和结构相似度。     

基于元上采样的单幅图像任意尺度超分辨率重建

针对传统单幅图像超分辨率深度学习方法将不同尺度低分辨率视作独立任务的问题,提出一种以残差通道注意力模块作为特征提取,元上采样模块作为放大模块的超分辨率网络。残差通道注意力机制可以滤除冗余低频信息减少网络深度,使元上采样模块更好地训练不同尺度低分辨率图像特征间的关系,实现任意尺度的超分辨率网络。为了验证该方法有效性,在Set5、Set14、Urban100等公共数据集上实验。实验结果表明,该方法在整数与非整数倍尺度都能很好地恢复高分辨率图像。     

多尺度残差通道注意机制下的人脸超分辨率网络

针对当前人脸超分辨率算法中存在效率不高和重建失真等问题,提出一种基于多尺度残差通道注意机制的人脸超分辨率网络.该网络采用多尺度递进形式的结构,能够同时处理不同的上采样因子.同时,为了解决冗余和无效信息给网络造成的影响,在网络的特征重建模块中引入了通道注意力机制,并融合人脸解析信息提出一种残差通道注意块,不仅提高了网络特征利用率还加强了人脸先验的约束力度.与现有算法在Helen, CelebA和LFW数据集上进行的实验结果表明,该算法无论是主观视觉质量,还是峰值信噪比和结构相似性等客观评价指标,都明显优于现有其他算法.     

联合多任务学习的人脸超分辨率重建

目的 人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法。方法 首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练。然后使用感知损失函数衡量HR（high-resolution）图像与SR（super-resolution）图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性。最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果。结果 使用峰值信噪比（PSNR）和结构相似度（SSIM）两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比。实验结果显示,在人脸属性数据集（CelebA）上,在放大8倍时,与通用超分辨率MemNet（persistent memory network）算法和人脸超分辨率FSRNet（end-to-end learning face super-resolution network）算法相比,本文算法的PSNR分别提升约2.15 dB和1.2 dB。结论 实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

引入超分辨率下采样误差的图像边信息估计隐写

目的由于空域图像下采样过程中提供的量化误差边信息能够有效提升隐写安全性,为了得到下采样之前的高分辨率图像,提出一种基于超分辨率网络的空域图像边信息估计隐写方法。方法受原始下采样边信息隐写方法的启发,使用超分辨率网络生成被称为预载体的高分辨率图像。同时利用现有的空域图像对称失真算法得到每个像素点的修改失真,然后以浮点型精度对预载体下采样,得到和载体同分辨率的图像形式,利用对应像素点间的差值指导像素点的修改方向,实现基于初始失真的非对称失真调整。首先以峰值信噪比和极性估计准确率为指标对比了多种超分辨率网络以及基于传统插值方法的上采样性能,并通过调整初始失真分别进行隐写和隐写分析实验,选择使安全性提升最大的残差通道注意力机制网络及其对应调整系数作为本文的下采样边信息估计隐写方法。结果使用隐写领域中常用的3个数据库、两种传统初始失真函数以及两类隐写分析方法进行实验。在跨数据集的隐写安全性上,相比传统隐写方法,在对抗基于手工特征和基于深度学习的隐写分析时,本文方法的安全性均有显著提升,如在测试集载体图像上,嵌入率为0.5 bit/像素时,安全性分别提升6.67%和6.9%;在训练集载体图像上,本...     

基于多尺度融合的图像超分辨率重建北大核心CSCD

针对卷积神经网络在图像超分辨率重建任务上忽视提取多尺度特征的问题,提出了一种多尺度融合网络结构。该模型从不同空间尺寸的特征图中提取高频和低频特征,并引入注意力机制,能够自适应地调整不同通道和空间区域的权重。同时,利用不同尺寸的卷积核捕捉多尺度特征,以更好地恢复图像高频细节。在多个基准数据集上进行实验,结果表明,该模型在峰值信噪比、结构相似性和视觉效果上均优于其他几种先进的图像超分辨率重建模型。     

基于多尺度联合网络的图像超分辨率重建方法

图像超分辨率在视频修复等方面具有广泛应用。针对基于深度学习的图像超分辨率重建(FSRCNN)方法存在的问题，提出基于多尺度联合网络的图像超分辨率重建方法。首先，通过构建基于多尺度网络的特征采样模型来提取低分辨率(LR)图像的特征；其次，通过特征融合和构造亚像素卷积层的方法对特征进行增强；最后，定义基于均方误差MSE和峰值信噪比PSNR的联合损失函数。在Set5、Set14和BSD100数据集上进行了对比实验，实验结果表明，该方法获得了相对较好的结果。最后针对低分辨率影视作品《西游记》和《红楼梦》进行了高分辨率修复，取得了一定的效果。     

MSPRL：面向图像逆半色调的多尺度渐进式残差学习网络

目的 图像逆半色调的目的是从二值半色调图像中恢复出连续色调图像。半色调图像丢失了大量原始图像内容信息,因此逆半色调成为一个经典的图像重建病态问题。现有的逆半色调算法重建效果无法满足对图像细节和纹理的需求。此外,已有方法大多忽略了训练策略对模型优化的重要影响,导致模型性能较差。针对上述问题,提出一个逆半色调网络以提高半色调图像重建质量。方法 首先提出一个端到端的多尺度渐进式残差学习网络（multiscale progressivoly residual learning network,MSPRL）以恢复出更高质量的连续色调图像。该网络基于UNet架构并以多尺度图像作为输入;为充分利用不同尺度输入图像的信息,设计一个浅层特征提取模块以捕获多尺度图像的注意力信息;同时探讨不同学习策略对模型训练和性能的影响。结果 实验在7个数据集上与6种方法进行对比。在Place365和Kodak数据集上,相比性能第2的方法,峰值信噪比（peak signal-to-noise ratio,PSNR）分别提高0.12dB和0.18dB;在其他5个常用于图像超分辨率的测试数据集Set5、Set14、BSD100（Berkeley segmentation dataset 100）、Urban100和Manga109上,相比性能第2的方法,PSNR值分别提高0.11dB、0.25dB、0.08dB、0.39dB和0.35dB。基于本文的训练策略,重新训练的渐进式残差学习网络相比未优化训练模型在7个数据集上PSNR平均提高1.44dB。本文方法在图像细节和纹理重建上实现最优效果。实验表明选用合适的学习策略能够优化模型训练,对性能提升具有重要帮助。结论 本文提出的逆半色调模型,综合UNet架构和多尺度图像信息的优点,选用合适的训练策略,使得图像重建的细节与纹理更加清晰,视觉效果更加细致。本文算法代码公布在https://github.com/Feiyuli-cs/MSPRL。     

多尺度特征复用混合注意力网络的图像重建

目的 针对以往基于深度学习的图像超分辨率重建方法单纯加深网络、上采样信息损失和高频信息重建困难等问题,提出一种基于多尺度特征复用混合注意力网络模型用于图像的超分辨率重建。方法 网络主要由预处理模块、多尺度特征复用混合注意力模块、上采样模块、补偿重建模块和重建模块5部分组成。第1部分是预处理模块,该模块使用一个卷积层来提取浅层特征和扩张特征图的通道数。第2部分是多尺度特征复用混合注意力模块,该模块加入了多路网路、混合注意力机制和长短跳连接,以此来进一步扩大特征图的感受野、提高多尺度特征的复用和加强高频信息的重建。第3部分是上采样模块,该模块使用亚像素方法将特征图上采样到目标图像尺寸。第4部分是补偿重建模块,该模块由卷积层和混合注意力机制组成,用来对经过上采样的特征图进行特征补偿和稳定模型训练。第5部分是重建模块,该模块由一个卷积层组成,用来将特征图的通道数恢复至原来数量,以此得到重建后的高分辨率图像。结果 在同等规模模型的比较中,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似度（structural similarity index measure,SSIM）作为评价指标来评价算法性能,在Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100的基准测试集上进行测试。当缩放尺度因子为3时,各测试集上的PSNR/SSIM依次为34.40 dB/0.927 3,30.35 dB/0.842 7,29.11 dB/0.805 2和28.23 dB/0.854 0,相比其他模型有一定提升。结论 量化和视觉的实验结果表明,本文模型重建得到的高分辨率图像不仅在重建边缘和纹理信息有很好的改善,而且在PSNR和SSIM客观评价指标上也有一定的提高。     

多监督损失函数光滑化图像超分辨率重建

目的 将低分辨率(low-resolution,LR)图像映射到高分辨率(high-resolution,HR)图像是典型的不适定恢复问题,即输出的HR图像和输入的LR图像之间的映射是多对一的,这意味着仅通过增加网络深度来确定HR图像与LR图像之间的特定映射关系是非常困难的。针对该问题,本文提出一种基于多监督光滑化损失函数的图像超分辨率方法。方法 该方法主体由LR图像上采样通道和HR图像下采样通道两部分组成。各通道分为两个阶段,每个阶段均包括浅层特征提取模块、基于迭代采样错误反馈机制的采样模块、全局特征融合模块和图像重建模块。将LR图像上采样通道第1阶段结果与HR图像下采样通道第1阶段结果对比,然后将HR原图像和HR图像下采样通道第2阶段结果作为约束构成多监督,使映射函数空间尽可能精确,并将多监督损失函数光滑化保证梯度在全局范围内传递。结果 在基准测试集Set5、Set14、BSD100(Berkeley segmentation dataset)、Urban100(urban scenes dataset)、Manga109(109 manga volumes dataset)数据集...     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

多通道卷积的图像超分辨率方法

目的 超分辨率技术在实际生活中具有较为广泛的应用。经典的基于卷积神经网络的超分辨率（SRCNN）方法存在重建图像纹理结构模糊以及网络模型训练收敛过慢等问题。针对这两个问题,在SRCNN的基础上,提出一种多通道卷积的图像超分辨率（MCSR）算法。方法 通过增加残差链接,选择MSRA初始化方法对网络权值进行初始化,加快模型收敛;引入多通道映射提取更加丰富的特征,使用多层3×3等小卷积核代替单层9×9等大卷积核,更加有效地利用特征,增强模型的超分辨率重构效果。结果 MCSR迭代4×10⁶次即可收敛,在Set5与Set14数据集上边长放大3倍后的平均峰值信噪比分别是32.84 dB和29.28 dB,与SRCNN相比提升显著。结论 MCSR收敛速度更快,并且可以生成轮廓清晰的高分辨率图像,超分辨率效果更加优秀。     

图像超分辨率重建中的细节互补卷积模型

目的 现有的超分辨卷积神经网络为了获得良好的高分辨率图像重建效果需要越来越深的网络层次和更多的训练,因此存在了对于样本数量依懒性大,参数众多致使训练困难以及训练所需迭代次数大,硬件需求大等问题。针对存在的这些问题,本文提出一种改进的超分辨率重建网络模型。方法 本文区别于传统的单输入模型,采取了一种双输入细节互补的网络模型,在原有的SRCNN单输入模型特征提取映射网络外,添加了一个新的输入。本文结合图像局部相似性,构建了一个细节补充网络来补充图像特征,并使用一层卷积层将细节补充网络得到的特征与特征提取网络提取的特征融合,恢复重建高分辨率图像。结果 本文分别从主观和客观的角度,对比了本文方法与其他主流方法之间的数据对比和效果对比情况,在与SRCNN在相似网络深度的情况下,本文方法在放大3倍时的PSNR数值在Set5以及Set14数据下分别比SRCNN高出0.17 dB和0.08 dB。在主观的恢复图像效果上,本文方法能够很好的恢复图像边缘以及图像纹理细节。结论 实验证明,本文所提出的细节互补网络模型能够在较少的训练以及比较浅的网络下获得有效的重建图像并且保留更多的图像细节。     

单幅图像超分辨重建的深度学习方法综述

图像超分辨重建（Super-Resolution,SR）是指利用信号处理和机器学习等方法,从单幅或者多幅低分辨率图像（Low Resolution,LR）中重建对应的高分辨率图像（High Resolution,HR）的技术。由于多幅LR图像之间亚像素位移的不可预知性,单幅图像超分辨重建（Single Image Super-Resolution,SISR）逐渐成为超分辨研究的主要方向。近年来,深度学习方法得到迅速发展,并广泛应用到图像处理领域。因此,针对单幅图像超分辨重建所使用的深度学习相关算法和网络模型进行系统的总结。介绍图像超分辨问题的设置和评价指标;讨论和比较单幅图像超分辨重建的深度学习算法,主要从网络结构设计、损失函数和上采样方式三方面进行论述;介绍常用的标准数据集,并选用基于不同网络模型的几种典型算法进行实验对比分析;展望图像超分辨技术未来的研究趋势和发展方向。     

SR-AFU: super-resolution network using adaptive frequency component upsampling and multi-resolution features

Image super-resolution (SR) is one of the classic computer vision tasks. This paper proposes a super-resolution network based on adaptive frequency component upsampling, named SR-AFU. The network is composed of multiple cascaded dilated convolution residual blocks (CDCRB) to extract multi-resolution features representing image semantics, and multiple multi-size convolutional upsampling blocks (MCUB) to adaptively upsample different frequency components using CDCRB features. The paper also defines a new loss function based on the discrete wavelet transform, making the reconstructed SR images closer to human perception. Experiments on the benchmark datasets show that SR-AFU has higher peak signal to noise ratio (PSNR), significantly faster training speed and more realistic visual effects compared with the existing methods.     

Image super-resolution based on two-level residual learning CNN

In recent years, CNN has been used for single image super-resolution (SR) with its success of in the field of computer vision. However, in the recovery process, there are always some high-frequency components that cant be recovered from low-resolution images to high-resolution ones by using existing CNN-based methods. In this paper, we propose an image super-resolution method based on CNN, which uses a two-level residual learning network to learn residual components, i.e., high-frequency components. We use the Super-Resolution Convolutional Neural Network (SRCNN) as the network structure in each level so that our proposed method can achieve the high-resolution images with high-frequency components that cant be obtained by the existing methods. In addition, we analyze the proposed method with considering three kinds of residual learning networks, which are different in the structure and superimposed layers of the residual learning network. In the experiments, we investigate the performance of the proposed method with various residual learning networks and the effect of image super-resolution to image captioning task.

     

局部特征增强的转置自注意力图像超分辨率重建

目的 超分辨率（super resolution,SR）重建任务通过划分窗口引入自注意力机制进行特征提取,获得了令人瞩目的成绩。针对划分窗口应用自注意力机制时会限制图像信息聚合范围、制约模型对特征信息进行建模的问题,本文基于转置自注意力机制构建全局和局部信息建模网络捕捉图像像素依赖关系。方法 首先采用轻量的基线模型对特征进行简单关系建模,然后将空间维度上的自注意力机制转换到通道维度,通过计算交叉协方差矩阵构建各像素点之间的长距离依赖关系,接着通过引入通道注意力块补充图像重建所需的局部信息,最后构建双门控机制控制信息在模型中的流动,提高模型对特征的建模能力及其鲁棒性。结果 实验在5个基准数据集Set5、Set14、BSD100、Urban100、Manga109上与主流方法进行了比较,在不同比例因子的SR任务中均获得了最佳或者次佳的结果。与SwinIR（image restoration using swin Transformer）在×2倍SR任务中相比,在以上5个数据集上的峰值信噪比分别提升了0.03dB、0.21dB、0.05dB、0.29dB和0.10dB,结构相似度也获得了极大提升,同时视觉感知优化十分明显。结论 所提出的网络模型能够更充分地对特征信息全局关系进行建模,同时也不会丢失图像特有的局部相关性。重建图像质量明显提高,细节更加丰富,充分说明了本文方法的有效性与先进性。     

基于超分辨率网络的CT三维重建算法

计算机断层扫描(CT)三维重建技术通过上采样体数据来提高三维模型质量,减轻模型中的锯齿状边缘、条纹状伪影和不连续表面等现象,从而提高临床医学中疾病诊断的准确率.针对以往CT三维重建后模型仍然不够清晰的问题,提出一种基于超分辨率网络的CT三维重建算法.网络模型为具有双重损失的优化学习纵轴超分辨率重建网络(DLRNet),...