多尺度残差网络的单幅图像超分辨率重建

针对目前提高图像分辨率的卷积神经网络存在的特征提取尺度单一以及梯度消失等问题,提出了多尺度残差网络的单幅图像超分辨率重建方法.采用多尺度特征提取和特征信息融合,解决了对图像细节特征提取不够充分的问题;将局部残差学习和全局残差学习相结合,提高了卷积神经网络信息流传播的效率,减轻了梯度消失现象.在Set5、Set14和BS...     

基于多尺度注意力残差网络的图像超分辨率重建

数字图像在传递信息中起着重要的作用,图像超分辨率技术能丰富图像的细节信息.针对许多网络对低分辨率图像的有效特征复用不足和参数量过大的问题,本文结合不同大小的卷积核以及注意力残差机制构建图像超分辨率网络,用3个有差别尺度的卷积层来提取图像的特征,其中第2和第3层用小卷积核替代大的卷积核,对3层卷积融合之后引入注意力机制,...     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法.构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力.引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失....     

基于密集反馈网络的单幅图像超分辨率重建

基于深度学习的单幅图像超分辨率网络模型体积庞大,导致参数利用率低且难以部署,对中间层特征利用不充分。提出一种密集反馈注意力网络（DFAN）模型。在同一特征图中通过多尺度残差注意力模块（MRAB）提取不同尺度的深层特征,以增加特征的多样性。同时将每个MRAB的输出均作为同组中其他残差模块的输入,使各层之间的信息流最大化,从而减小训练难度。实验结果表明,相比VDSR、DRRN、MemNet等模型,DFAN模型具有较优的重建效果,其在重建放大倍数为4的Set5数据集上计算复杂度仅为VDSR模型的0.14倍左右,而峰值信噪比提高了0.57 dB。     

基于残差网络的图像超分辨率重建算法

传统的卷积神经网络用到的方法是在稀疏表示的超分辨率图像的基础上学习高/低分辨率图像之间端到端的映射,输入的是高分辨率的图像,输出的是低分辨率的图像,拥有三层卷积层的SRCNN虽然有一定的重建效果,但是感受野较低,因此,提出加深网络结构的方法,此次改进使得后面的网络层拥有更大的感受野,这样结果的像素点可以根据更多的像素点来推断。但是考虑到网络结构加深对传输速率的影响,通过引入局部残差学习和全局残差学习相结合的方法来提高学习率,通过该办法有效地加快了收敛速度,并且通过实验结果验证,与已有的Bicubic、SRCNN和VDSR相比,重建效果在峰值信噪比、结构相似性和视觉效果上均有所提升。     

基于残差密集网络的单幅图像超分辨率重建

随着数码相机、手机等电子设备的普及,每天都会产生大量的图像,但通常这些图像的分辨率比较低。针对单幅图像超分辨率(Single Image Super-Resolution,SISR)方法性能较低的问题,提出一种基于残差密集网络的单幅图像超分辨率重建方法。将浅层的卷积特征输入到残差密集块,获得全局和局部的特征;对图像进行超分辨率重建,得到清晰的高分辨率图像。为了验证该方法的有效性,在四个公共的数据集Set5、Set14、B100和Urban10上进行了定性和定量的实验。实验结果表明,该方法能够更好地恢复出高分辨率的图像。     

基于多窗口残差网络的单图像超分辨率重建

基于卷积神经网络的单图像超分辨率模型网络结构过深,导致高频信息丢失以及模型体积庞大等问题.提出一种由多个残差模块构成的多窗口残差网络优化模型,通过使用多个不同尺寸的窗口对同一特征图进行提取,获取更丰富的高频与低频信息,并过滤出深层网络的所需特征.残差模块中较大尺寸的窗口采用较小尺寸的滤波器和多层映射层叠加组成,可在减少...     

基于小波域的深度残差网络图像超分辨率算法

单幅图像超分辨率（SISR）是指从一张低分辨率图像重建高分辨率图像.传统的神经网络方法通常在图像的空间域进行超分辨率重构，但这些方法常在重构过程中忽略重要的细节.鉴于小波变换能够将图像内容的"粗略"和"细节"特征进行分离，提出一种基于小波域的深度残差网络（DRWSR）.不同于其他传统的卷积神经网络直接推导高分辨率图像（HR），该方法采用多阶段学习策略，首先推理出高分辨率图像对应的小波系数，然后重建超分辨率图像（SR）.为了获取更多的信息，该方法采用一种残差嵌套残差的灵活可扩展的深度神经网络.此外，提出的神经网络模型采用结合图像空域与小波域的损失函数进行优化求解.所提出的方法在Set5、Set14、BSD100、Urban100等数据集上进行实验，实验结果表明，该方法的视觉效果和峰值信噪比（PSNR）均优于相关的图像超分辨率方法.     

基于多尺度联合网络的图像超分辨率重建方法

图像超分辨率在视频修复等方面具有广泛应用。针对基于深度学习的图像超分辨率重建(FSRCNN)方法存在的问题,提出基于多尺度联合网络的图像超分辨率重建方法。首先,通过构建基于多尺度网络的特征采样模型来提取低分辨率(LR)图像的特征;其次,通过特征融合和构造亚像素卷积层的方法对特征进行增强;最后,定义基于均方误差MSE和峰值信噪比PSNR的联合损失函数。在Set5、Set14和BSD100数据集上进行了对比实验,实验结果表明,该方法获得了相对较好的结果。最后针对低分辨率影视作品《西游记》和《红楼梦》进行了高分辨率修复,取得了一定的效果。     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

多层次感知残差卷积网络的单幅图像超分重建

目的 单幅图像超分辨率重建的深度学习算法中,大多数网络都采用了单一尺度的卷积核来提取特征（如3×3的卷积核）,往往忽略了不同卷积核尺寸带来的不同大小感受域的问题,而不同大小的感受域会使网络注意到不同程度的特征,因此只采用单一尺度的卷积核会使网络忽略了不同特征图之间的宏观联系。针对上述问题,本文提出了多层次感知残差卷积网络（multi-level perception residual convolutional network,MLP-Net,用于单幅图像超分辨率重建）。方法 通过特征提取模块提取图像低频特征作为输入。输入部分由密集连接的多个多层次感知模块组成,其中多层次感知模块分为浅层多层次特征提取和深层多层次特征提取,以确保网络既能注意到图像的低级特征,又能注意到高级特征,同时也能保证特征之间的宏观联系。结果 实验结果采用客观评价的峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）两个指标,将本文算法其他超分辨率算法进行了对比。最终结果表明本文算法在4个基准测试集上（Set5、Set14、Urban100和BSD100（Berkeley Segmentation Dataset））放大2倍的平均峰值信噪比分别为37.851 1 dB,33.933 8 dB,32.219 1 dB,32.148 9 dB,均高于其他几种算法的结果。结论 本文提出的卷积网络采用多尺度卷积充分提取分层特征中的不同层次特征,同时利用低分辨率图像本身的结构信息完成重建,并取得不错的重建效果。     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领域有着重要的研究意义.为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN)的图像超分辨率重建模型.首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃连接和特征复用模块对多层图像信息进行筛选...     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...     

基于混合深度卷积网络的图像超分辨率重建

针对传统图像超分辨率重建方法存在的重建图像模糊、噪声量大、视觉感差等问题,提出了一种基于混合深度卷积网络的图像超分辨率重建方法。首先,在上采样阶段将低分辨率图像放缩至指定大小;然后,在特征提取阶段提取低分辨率图像的初始特征;接着,将提取到的初始特征送入卷积编解码结构进行图像特征去噪;最后,在重建层用空洞卷积进行高维特征提取与运算,重建出高分辨率图像,并且使用残差学习快速优化网络,在降低噪声的同时,使重建图像的清晰度及视觉效果更优。在Set14数据集放大尺度×4的基准下,将所提方法与双三次插值（Bicubic）、锚定邻域回归（A+）、超分辨卷积神经网络（SRCNN）、极深度超分辨网络（VDSR）、编解码网络（REDNet）等超分辨率重建方法进行对比。在超分辨实验中,所提方法与对比方法比较,峰值信噪比（PSNR）分别提升了2.73 dB、1.41 dB、1.24 dB、0.72 dB和1.15 dB,结构相似性（SSIM）分别提高了0.067 3,0.020 9,0.019 7,0.002 6和0.004 6。实验结果表明,混合深度卷积网络能够有效地对图像进行超分辨率重建。     

基于对偶学习策略的单图像超分辨率重建网络

针对单图像低分辨率到高分辨率映射具有不适定性、特征图空间信息利用率低下以及网络参数量过大的问题,提出了一种基于渐进上采样的对偶学习算法用于图像的超分辨率重建.首先采用深度可分离卷积使得模型参数量显著减少;再基于亚像素卷积构建渐进上采样网络来高效利用特征图上下文信息;最后利用对偶学习策略构建闭环反馈网络,通过对偶关系相互约束映射空间以获取最佳重建函数.在Set5、Set14、BSDS100、Urban100、Manga109基准数据集上与其他主流的超分辨率方法相比,该算法表现出更优越的性能:有效减少了网络9％的参数量,在×4、×8放大因子下能重建出更清晰的图像,同时能有效缓解图像边缘失真和伪影现象,并且×8放大时的平均峰值信噪比和结构相似度(PSNR/SSIM)分别为26.90/0.751、24.84/0.645、24.74/0.619、22.30/0.560、24.38/0.706.     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

基于深度残差反投影注意力网络的图像超分辨率

针对多数单帧图像超分辨率(single image super-resolution,SISR)重建方法存在的特征信息发掘不充分、特征图各通道之间的相互依赖关系难以确定以及重建高分辨率(high resolution,HR)图像时存在重构误差等问题,提出了基于深度残差反投影注意力网络的图像超分辨率(SR)算法。即利用残差学习的思想缓解训练难度和充分发掘图像的特征信息,并使用反投影学习机制学习高低分辨图像之间的相互依赖关系,此外引入了注意力机制动态分配各特征图以不同的注意力资源从而发掘更多的高频信息和学习特征图各通道之间的依赖关系。实验结果表明了所提方法相比于多数单帧图像超分辨率方法,不仅在客观指标方面得到了显著的提升,而且重建的预测图像也具有更加丰富的纹理信息。     

结合密集残差结构和多尺度剪枝的点云压缩网络

目的 点云是一种重要的三维数据表示形式,已在无人驾驶、虚拟现实、三维测量等领域得到了应用。由于点云具有分辨率高的特性,数据传输需要消耗大量的网络带宽和存储资源,严重阻碍了进一步推广。为此,在深度学习的点云自编码器压缩框架基础上,提出一种结合密集残差结构和多尺度剪枝的点云压缩网络,实现了对点云几何信息和颜色信息的高效压缩。方法 针对点云的稀疏化特点以及传统体素网格表示点云时分辨率不足的问题,采用稀疏张量作为点云的表示方法,并使用稀疏卷积和子流形卷积取代常规卷积提取点云特征;为了捕获压缩过程中高维信息的依赖性,将密集残差结构和通道注意力机制引入到点云特征提取模块;为了补偿采样过程的特征损失以及减少模型训练的动态内存占用,自编码器采用多尺度渐进式结构,并在其解码器不同尺度的上采样层之后加入剪枝层。为了扩展本文网络的适用范围,设计了基于几何信息的点云颜色压缩方法,以保留点云全局颜色特征。结果 针对几何信息压缩,本文网络在MVUB（Microsoft voxelized upper bodies）、8iVFB（8i voxelized full bodies）和Owlii（Owlii dynamic human mesh sequence dataset）3个数据集上与其他5种方法进行比较。相对MPEG（moving picture experts group）提出的点云压缩标准V-PCC（video-based point cloud compression）,BD-Rate（bjontegaard delta rate）分别增加了41%、54%和33%。本文网络的编码运行时间与G-PCC（geometry-based point cloud compression）相当,仅为V-PCC的2.8%。针对颜色信息压缩,本文网络在低比特率下的YUV-PSNR（YUV peak signal to noise ratio）性能优于G-PCC中基于八叉树的颜色压缩方法。结论 本文网络在几何压缩和颜色压缩上优于主流的点云压缩方法,能在速率较小的情况下保留更多原始点云信息。     

基于多尺度残差网络的单应估计方法

单应估计是许多计算机视觉任务中一个基础且重要的步骤。传统单应估计方法基于特征点匹配,难以在弱纹理图像中工作。深度学习已经应用于单应估计以提高其鲁棒性,但现有方法均未考虑到由于物体尺度差异导致的多尺度问题,所以精度受限。针对上述问题,提出了一种用于单应估计的多尺度残差网络。该网络能够提取图像的多尺度特征信息,并使用多尺度特征融合模块对特征进行有效融合,此外还通过估计四角点归一化偏移进一步降低了网络优化难度。实验表明,在MS-COCO数据集上,该方法平均角点误差仅为0.788个像素,达到了亚像素级的精度,并且在99%情况下能够保持较高的精度。由于综合利用了多尺度特征信息且更容易优化,该方法精度显著提高,并具有更强的鲁棒性。     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。