基于改进增强型超分辨率生成对抗网络的图像超分辨率重建算法

针对现有的图像超分辨率重建算法仍存在细节上处理不足的问题,提出一种基于改进增强型超分辨率生成对抗网络(ESRGAN)的图像超分辨率重建算法.首先,使用多尺度密集连接模块(MDB)代替密集连接模块(DB),并且在MDB后添加通道注意力机制,以调整不同通道的特征响应值,从而改进了ESRGAN的生成网络模型中的深层信息提取模...     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于坐标注意力机制的人脸图像超分辨率重建算法

针对传统的人脸超分辨率图像重建技术,人脸特征信息提取与恢复中存在特征丢失的问题,文中提出了一种基于坐标注意力机制的IP-FSRGAN人脸图像超分辨率重建算法,以帮助生成器学习到更多的人脸特征信息并合成更真实的超分辨率人脸图像。在放大倍数为4时,采用LFW数据集测试模型性能。实验结果显示,该方法与IP-FSRGAN相比,PSNR提升0.14%,SSIM提升0.59%,Y通道PSNR提升2.43%,SSIM提升0.38%,在定量上均优于SRGAN、ESRGAN、IP-FSRGAN等人脸重建方法。实验证明,文中所提基于坐标注意力机制的IP-FSRGAN人脸图像超分辨率重建算法在人脸超分辨图像重建上具有良好的有效性。     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。     

基于深度学习的风云四号卫星图像超分辨率重建

风云四号A卫星(FY-4A)部分通道的图像分辨率较低,影响风云卫星多通道协同监测能力。针对该问题,提出一种改进的超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks, ESRGAN)算法来实现FY-4A影像的超分辨率重建。该方法基于ESRGAN的生成器架构,利用迁移学习策略,将预训练权重作为模型的初始值,设计了一组包含5层空洞卷积层的残差密集模块(Residual-in-Residual Dense Block, RRDB),并优化了损失函数。结果表明,在4倍影像分辨率重建下,相比于ESRGAN算法,改进的ESRGAN算法在峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性(Structural Similarity, SSIM)、空间相关系数(Correlation Coefficient, CC)上分别提高了0.704、0.029、0.002,均方根误差(Root-Mean-Square Error, RMSE)降低了10%,且重建影像更加清晰自然,纹理更加细致。     

基于注意力机制的双向生成对抗压缩网络

针对现有的图像超分辨率算法网络模型参数量大、计算复杂度高、前向推理过程中耗时长等问题,将深度可分离卷积层引入双向对抗生成网络模型中,同时为了保证双向生成对抗网络的精度,在下采样网络中引入混合注意力机制,以保证模拟生成的低分辨率图片更加贴近现实.在i78700 CPU上对Urban100测试集的图像放大4倍,所提算法的重建速度对比SRGAN算法提升了近5倍.在通用的测试数据集DIV2K中,将所提方法分别与Bicubic、SRCNN、SRGAN、ESRGAN等经典方法做实验对比,实验结果表明所提出的算法与其他算法相比在PSNR客观评价指标上平均提升了约0.7 dB,SSIM指标提升了约2.36％.     

基于多尺度残差网络的CT图像超分辨率重建

为了将超分辨率重建算法应用于医学影像领域,提升各类医学影像的分辨率,针对当前主流算法网络结构和分辨率提升倍数的尺度单一性问题,提出了一种应用于CT图像的多尺度残差网络模型。首先,通过级联多层残差块构建模型框架,残差块内采用3种尺度的卷积核提取低分辨率图像的细节特征。然后,将特征图融合在一个维度进行特征映射和数据降维,并将多尺度特征信息导入下一残差块。最后,将网络学习到的残差图与低分辨率图像融合,重建高分辨率图像。采用经过多种放大倍数处理的CT图像对网络进行混合训练,实现了一个模型可以同时支持多种倍数的分辨率提升。实验结果表明:在2,3,4倍放大因子下,该模型重建的CT图像PSNR平均较VDSR算法高0.87,0.83,1.16dB。因此,本文模型有效提升了CT图像的超分辨率重建效果,更锐利地恢复了其细节特征,同时大大提升了算法实用性。     

基于分组卷积的轻量级图像超分辨率重建

目前,多数基于卷积神经网络的图像超分辨率算法主要面临着网络结构复杂、参量过大以及推理速率缓慢的问题。因此,提出了利用分组卷积实现轻量化的图像超分辨率重建算法。设计了分组卷积块提取图像的基础特征,使网络参量和推理时间有效地减少,同时引入了一种改进轻量型通道注意力机制,在保证通道依赖性的同时,准确定位到目标的位置,提升重建的性能。利用亚像素卷积的过渡采样可以对特征起到集成作用,可以有效地提高重建精度减少噪声和伪影。实验结果表明,该网络在重建性能具有竞争力的前提下,参数量相比于轻量级多尺度超分辨率与超尺度网络低30%以上,并且重建速度也得到提升。     

融合空间和角度特征的光场图像超分辨率方法

针对光场图像空间分辨率不足的问题,提出一种融合空间和角度特征的光场图像超分辨率方法,能够同时超分辨率所有子孔径图像。算法主要由特征提取模块、特征融合模块和重建模块组成。首先,通过特征提取模块提取低分辨率光场中每个视图的2D空间纹理特征;然后,采用特征融合模块将提取到的空间纹理特征和几何角度特征进行融合,并经过多层空间角度二维卷积后得到4D光场结构特征;最后,利用重建模块将融合后的光场特征信息进行上采样,重建出高分辨率的光场子孔径图像阵列。采用4组真实/合成光场图像数据集进行测试,结果表明,与现有五种方法相比,所提方法重建图像的平均峰值信噪比、结构相似性比次优算法分别提高了2.99 dB和0.11%,图像边缘轮廓清晰。在有效提升光场图像空间分辨率的同时,所用网络参数量少、计算效率高。     

基于循环生成对抗策略的遥感图像匹配算法北大核心CSCD

针对异源遥感影像成像模式、时相、分辨率等不同导致的图像匹配困难问题,提出了一种基于循环生成对抗策略的遥感图像匹配算法。构建了跨数据域图像特征迁移的循环生成对抗网络(generative adversarial network,GAN),设计SmoothL损失函数对网络进行优化,提高遥感图像特征提取精度,并基于图像特征迁移结果,建立三元组距离排序损失函数(trioplet margin ranking loss,TMRL)降低遥感图像的误匹配点数,实现异源遥感图像的准确匹配。实验结果表明,本文方法将异源遥感图像匹配平均准确率提升了33.51%,与CMM-Net(cross modlity matching net)方法相比,具有更好的遥感图像匹配效果。此外,本文方法不需要目标域图像的标注信息,匹配时间缩短了0.073s,能快速准确实现异源遥感图像匹配。     

多尺度残差反馈融合网络的单幅图像超分辨率重建

单幅超分辨率重建可以根据一张或多张低分辨率图像生成高分辨率图像。本文提出了一种基于神经卷积网络的单幅图像超分辨率重建算法,以恢复信息丰富的高分辨率图像。该网络由一系列具有低分辨率图像特征的递归密集连接和级联,能够生成强大的特征表示,并充分捕捉多尺度上下文信息。此外,本文设计了一种多级特征融合模块,不仅可以减少深层学习过程中损失的空间信息,还能有效缓解图像伪影问题。通过在Set5等常用数据集上的对比实验结果表明,本文算法均优于同类算法。     

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network, MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN。MRA-GAN模型中重建网络负责将低分辨率(LR)图像重建为高分辨率(HR)图像,退化网络负责将HR图像降采样为LR图像,LR判别器负责鉴别真实LR图像和通过退化网络降采样得到的LR图像,HR判别器负责鉴别真实HR图像和通过重建网络重建得到的HR图像,并且改进了CycleGAN原有的判别器判别方式和损失函数。实验结果验证了MRA-GAN模型与现有算法相比,在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上都有所改进。     

基于多特征门控反馈残差网络的超分辨率图像重建算法

针对超分辨率重建领域中低分辨率图像特征利用不充分的问题,文中基于反馈机制与注意力机制,提出了一种多特征门控反馈残差网络。该网络模型结构简单,以循环的方式实现了网络参数复用,可以有效地节省计算资源。此外,对网络迭代中的输出特征进行保留也可实现多特征融合。采用进一步的特征精炼模块将重建后的高分辨率图像特征进行特征提取,得到了更好的重建效果。在5种测试数据集上的实验结果表明,当缩放因子为4时,该网络的峰值信噪比分别为32.50 dB、28.83 dB、27.75 dB、26.65 dB和31.12 dB。与对比网络相比,文中所提算法的测试结果显著提升。     

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.005 4、0.016。     

多尺度残差特征融合的轻量级真实图像超分辨率重建

基于深度学习的真实图像超分辨率(super-resolution, SR)重建算法目前存在参数量过大的问题,为解决该问题,提出了一种多尺度残差特征融合的轻量级真实图像SR重建算法。首先利用深度可分离卷积和复用卷积针对多尺度特征提取块进行改进,在提取特多尺度特征的同时实现了模块的轻量化,参数量仅为改进前的7.5%。其次使用残差特征融合操作将4个多尺度深度可分离特征提取块(multi-scale depthwise separable block, MSDSB)聚合成一个残差特征融合块,以减少残差路径长度。然后使用增强型注意力模块从通道和空间维度进行自适应调整以提升算法性能。最后使用自适应上采样模块获得SR重建图像。在消融实验中,本文算法重建性能超过原始算法,且参数量仅为3.53×10⁶,是原始算法的34.5%。在对比实验中,其重建性能超过了当前主流算法,与组件分而治之(component divide-and-conquer, CDC)算法相比,PSNR和SSIM指标分别提升了0.01 dB与0.001 0,且参数量仅为组件CDC算法的8.84%,在保证重建性能的同...     

基于CUDA的遥感图像快速超分辨率重建算法研究

传统图像插值方法和基于字典学习的图像超分辨率重建方法在图像处理速度和重建图像的视觉质量之间很难保证有效的平衡,针对这一问题,文章利用自然图像非局部相似性的特点和GPU(Graphic Processing Unit)并行处理的优势,提出了一种基于CUDA(Compute Unified Device Architecture)的遥感图像快速超分辨率重建算法。实验结果表明,文章提出的方法能够很好的保持图像的边缘及结构信息,获得良好的视觉效果,同时实现遥感图像的快速超分辨率重建。     

基于特征复用的膨胀-残差网络的SAR图像超分辨重建

对于合成孔径雷达(SAR)图像,传统的超分辨重建方法对视觉特征的人为构造十分依赖,基于普通卷积神经网络(CNN)的超分辨重建方法对微小目标的重建能力较弱,对边缘轮廓的保真度较差。针对以上问题,该文提出一种基于特征复用的膨胀-残差卷积超分辨网络模型,同时引入感知损失,实现了精确的SAR图像4倍语义级超分辨。该方法为增加网络感受野,采用膨胀-残差卷积(DR-CNN)结构用于限制模型中特征图分辨率的严重损失,提高网络对微小细节的敏感度;为实现不同层级的特征最大化利用,将不同层级的特征图进行级联,形成一种特征复用结构(FRDR-CNN),以此大幅度提升特征提取模块的效率,进一步提升超分辨精度;针对SAR图像特殊的相干斑噪声干扰,引入感知损失,使得该方法在恢复图像边缘和精细的纹理信息方面具有优越表现。文中实验表明,与传统算法以及目前较为流行的几种全卷积神经网络超分辨重建算法相比,该文采用的FRDR-CNN模型在视觉上对小物体的超分辨重建能力更强,对边界等轮廓信息的重建更准确,客观指标中的峰值信噪比(PSNR)和结构相似性指数(SSIM)分别为33.5023 dB和0.5127,边缘保持系数(EPD-ROA)在水平和垂直方向上分别为0.4243和0.4373。      

单帧图像超分辨率重建的深度神经网络综述

随着硬件计算能力的显著提升,深度神经网络广泛应用于计算机视觉和图像处理的各个领域,获得了突出成果,受这种方法启发,单帧图像超分辨率重建(Super-resolution Reconstruction, SR)也引入深度学习思想,并且重建效果远远超越传统算法,成为研究的热点并迅速成为主流技术。将对深度神经网络的单帧图像超分辨率重建技术分为两类(基于传统深度神经网络的单帧图像超分辨率重建和基于生成对抗网络的单帧图像超分辨率重建和)进行阐述,以此为基础,对单帧图像超分辨率技术的发展趋势进行展望。     

基于专家场先验模型的图像超分辨重建算法

为了进一步提高图像超分辨率重建的质量,针对非局部集中稀疏表示算法中重建图像的噪声问题,提出了一种基于专家场先验模型的图像超分辨率重建改进算法。首先,利用专家场模型从图像训练集中学习整幅图像的先验知识建立全局先验模型;然后将学习到的先验信息用于非局部集中稀疏表示模型求解最优稀疏表示系数;最后,得到高分辨率图像估计。该算法在超分辨率重建迭代运算的同时,同步更新专家场模型参数,因此在不显著增加运算复杂度的情况下,通过选取合适的先验约束,有效地增强了图像重建的效果。实验结果表明:相比非局部集中稀疏表示算法,文中算法对无噪和有噪降质图像均能取得较好的峰值信噪比结果,并且能够进一步提高有噪图像的去噪效果。