融合注意力的生成式对抗网络单图像超分辨率重建

基于深度学习的单图像超分辨率重建方法已经比较完善,重建图像具有较高的客观评价值或具有较好的视觉效果,但是图像感知效果和客观评价值不能均衡提升.针对这一问题,提出一种融合注意力的生成式对抗网络单图像超分辨率重建方法.首先去掉残差网络中会破坏图像原本的对比度信息、影响图像生成质量的批归一层,其次是构造注意力卷积神经网络残差块,可有效地在特征映射中进行自适应特征细化,改善重建结果在大尺度因子下缺乏高频信息和纹理细节的问题,最后构造像素损失函数,使用鲁棒性较好的Charbonnier损失函数替代均方差损失函数,用总变差正则项平滑训练结果.实验结果表明,在4倍放大因子下,与其他方法在Set5、Set14、Urban100、BSDS100测试集上进行测试比较,本文方法峰值信噪比平均值提升2.88 dB,结构相似性平均值提升0.078.实验数据和效果图表明,该方法主观上具有丰富的细节,客观上具有较高的峰值信噪比值和结构相似性值,实现了视觉效果和客观评价指标值的均衡提升.     

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.005 4、0.016。     

基于多尺度特征聚合的图像超分辨率重建

针对图像超分辨率重建过程中,存在提取特征信息单一、图像细节缺失的问题,提出了一种新的生成式对抗网络(DAMFA-GAN),以获得更加逼真和自然的重建图像。在生成器方面,设计融合动态注意力机制的多尺度特征聚合模块(DAMFA)以获取低分辨率图像中每个上采样特征的多尺度高频信息,提高重建图像的质量;在判别器方面,设计ConvTrans Encoder模块以增强特征信息提取能力,提高判别的准确率。在Set5、Set14、BSD100和Urban100数据集上的实验结果表明,DAMFA-GAN在峰值信噪比(PSNR)和结构相似性(SSIM)上较于SRGAN分别平均提高了0.50 dB、0.015 2。同时,超分辨率重建图像的高频细节和视觉效果也得到了明显改善。     

残差注意力聚合对偶回归网络超分辨率计算机断层扫描重建

为了改善计算机断层扫描（CT）影像重建质量不高的问题,提出一种基于残差注意力聚合对偶回归网络（RAADRNet）的超分辨率CT重建方法。多特征下采样提取模块（MFDEB）通过平均池化、最大池化和卷积运算完成多特征下采样提取,在多特征融合后嵌入通道学习注意力（CLA）和空间学习注意力（SLA）,同时并入前级融合特征提取图像的浅层特征。CLA、SLA分别引入通道权重特征学习以及激活函数1+tanh（）完成特征提取。残差注意力聚合模块（RAAB）通过CLA嵌入残差网络构成的残差通道学习注意力模块（RCLAB）与SLA构成的空间特征融合模块（SFFB）联合提取图像的深层特征。原始网络在浅层特征与通过亚像素卷积放大的深层特征进行特征融合后完成重建。对偶网络进一步约束重建映射函数的解空间。实验表明,所提算法在重建图像的峰值信噪比（PSNR）和结构相似度（SSIM）上都得到了较好的提升。     

基于轻量化生成对抗网络的遥感图像超分辨率重建

针对ESRGAN模型复杂度高、特征提取与表示性能欠佳的问题,提出了一种基于轻量化生成对抗网络(Light weight Generative Adversarial Network, LwGAN)的遥感图像超分辨率重建算法。该算法以改进残差密集模块(Improved Residual Dense Block, IRDB)为基础块构建生成网络的高阶特征提取部分,提取了丰富的多样化特征,同时建立了特征的通道及长距离位置关系,在降低模型参数量的同时提升了模型的特征提取与表示性能。通过在UC MERCED和NWPU-RESISC45数据集上的实验结果表明,与ESRGAN相比,LwGAN获取了更大的峰值信噪比和结构相似度,显著提升了遥感图像的超分辨率重建性能,可视化结果表明重建图像恢复了更多的纹理细节信息,同时模型参数量仅为原始ESRGAN的约三分之一,大幅地提高了模型的运行效率,为后续遥感图像的分析处理奠定了基础。     

基于改进增强型超分辨率生成对抗网络的图像超分辨率重建算法

针对现有的图像超分辨率重建算法仍存在细节上处理不足的问题,提出一种基于改进增强型超分辨率生成对抗网络(ESRGAN)的图像超分辨率重建算法.首先,使用多尺度密集连接模块(MDB)代替密集连接模块(DB),并且在MDB后添加通道注意力机制,以调整不同通道的特征响应值,从而改进了ESRGAN的生成网络模型中的深层信息提取模...     

增强型多尺度残差网络的图像超分辨率重建算法

现有的图像超分辨率重建算法大多具有极深的网络结构导致参数量过大,并且不能充分提取特征。为了解决以上问题,提出了一种基于增强型多尺度残差网络（EMSRN）的图像超分辨率重建算法。该网络主要由多个增强型多尺度残差块（EMSRB）组成,通过使用残差块和并行的多空洞率的空洞卷积组构建该模块的骨干结构,获取了图像的局部和全局多尺度特征的同时有效减小了网络参数量。在模块最后使用通道注意力机制自适应地对提取到的特征进行加权,使网络更多地关注高频信息。实验结果表明,比起基础的多尺度残差网络,所提算法将峰值信噪比（PSNR）提升了0.53 dB,结构相似性（SSIM）达到了0.9782。相比于增强型深度超分辨率网络,参数量仅为其31.7%,却取得了近似的重建表现。     

密集残差网络红外图像超分辨率重构

单幅红外图像超分辨率重构算法作为红外图像分辨率提升应用的关键技术,近年来得到了广泛的研究。为了提高红外图像的分辨力,提出了一种基于残差密集对抗式生成网络的单幅红外图像分辨力提升方法。与以往基于对抗式生成网络的分辨力提升方法不同,本文方法的新颖性主要包含两个方面。首先,在网络架构方面进行改进,以提高性能。设计密集残差网络作为对抗式生成网络的生成网络,充分利用了低分辨率图像的有效特征。在生成网络中引入了一种连续内存机制,以利用密集的剩余块。其次,将Wasserstein-GAN作为损失函数,对判别网络模型进行修正,以达到稳定训练的目的。利用红外高分辨率图像数据集进行了大量的实验,结果表明,该方法在客观评价和主观评价方面均优于目前最新的方法。     

基于改进超分辨率生成对抗网络的图像重建算法

针对现有基于像素损失的超分辨率图像重建算法对纹理等高频细节的重建效果差问题,提出了一种基于改进超分辨率生成对抗网络(SRGAN)的图像重建算法.首先,去除了生成器中的批归一化层,并结合多级残差网络和密集连接,用残差套残差密集块提高了网络提取特征的能力.然后,结合均方误差与感知损失作为指导生成器训练的损失函数,既保留了图...     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。     

基于坐标注意力机制的人脸图像超分辨率重建算法

针对传统的人脸超分辨率图像重建技术,人脸特征信息提取与恢复中存在特征丢失的问题,文中提出了一种基于坐标注意力机制的IP-FSRGAN人脸图像超分辨率重建算法,以帮助生成器学习到更多的人脸特征信息并合成更真实的超分辨率人脸图像。在放大倍数为4时,采用LFW数据集测试模型性能。实验结果显示,该方法与IP-FSRGAN相比,PSNR提升0.14%,SSIM提升0.59%,Y通道PSNR提升2.43%,SSIM提升0.38%,在定量上均优于SRGAN、ESRGAN、IP-FSRGAN等人脸重建方法。实验证明,文中所提基于坐标注意力机制的IP-FSRGAN人脸图像超分辨率重建算法在人脸超分辨图像重建上具有良好的有效性。     

基于改进生成对抗网络的单帧图像超分辨率重建

为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究.首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中.接着,移除了原本DenseNet中冗余的BN层,提高了模型的训练效率.最后,介绍了SRGA...     

基于生成对抗网络的超声图像超分辨率重建

针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道和删除1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大4倍的边缘清晰没有伪影的医学超声图像。将改进SRGAN与原始SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有1.792 dB和3.907%的提升;与传统双立方插值的结果相比,PSNR和SSIM分别有2.172 dB和8.732%的提升。     

基于多特征门控反馈残差网络的超分辨率图像重建算法

针对超分辨率重建领域中低分辨率图像特征利用不充分的问题,文中基于反馈机制与注意力机制,提出了一种多特征门控反馈残差网络。该网络模型结构简单,以循环的方式实现了网络参数复用,可以有效地节省计算资源。此外,对网络迭代中的输出特征进行保留也可实现多特征融合。采用进一步的特征精炼模块将重建后的高分辨率图像特征进行特征提取,得到了更好的重建效果。在5种测试数据集上的实验结果表明,当缩放因子为4时,该网络的峰值信噪比分别为32.50 dB、28.83 dB、27.75 dB、26.65 dB和31.12 dB。与对比网络相比,文中所提算法的测试结果显著提升。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像,并解决超分辨率重建算法训练难和重建图像细节缺失的问题,提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先,使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层,提升网络训练效率去除伪影并降低计算复杂度;其次,利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块,提升网络重建质量获取更多细节纹理信息;最后,结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明,所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于残差卷积注意力网络的视频修复

视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复。通过将自注意力机制和全局注意力机制引入进残差网络,增强网络对所有输入帧的时空特征的学习能力,并采用时空对抗损失函数进行优化,提高视频修复的质量。同时网络还能够高度自由地定义层数和参数量,提高网络的实际应用能力。实验结果表明,该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB,SSIM为0.961,FID为0.113的平均修复结果,基本符合实际场景对模型的修复质量要求,为视频修复提供了一种新思路。