基于多残差网络的结构保持超分辨重建

针对图像超分辨率重建中几何结构扭曲和细节缺失等问题,文中提出基于多残差网络的结构保持超分辨重建算法.在小波变换域和梯度域上进行深度学习.文中算法包含3种残差网络.残差梯度网络用于结构及边缘信息的重建.残差小波变换网络从整体上进行图像高频信息的重建.残差通道注意力网络通过调整网络注意力,着重学习重要的通道特征,从局部恢复...     

基于残差网络编解码的磁共振图像修复算法

目前很多基于受损图像修复的算法应用在磁共振图像上效果不佳,严重降低该类图像的医学应用价值。为获得细节更加丰富的磁共振图像,提高其应用价值,提出一种基于深度残差网络编码-反卷积网络解码框架的算法。使用双三次插值算法对图像进行处理,将像素点取值归一化,用修改的深层残差网络提取图像特征,用反卷积恢复图像细节,完成图像重建工作。实验结果表明,该算法在磁共振图像的修复效果上相比其它算法表现更优。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于稠密残差网络的多序列卫星图像去云

遥感影像中最常见的问题是云层污染,它会导致图像信息缺失,降低遥感数据的可用性。针对该问题,提出了一种基于稠密残差网络的多序列卫星图像去云算法。首先,该网络使用多序列的有云卫星图像作为输入,能为网络提供更多的时序特征信息,提升去云效果;其次,在网络中段使用稠密残差层,以保证卷积层之间最大程度地传递和使用特征信息,让生成的修复图像整体结构合理、边缘细节更加清晰;最后,使用像素上采样来增强空间信息的利用,提升修复效果。该方法在欧洲"哨兵-2"遥感卫星图像数据集上进行验证,峰值信噪比和结构相似度指标为27.59和0.854 0,两项指标均超过了该数据集的原处理方法STGAN,提升了遥感图像去云的效果。     

基于自适应残差的运动图像去模糊

针对当前运动图像去模糊网络忽略了运动模糊图像的非均匀性,不能有效地恢复图像的高频细节及去除伪影等问题,在对抗网络基础上提出一种基于自适应残差的运动图像去模糊方法.在生成网络中构造由形变卷积模块和通道注意力模块组成的自适应残差模块.其中,形变卷积模块学习运动模糊图像特征的形变量,可以根据图像的形变信息动态调整卷积核的形状和大小,提高网络适应图像形变的能力.通道注意力模块对所提取的形变特征进行通道调整,获取更多的图像高频特征,增强恢复后图像的纹理细节.在公开的GOPRO数据集上进行实验,实验结果表明,该算法的峰值信噪比(PSNR)有较大的提升,能够重建出纹理细节丰富的高质量图像.     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

残差注意力与多特征融合的图像去模糊

动态场景下的非均匀盲去模糊是一个极具挑战性的计算机视觉问题。虽然基于深度学习的去模糊算法已经取得很大进展，但仍存在去模糊不彻底和细节丢失等问题。针对这些问题，提出了一种基于残差注意力和多特征融合的去模糊网络。与现有的单分支网络结构不同，所提网络由两个独立的特征提取子网组成。主干网络采用基于U-Net结构的编码器-解码器网络来获取不同层级的图像特征，并使用残差注意力模块对特征进行筛选，从而自适应地学习图像的轮廓特征和空间结构特征。另外，为了补偿主干网络中下采样操作和上采样操作造成的信息损失，进一步利用具有大感受野的深层次加权残差密集子网来提取特征图的细节信息。最后，使用多特征融合模块逐步融合原分辨率模糊图像以及主干网络和加权残差密集子网生成的特征信息，使得网络能够以整体的方式自适应地学习更有效的特征来复原模糊图像。为了评估网络的去模糊效果，在基准数据集GoPro数据集和HIDE数据集上进行了测试，结果表明所提方法能够有效复原模糊图像。与现有方法相比，提出的去模糊算法在视觉效果上和客观评价指标上均取得了很好的去模糊效果。     

融合分层特征与残差蒸馏连接的图像超分辨率重建北大核心CSCD

针对目前诸多图像超分辨率重建算法通过采用单一通道网络结构无法充分利用特征信息的问题,提出了一种可以高效利用特征信息的融合分层特征与残差蒸馏连接的超分辨率重建算法。该方法首先设计了一种将分层特征融合与残差连接相结合的连接方式,对图像深层特征与浅层特征进行充分融合,提升了网络对于特征信息的利用率;其次设计出一种残差蒸馏注意力模块,使网络更高效地关注图像关键特征,从而可以更好地恢复出重建图像的细节特征。实验结果表明,所提出的算法模型不仅在4种测试集上呈现出更优秀的客观评价指标,而且在主观视觉效果上也呈现出更好的重建效果。具体在Set14测试集上,该模型4倍重建结果的峰值信噪比相对于对比模型平均提升了0.85 dB,结构相似度平均提升了0.034,充分证明了该算法模型的有效性。     

多尺度密集残差网络的单幅图像超分辨率重建

目的 近几年应用在单幅图像超分辨率重建上的深度学习算法都是使用单种尺度的卷积核提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏。另外,为了获得更好的图像超分辨率重建效果,网络模型也不断被加深,伴随而来的梯度消失问题会使得训练时间延长,难度加大。针对当前存在的超分辨率重建中的问题,本文结合GoogleNet思想、残差网络思想和密集型卷积网络思想,提出一种多尺度密集残差网络模型。方法 本文使用3种不同尺度卷积核对输入的低分辨率图像进行卷积处理,采集不同卷积核下的底层特征,这样可以较多地提取低分辨率图像中的细节信息,有利于图像恢复。再将采集的特征信息输入残差块中,每个残差块都包含了多个由卷积层和激活层构成的特征提取单元。另外,每个特征提取单元的输出都会通过短路径连接到下一个特征提取单元。短路径连接可以有效地缓解梯度消失现象,加强特征传播,促进特征再利用。接下来,融合3种卷积核提取的特征信息,经过降维处理后与3×3像素的卷积核提取的特征信息相加形成全局残差学习。最后经过重建层,得到清晰的高分辨率图像。整个训练过程中,一幅输入的低分辨率图像对应着一幅高分辨率图像标签,这种端到端的学习方法使得训练更加迅速。结果 本文使用两个客观评价标准PSNR（peak signal-to-noise ratio）和SSIM（structural similarity index）对实验的效果图进行测试,并与其他主流的方法进行对比。最终的结果显示,本文算法在Set5等多个测试数据集中的表现相比于插值法和SRCNN算法,在放大3倍时效果提升约3.4 dB和1.1 dB,在放大4倍时提升约3.5 dB和1.4 dB。结论 实验数据以及效果图证明本文算法能够较好地恢复低分辨率图像的边缘和纹理信息。     

分层特征融合网络航拍图像超分辨率重建

基于深度学习的图像超分辨率网络模型复杂度高,特征利用率较低,尤其是应用在复杂拍摄环境中的图像超分辨率重建,由于特征损失严重,最终重建的效果也较差。针对以上问题,提出分层特征融合图像超分辨率网络。引入对称式的分层结构,以增强不同层次图像特征的融合;使用更为密集的残差连接结构,减少局部残差损失,同时缓解梯度消失和梯度爆炸问题;在每个残差块中加入注意力机制,增强网络对图像高频信息的敏感度。为了验证算法在复杂环境中的效果,将模型应用于高空航拍图像超分辨率重建中。实验结果表明,所提算法相比于EDSR算法,在14个不同航拍图像环境中,尤其是复杂场景下的重建,平均PSNR提高了0.31?dB,效果显著。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建

基于深度学习的图像超分辨率重建算法的性能需求导致急剧增加的参数量与高额的计算成本，这限制超分辨率重建在移动设备上的应用.针对此问题，文中提出轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建算法.首先，设计渐进可分离蒸馏重洗模块，进行多重信息蒸馏，在提取多层次特征的同时保持模型轻量化，使用多个特征提取连接，学习更具区别性的特征表示，以便网络能从蒸馏中获得更多有益信息.然后，设计对比感知坐标注意力模块，充分利用通道感知与位置敏感信息，增强特征选择能力.最后，提出逐步补偿残差连接方式，提高浅层特征的利用率，补偿网络的纹理细节特征.实验表明，文中算法在模型复杂性与重建性能之间实现较好的均衡，重建的高分辨率图像主客观质量都很优秀.     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

增强一致性生成对抗网络在壁画修复上的应用

针对古代壁画由于历史风化出现不同程度起甲、脱落等问题,提出一种增强一致性生成对抗网络的算法修补壁画缺失区域.该算法以生成对抗网络为框架,首先在卷积层提取深层的图像特征信息,经过反卷积将特征映射到原图像大小的图像空间,并输出修复的图像;然后在判别网络中使用全局判别网络和局部判别网络,增强已修复壁画图像的在整体和补全区域表现的一致性;最后在生成网络中引入空洞卷积增大卷积核感受野,增加网络层数并加入残差模块来获取更丰富的图像特征,卷积层使用批标准化加快建模周期等在细节方面对网络进一步优化,判别网络中也增加了网络的层数,使得判别模型具有了更好的泛化能力.采用的自制数据集进行实验,与现有几种壁画修复算法对比的结果表明,该算法的PSNR值平均提高2～5 dB, SSIM值增加0.02～0.07,较好地完成了在纹理结构强、缺失区域较大的壁画图像上的修复,可应用于古代壁画数字修复工作.     

基于字典学习的残差信息融合图像去噪方法

传统去噪算法只考虑从含噪图像中恢复出图像信息,然而对去噪后残差信号的利用却并未加以重视。针对图像去噪后残差信号中包含有用信息的特点,提出了一种基于字典学习的残差信息融合图像去噪方法。首先使用字典学习方法对单幅含噪图像进行去噪;然后对首次降噪后的残差图像进行图像块筛选;再对筛选出的图像块再次进行去噪处理;最后在小波域实现两幅图像的融合得到最终的去噪图像。实验结果表明,与传统基于字典学习的去噪方法相比,所提方法能够进一步提取残差信号中的图像特征信息,在峰值信噪比和结构相似度上都有所提升。特别是对一些细节较为复杂的场景图像,具有更好的去噪效果,从而证明了残差信号对于图像去噪的重要作用。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

改进的生成对抗网络图像去噪算法

由于图像噪声的存在会干扰人对图像的理解,为了有效地去除噪声并获得比较好的视觉观感,提出一种基于生成对抗网络算法,该算法通过增加生成网络的宽度来获取更多的图像特征,并加入一个全局残差对输入的噪声图像进行特征的提取与学习,避免特征的丢失.网络采用对抗损失和重建损失的加权和,在去除噪声的同时能够有效地保留图像的细节信息.实验结果表明,该算法能够有效地去除图像噪声,改善图像的视觉观感.     

改进的生成对抗网络图像去噪算法

由于图像噪声的存在会干扰人对图像的理解,为了有效地去除噪声并获得比较好的视觉观感,提出一种基于生成对抗网络算法,该算法通过增加生成网络的宽度来获取更多的图像特征,并加入一个全局残差对输入的噪声图像进行特征的提取与学习,避免特征的丢失.网络采用对抗损失和重建损失的加权和,在去除噪声的同时能够有效地保留图像的细节信息.实验结果表明,该算法能够有效地去除图像噪声,改善图像的视觉观感.