基于深度学习的彩色以及近红外图像去马赛克

单传感器捕获的彩色-近红外（RGB-NIR）图像存在光谱干扰，从而导致重建出的标准彩色图像（RGB）图像与近红外（NIR）图像存在色彩失真以及细节信息模糊。针对这个问题提出一种基于深度学习的去马赛克方法，通过引入跳远连接与稠密连接解决了梯度消失和梯度弥散问题，使得网络更容易训练，并且提升了网络的拟合能力。首先，用浅层特征提取层提取了马赛克图像的像素相关性以及通道相关性等低级特征；然后，将得到的浅层特征图输入到连续多个的残差稠密块以提取专门针对去马赛克的高级语义特征；其次，为充分利用低级特征与高级特征，将多个残差稠密块提取到的特征进行组合；最后，通过全局跳远连接恢复最终的RGB-NIR图像。在深度学习框架Tensorflow上使用公共的图像与视觉表示组（IVRG）数据集、有植被的户外多光谱图像（OMSIV）数据集和森林（Forest）三个公开数据集进行实验。实验结果表明，所提方法优于基于多级自适应残差插值、基于卷积卷积和神经神经网络以及基于深度残差U型网络的主流的RGB-NIR图像去马赛克方法。     

基于多梯度的区域自适应去马赛克算法*

针对Bayer格式的彩色滤波阵列,鉴于传统去马赛克算法存在图像纹理和边缘模糊的现象,提出了一种基于多梯度的区域自适应去马赛克算法.该算法利用区域水平和垂直方向的梯度组算子来判断区域平滑程度和插值方向,从而有效地恢复绿色分量,同时根据色度差恒定原理来还原另外两个丢失的颜色信息.实验结果显示,相对于传统插值算法提高了图像的峰值信噪比,锐化了图像的纹理和边缘,改善了图像的视觉质量.     

一种使用边缘方向图的去马赛克算法

提出一种适用于Bayer格式图像的去马赛克算法,其核心在于为重建插值产生准确的边缘方向图.首先,由改进的边缘检测算子产生初始的边缘方向图,并使用十字形中值滤波器对初始的边缘方向图进行滤波,最大程度地去除初始方向图中孤立的错误插值方向.其次,基于滤波后的边缘方向图,运用统计分析以确定细致纹理及边界交界处的插值方向.最终,对在准确的边缘方向图的指导下完成重建插值的图像进行细化以消除插值人工痕迹.实验证明,本算法不仅颜色峰值信噪比(color peak signal-to-noise ratio,CPSNR)高于其他几种经典及近期算法,在边缘细致区域依然保持了很高的恢复质量,而且保持了较低的计算量,在性能和开销之间取得了很好的平衡.     

基于生成对抗网络的遥感图像去云算法

计算机视觉中的许多问题可以抽象为将输入图像“转换”成对应的输出图像,图像转换算法是许多计算机视觉问题的通用解决方案,例如语义分割、风格转换等。本文将以遥感图像去云作为图像转换的特例,研究基于生成对抗网络的图像转换算法。提出基于残差模块的生成模型可以对单幅遥感图像进行厚云和薄云的去除;同时提出的多尺度判别网络以及VGG损失函数,有效地解决了复杂场景的云雾遮挡问题。实验结果表明,本文提出的图像转换算法在遥感图像薄云数据集上峰值信噪比提升了1.64 dB,在厚云数据集上峰值信噪比提升了1.92 dB,同时生成的无云遥感图像和真实的无云图像具有较高的结构相似性。     

基于循环生成对抗网络的图像去雾算法

大气散射模型与有雾图像及对应清晰图像间的映射模型不适配,导致使用大气散射模型进行图像去雾处理时,图像存在颜色偏差、纹理细节粗糙等问题。基于模拟生物视觉系统的反馈原理,提出一种端到端的循环生成对抗网络算法,以解决误差累积造成的去雾图像低质的问题。通过生成模块将循环神经网络的隐藏状态作为反馈信息,以指导低级模糊特征信息生成更加丰富的高级特征。循环结构能够保证先前的网络层可以使用到后面网络层的高级特征信息,从而减少误差累积。此外,该算法能够根据判别模块的损失来评估重建图像的质量。实验结果表明,与GCANet算法相比,所提算法在SOTS测试集上的平均峰值信噪比和结构相似性,在室内分别提升3.41%和0.57%,在室外分别提升3.48%和1.39%,且在真实世界的数据集上进行图像去雾后,在视觉上避免了颜色失真和光晕问题。     

Bayer阵列图像去马赛克算法综述

Bayer阵列图像去马赛克技术是对稀疏采样的Bayer阵列图像进行RGB信息重建,图像重建质量是成像设备评价的重要因素之一,同时也对其他计算机视觉任务(如图像分割、人脸识别)产生影响。随着深度学习方法的快速发展,图像去马赛克领域提出了多种高性能算法。为了便于研究者更全面了解图像去马赛克算法的原理和研究进展,本文对该领域的经典算法和深度学习算法进行综述。首先对Bayer采样阵列原理和图像去马赛克技术进行概述。然后将现有方法分为传统方法和基于深度学习方法两类进行总结,同时根据去马赛克任务是否具有独立性,将深度学习方法分为独立去马赛克任务和联合去马赛克任务两类,分析不同方法的原理和优缺点,重点阐述基于深度学习的去马赛克方法的网络结构和重建机理,介绍去马赛克领域常用的公共数据集和性能评价指标,并对图像去马赛克相关实验进行分析对比。最后,围绕网络深度、运算效率和实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来发展方向。目前,基于深度学习的图像去马赛克方法已成为主流发展方向,但仍然存在计算成本较高、实际应用性不强等问题。因此,如何开发出重建精度高、处理时间短以及实用性强的图像去马赛克方法,...     

基于编解码器生成对抗网络的CT去噪

针对生成对抗网络在训练中损失函数收敛慢,难以恢复图像细节的问题,提出一种基于编解码器与多尺度损失函数的生成对抗网络模型.使用含残差连接的编解码器作为生成器,该网络易于训练,能够加快对抗损失函数的收敛;引入噪声损失,与使用VGG19模型的感知损失构成多尺度损失函数,使图像在视觉上的纹理细节达到更细致的恢复效果.实验结果表...     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

基于注意力生成对抗网络的单幅图像去雨方法

下雨是一种常见的天气现象,而滞留在图像上的雨条纹降低了图像的清晰度以及影响了基于该图像的后续图像处理.从图像中去除雨的关键是如何准确、鲁棒地识别图像中的雨区域.使用导向滤波器和Haar小波变换组成的雨线提取模块来增强雨条纹特征提取,然后通过空间关注模块生成雨线注意力图,以准确定位雨条纹的位置.两者结合后,获得降雨条纹的...     

基于条件生成对抗网络的医学手术图像去烟算法

医学手术中图像去烟算法可以提高术中成像质量,减少图像引导手术的危害,这是许多临床应用中非常理想的预处理方法.针对这一问题,本文提出一种基于条件生成对抗模型的图像去烟网络,该网络由生成器子网络和鉴别器子网络构成.其中,用Tiramisu模型代替传统的U-Net,从而得到更高的参数效率和性能.此外,通过利用计算机图形渲染引...     

基于生成对抗网络的图像清晰度提升方法

视频监控、军事目标识别以及消费型摄影等众多领域对图像清晰度有很高的要求.近年来,深度神经网络在视觉和定量评估的应用研究中取得较大进展,但是其结果一般缺乏图像纹理的细节,边缘过度平滑,给人一种模糊的视觉体验.本文提出了一种基于生成对抗网络的图像清晰度提升方法.为了更好的传递图像的细节信息,采用改进的残差块和跳跃连接作为生...     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系.在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型.在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,...     

改进生成对抗网络在场景图像转换中的应用

本文针对不同场景图像之间的转换问题,提出了一种改进的生成对抗网络模型,能够生成高质量的目标场景图像.在生成目标图像过程中存在因为向下采样而丢失原图像空间位置信息的现象,因此本文设计了一个包含跳跃连接和残差块的生成网络,通过在网络中加入多个跳跃连接部分,将图像的空间位置信息在网络中保持传递.同时为提高训练过程中生成图像在...     

基于条件生成对抗网络与知识蒸馏的单幅图像去雾方法

生成对抗网络广泛应用于图像去雾领域,但通常需要较大的计算量和存储空间,从而限制了其在移动设备上的应用。针对该问题,提出一种基于条件生成对抗网络与知识蒸馏的去雾方法KD-GAN。将频率信息作为去雾的附加约束条件,通过傅里叶变换、拉普拉斯算子、高斯滤波器分别滤除原始图像的高频或低频信息,生成对应的高频和低频图像,并将融合得到的图像作为判别器的输入,以改进雾天图像的去雾效果。在此基础上,将原重型教师网络的知识迁移到具有较少权值参数的轻量型学生网络生成器中,并对轻量型学生网络进行训练,使其以更快的收敛速度达到与教师网络相近的去雾性能。在OTS和HSTS数据集上的实验结果验证了该方法的有效性,在学生网络的参数规模仅为教师网络1/2的条件下,学生网络在迭代第3×10⁴次时,生成器输出图像的峰值信噪比和结构相似性已接近于教师网络迭代第5×10⁴次时的数值,训练速度加快了约1.67倍。     

生成对抗式分层网络表示学习的链路预测算法

针对当前链路预测算法无法有效保留网络图高阶结构特征的问题,提出一种生成对抗式分层网络表示学习算法.根据网络图的一阶邻近性和二阶邻近性,递归地对网络图进行边缘折叠和顶点合并,形成逐层规模变小的子网络图,使用Node2vec算法对规模最小的子网络图进行预处理,并将预处理结果输入到生成对抗式网络(EmbedGAN)模型中,学...     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法.去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、...     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法.以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失.设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强.构建...     

基于改进的GAN的局部遮挡人脸表情识别

针对实际应用中人脸图像存在局部遮挡的情况经常发生,会造成识别率下降和鲁棒性降低。因此针对目前存在的这种情况,提出一种基于改进生成式对抗网络（Generative Adversarial Network,GAN）的表情识别模型,先利用由自动编码器构成的生成器和两个鉴别器（局部鉴别器和全局鉴别器）的对抗学习对遮挡人脸图像填补修复,再在全局鉴别器后面添加多分类层,利用全局鉴别器的部分卷积层并在后面添加多分类层构成表情分类器进行表情识别。最后通过实验进行了不同遮挡面积的人脸图像在填补前后表情识别率的对比和不同算法的识别率对比,实验结果证明识别率会更高,尤其提高了人脸大面积遮挡的识别率。