基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

边缘指导图像修复算法研究

近年来,深度学习技术的不断发展为图像修复研究提供了新的思路,通过对海量图像数据的学习,使得图像修复方法能够理解图像的语义信息。虽然现有的图像修复方法已能够生成较好的图像修复结果,但遇到结构缺失较为复杂的图像时,对缺失部分细节处理能力较差,所生成的结果会过度平滑或模糊,不能很好地修复图像缺失的复杂结构信息。针对此问题,基于生成对抗网络技术提出了一种边缘指导图像修复的方法和对应算法,将图像修复工作分为两部分:首先训练边缘修复模型生成较为真实的缺失区域的边缘信息,再根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。最后所提方法在CelebA数据集和ParisStreet-View数据集上与Shift-Net模型、深度图样先验(DIP)模型以及FFM模型进行了对比实验验证,并对实验修复结果进行了视觉上的定性分析和定量指标分析。实验结果证明提出的方法相对现有方法能更好地修复图像中缺失的复杂结构信息,反映出边缘信息在图像修复过程中具有重要的作用。     

基于新编码器和相似度约束的图像修复

现有的图像修复方法存在受损区域修复痕迹明显、语义不连续、不清晰等问题,针对这些问题本文提出了一种基于新型编码器并结合上下文感知损失的图像修复方法.本文方法采用生成对抗网络作为基本网络架构,为了能够充分学习图像特征得到更清晰的修复结果,引入了SE-ResNet提取图像的有效特征;同时提出联合上下文感知损失训练生成网络以约束局部特征的相似性,使得修复图像更加接近原图且更加真实自然.本文在多个公共数据集上进行实验,证明了本文所提方法能够更好地对破损图像进行修复.     

基于卷积自编码生成式对抗网络的 高分辨率破损图像修复

目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少。对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法。方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复。结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息。与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)值最高分别提升了31.6% 和18.0%,与DCGAN(deep convolutional generative adversarial network)方法相比,本文方法修复的图像内容符合度更高,破损区域修复结果更加清晰,PSNR和SSIM值最高分别提升了24.4% 和50.0%。结论 本文方法更适用于大面积破损图像与高分辨率图像的修复工作。     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。     

基于快速傅里叶变换和选择性卷积核网络的图像补全

较传统方案而言, 目前基于深度学习的图像补全方法取得了更优的修复效果. 但大都忽视了建立像素的长距离依赖, 深度学习模型处理大面积不规则缺失时效果不佳、生成图像整体契合度不足. 另一方面, 很多通过融合多尺度感受野来保留更多细节信息的补全算法, 由于无法动态的调节感受野, 而受到输入尺度与补全目标尺度变化带来的影响, 最终导致生成结果产生明显的伪影误差. 针对这类问题, 本文提出一种基于快速傅里叶变换和选择性卷积核网络的补全算法, 在实现像素长距离依赖的同时保证模型的高效率运行. 此外, 本算法还改进了选择性卷积核网络, 可按照各卷积核特征的贡献, 自适应调整相应权重, 从而为模型提供精确的局部性信息补充, 最终生成全局融合度更高、局部细节更丰富的补全结果. 在Celeb-A和Place2数据集的实验表明, 本文方法不仅在PSNR和SSIM指标上超越了现有的前沿图像补全方法, 且处理受遮挡率为80%以上的图像时具有明显优势, 能够生成更真实地结果.     

基于双分支网络的图像修复取证方法

图像修复是一项利用图像已知区域的信息来修复图像中缺失或损坏区域的技术。人们借助以此为基础的图像编辑软件无须任何专业基础就可以轻松地编辑和修改数字图像内容,一旦图像修复技术被用于恶意移除图像的内容,会给真实的图像带来信任危机。目前图像修复取证的研究只能有效地检测某一种类型的图像修复。针对这一问题,提出了一种基于双分支网络的图像修复被动取证方法。双分支中的高通滤波卷积网络先使用一组高通滤波器来削弱图像中的低频分量,然后使用4个残差块提取特征,再进行两次4倍上采样的转置卷积对特征图进行放大,此后使用一个 5×5 的卷积来减弱转置卷积带来的棋盘伪影,生成图像高频分量上的鉴别特征图。双分支中的双注意力特征融合分支先使用预处理模块为图像增添局部二值模式特征图。然后使用双注意力卷积块自适应地集成图像局部特征和全局依赖,捕获图像修复区域和原始区域在内容及纹理上的差异,再对双注意力卷积块提取的特征进行融合。最后对特征图进行相同的上采样,生成图像内容和纹理上的鉴别特征图。实验结果表明该方法在检测移除对象的修复区域上,针对样本块修复方法上检测的F1分数较排名第二的方法提高了2.05%,交并比上提高了3.53%;针对深度学习修复方法上检测的F1分数较排名第二的方法提高了1.06%,交并比提高了1.22%。对结果进行可视化可以看出,在检测修复区域上能够准确地定位移除对象的边缘。     

增强一致性生成对抗网络在壁画修复上的应用

针对古代壁画由于历史风化出现不同程度起甲、脱落等问题,提出一种增强一致性生成对抗网络的算法修补壁画缺失区域.该算法以生成对抗网络为框架,首先在卷积层提取深层的图像特征信息,经过反卷积将特征映射到原图像大小的图像空间,并输出修复的图像;然后在判别网络中使用全局判别网络和局部判别网络,增强已修复壁画图像的在整体和补全区域表现的一致性;最后在生成网络中引入空洞卷积增大卷积核感受野,增加网络层数并加入残差模块来获取更丰富的图像特征,卷积层使用批标准化加快建模周期等在细节方面对网络进一步优化,判别网络中也增加了网络的层数,使得判别模型具有了更好的泛化能力.采用的自制数据集进行实验,与现有几种壁画修复算法对比的结果表明,该算法的PSNR值平均提高2～5 dB, SSIM值增加0.02～0.07,较好地完成了在纹理结构强、缺失区域较大的壁画图像上的修复,可应用于古代壁画数字修复工作.     

A super resolution frontal face generation model based on 3DDFA and CBAM

Pose and low resolution seriously affect the synthesis of high-quality frontal face images. With the development of deep learning, a large number of models based on the deep neural network are used to solve the problem of face pose and image super-resolution. However, the synthesis of the high-resolution frontal face is still a problem that has not been fully studied. Therefore, in this paper, we propose a method to realize image super-resolution and face frontal generation simultaneously. Specifically, we propose a frontal face model FFSR_GAN used to generate super-resolution. This model mainly solves the problem of low resolution and large face pose. There are two main improvements: 1) Aiming at the problem of artifacts in the image generated by the face frontal generation module, the face frontal generation module is designed based on 3DDFA and CBAM; 2) Aiming at the problem of low resolution in frontal face generation, a face super-resolution module is carefully designed, which is used for super-resolution of the generated frontal face. The method proposed in this paper solves the problem of face pose and super-resolution for the first time and improves the recognition accuracy of low-resolution and face images with larger posture. The experimental results on the existing public dataset prove the advantages of the FFSR_GAN model.     

利用残差密集网络的运动模糊复原方法

针对图像生成过程中由于物体运动或相机抖动产生的运动模糊问题,提出了利用残差密集网络的运动模糊图像复原方法。设计对抗网络结构,以残差密集网络为生成器,通过长短连接实现不同层次特征的融合,生成复原图像,以深度卷积网络为判别器,判断图像真伪,在生成器和判别器的对抗中提高网络性能;采用对抗损失和内容损失结合的损失函数,提高网络的复原效果;以端到端的方式,省略模糊核的估计过程,输入模糊图像直接获取复原图像。实验结果表明,该方法能够取得较好的复原效果。     

基于深度学习的双通道夜视图像复原方法

针对夜间场景光线微弱、能见度低导致夜视图像信噪比低、成像质量差的问题,提出了基于深度学习的双通道夜视图像复原方法。首先,用两种基于全连接多尺度残差学习分块（FMRB）的卷积神经网络（CNN）分别对红外夜视图像和微光夜视图像进行多尺度特征提取和层次特征融合,从而得到重建的红外图像和增强的微光图像;然后,两种处理后的图像通过自适应加权平均算法进行融合,并根据场景的不同自适应地凸显两个图像中具有更高显著性的有效信息;最后,得到分辨率高且视觉效果好的夜视复原图像。使用基于FMRB的深度学习网络得到的红外夜视重建图像,相较于卷积神经网络超分辨率（SRCNN）重建算法得到的在峰值信噪比（PSNR）和结构相似性（SSIM）的平均值上分别提升了3.56 dB和0.091 2;相较于MSRCR,得到的微光夜视增强图像在PSNR和SSIM的平均值上分别提升了6.82 dB和0.132 1。实验结果表明,所提方法得到的重建图像的清晰度明显得到改善,获得的增强图像的亮度也明显得到提升,而且前二者的融合图像的视觉效果较好,可见所提方法能有效改善夜视图像的复原效果。     

DenseNet生成对抗网络低照度图像增强方法

针对低照度环境下采集图像存在低信噪比、低分辨率和低照度的问题,提出了一种基于稠密连接网络（DenseNet）生成对抗网络的低照度图像增强方法。利用DenseNet框架建立生成器网络,并将PatchGAN作为判别器网络;将低照度图像传入生成器网络生成照度增强图像,同时利用判别器网络负责监督生成器对低照度图像的增强效果,通过生成器和判别器二者间的博弈不断优化网络权重,最终使得生成器对低照度图像具有较好的增强效果。实验结果表明,该方法与现有主流方法相比较,不仅在对低照度图像亮度增强、清晰度还原等方面优势明显,且在峰值信噪比和结构相似度等图像质量客观评价指标方面也具有显著的优势。     

Underwater Image Dehazing via Unpaired Image-to-image Translation

Underwater imaging has long been focused on dehazing and color correction to address severe degradation in the water medium. In this paper, we propose a learning-based image restoration method that uses Generative Adversarial Networks (GAN). For network generality and learning flexibility, we constituted unpaired image translation frameworks into image restoration. The proposed method utilizes multiple cyclic consistency losses that capture image characteristics and details of underwater images. To prepare unpaired images of clean and degraded scenes, we collected images from Flickr and filtered out false images using image characteristics. For validation, we extensively evaluated the proposed network on simulated and real underwater hazy images. Also, we tested our method on conventional computer vision algorithms, such as the level of edges and feature matching results.

     

Multiple elemental image mapping for resolution‐enhanced orthographic view image generation based on integral imaging

In this paper, we propose an orthographic view image generation method based on integral imaging called multiple elemental image mapping. The proposed method is based on matching regions in multiple elemental images, which are generated with different micro‐lens from the same area of a 3D object. By mapping all the matching regions to the corresponding orthographic view plane, we can enhance the resolution of the generated orthographic view image. Simulation experiments are carried out, and the results show the resolution of orthographic view image is improved obviously.     

自监督学习的单幅透射图像恢复

现有基于学习的单幅透射图像恢复方法常需要大量成对的标签数据来训练模型,因缺乏成对图像集的监督约束,致使透射图像恢复效果欠佳,限制了其实用性.提出了一种基于自监督学习的单幅透射图像恢复方法,利用循环一致性生成对抗网络的循环结构和约束转移学习能力实现非成对图像的模型训练,通过设计自学习模块,从大规模的无监督数据中挖掘自身的监督信息对网络进行训练,以此形成有效的从浅层到深层的特征提取,提高透射图像正面内容的纹理、边缘等细节信息恢复质量,实现单幅图像的透射去除.实验结果表明,该方法在合成图像数据集、公共图像数据集以及真实图像数据集上都取得了较好的透射图像恢复结果.     

改进NSCT和IHS变换相结合的遥感影像融合

目的 目的为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I⁺分量;然后通过NSCT变换分别对I⁺分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。