深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。     

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像，修复后图像存在局部色差、边界伪影和细节缺陷等问题，提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块，有效融合深层和浅层的图像特征，实现了人脸图像的特征提取和融合。此外，构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数，用于训练多尺度修复网络，并通过与判别器网络的相互对抗，提高修复图像与真实图像的视觉一致性。实验结果表明，对于不同的掩膜率，采用该模型修复的图像具有合理的纹理结构和上下文语义信息，并在定性和定量比较上表现更好。     

基于深度注意力的融合全局和语义特征的图像描述模型

现有的图像描述模型使用全局特征时受限于感受野大小相同,而基于对象区域的图像特征缺少背景信息。为此,提出了一种新的语义提取模块提取图像中的语义特征,使用多特征融合模块将全局特征与语义特征进行融合,使得模型同时关注图像的关键对象内容信息和背景信息。并提出基于深度注意力的解码模块,对齐视觉和文本特征以生成更高质量的图像描述语句。所提模型在Microsoft COCO数据集上进行了实验评估,分析结果表明该方法能够明显提升描述的性能,相较于其他先进模型具有竞争力。     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

选择性传输与铰链对抗的多图像域人脸属性迁移

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控制器生成的样式信息,增加图像域表达方式的多样性,同时通过选择性传输单元将下采样提取的内容特征根据相对属性标签选择性地传输到上采样,形成融合特征以增强图像的细节信息。在判别器中,通过增加双尺度判别,协同鉴定人脸图像的真伪及类别,从而提高判定的准确度。在此基础上,设计融合相对鉴别和铰链损失的对抗损失函数,增强真伪图像域之间的联系。在CelebA数据集上的实验结果表明,与StarGAN、STGAN等主流的多图像域人脸属性迁移方法相比,该方法能够建立更准确的多图像域映射关系,提高迁移图像的质量同时增加迁移图像表达的多样性。     

显著区域保留的图像风格迁移算法

基于神经网络的风格迁移成为近年来学术界和工业界的热点研究问题之一。现有的方法可以将 不同风格作用在给定的内容图像上生成风格化图像,并且在视觉效果和转换效率上有了较大提升,而侧重学习 图像底层特征容易导致风格化图像丢失内容图像的语义信息。据此提出了使风格化图像与内容图像的显著区域 保持一致的改进方案。通过加入显著性检测网络生成合成图像和内容图像的显著图,在训练过程中计算两者的 损失,使合成图像保持与内容图像相一致的显著区域,这有助于提高风格化图像的质量。实验表明,该风格迁 移模型生成的风格化图像不仅具有更好的视觉效果,且保留了内容图像的语义信息。特别是对于显著区域突出 的内容图像,保证显著区域不被扭曲是生成视觉友好图像的重要前提。     

基于感知监督和多层次特征融合的去雾算法

现有图像去雾方法在网络训练时没有考虑去雾后的图像是否满足人类视觉感知;其次以编解码结构为主要结构的去雾网络,不可避免丢失细节信息,去雾后的图像存在纹理模糊、颜色失真等问题。针对上述问题,提出了一个基于感知监督和多层次特征融合的图像去雾网络。在网络结构中设计了不同层次的特征融合模块。在编码阶段设计分辨率层次特征复用与融合模块,更好地提取不同尺度下表达能力更强的特征,为重建高质量图像提供更多细节信息;特征转换阶段设计空间上下文层次特征提取与融合模块,提取与融合不同感受野的空间上下文的特征,以提供更加精准的图像结构信息;解码阶段设计自适应特征融合模块,自适应地融合下采样阶段生成的不同分辨率层次的特征及特征转换阶段输出的不同空间上下文层次的特征;其次在训练阶段的损失函数中引入感知损失和多尺度结构相似度损失,引导网络学习更多的视觉感知属性。与当前主流方法相比较,该方法在定量和定性指标得到明显提升的同时提高了对去雾图像的视觉效果。实验结果表明在RESIDE合成数据集以及真实有雾图像上取得显著的去雾效果。     

基于本征图像分解的人脸光照迁移算法

提出了一种基于本征图像分解的人脸光照迁移算法.首先,针对本征图像分解效果不彻底的情况,提出了一种改进的本征图像分解方法.在此基础上,为了保持人脸细节特征,提出了一种基于边缘保留的光照滤波算法,对参照人脸进行光照迁移至目标人脸,最后融合目标材质图像与滤波后光照图像进行人脸重光照.实验结果表明,与已有算法相比,该算法能够很好地保留迁移后的人脸肤色,并且所生成的重光照效果更准确、自然.     

嵌入自注意力机制的美学特征图像生成方法

针对生成的图像结构单一,细节特征不够丰富,导致美观感不足等问题,提出了一种嵌入自注意力机制的美学特征图像生成方法.为了增加生成图像的美学特征,研究图像美学评价标准与生成模型之间的关联性,定义了基于美学分数的美学损失函数;为保证生成图像与真实图像在语义内容上的一致性,加入VGG网络,构造内容损失函数,采用Charbonnier损失代替L1损失,并将美学损失、内容损失和进化生成对抗网络的对抗损失以加权形式组合,引导与优化图像的生成.在生成器和判别器中引入自注意力机制模块,并将密集卷积块加入生成器自注意力机制模块之前,充分提取特征,有利于自注意力机制高效获取更多特征内部的全局依赖关系,促使生成图像细节清晰,纹理特征丰富.在Cifar10、CUHKPQ两个数据集上的实验结果表明该方法在提升图像美学效果方面是有效的,其弗雷歇距离值相较于进化生成对抗网络分别提高了3.21和5.44,图像美学分数值相较于进化生成对抗网络分别提高了0.75和0.88.     

融合残差和对抗网络的跨模态PET图像合成方法

针对现有跨模态图像合成方法不能很好地捕获人体组织的空间信息与结构信息,合成的图像具有边缘模糊、信噪比低等问题,提出一种融合残差模块和生成对抗网络的跨模态PET图像合成方法。该算法在生成器网络中引入改进的残差初始模块和注意力机制,减少参数量的同时增强了生成器的特征学习能力。判别器采用多尺度判别器,以提升判别性能。损失函数中引入多层级结构相似损失,以更好地保留图像的对比度信息。该算法在ADNI数据集上与主流算法进行对比,实验结果表明,合成PET图像的MAE指标有所下降,SSIM与PSNR指标有所提升。实验结果显示,提出的模型能很好地保留图像的结构信息,在视觉和客观指标上都能提高合成图像的质量。     

Image Style Transfering Based on StarGAN and Class Encoder

The image style transfer technology has been integrated into people''s lives and is widely used in practical scenarios such as artistic images, photo to cartoon, image coloring, filter processing, and occlusion removal, which bears important research significance and application value. StarGAN is a generative adversarial network framework used in recent years for multi-domain image style transfer, which extracts features through simple down-sampling and then generates images through up-sampling. However, the background color information and detailed features of characters'' faces in the generated images are greatly different from those in the input images. In this paper, the network structure of StarGAN is improved, and a UE-StarGAN model for image style transfer is proposed by introducing U-Net and edge-promoting adversarial loss function. At the same time, the class encoder is introduced into the generator of the UE-StarGAN model, and an image style transfer model fusing class encoder based on a small sample size is designed to realize the image style transfer with a small sample size. The experimental results reveal that the model can extract more detailed features and has some advantages in the case of a small sample size. The images obtained by applying the image style transfer based on the proposed model are improved in both qualitative and quantitative analyses, which verifies the effectiveness of the proposed model.     

相关对齐的总变分风格迁移新模型

目的 图像的风格迁移是近年来机器视觉领域的研究热点之一。针对传统基于卷积神经网络（CNN）的图像风格迁移方法得到的结果图像存在风格纹理不均匀、噪声增强及迭代时间长等问题,本文在CNN框架下提出了一种基于相关对齐的总变分图像风格迁移新模型。方法 在详细地分析了传统风格迁移方法的基础上,新模型引入了基于相关对齐的风格纹理提取方法,通过最小化损失函数,使得风格信息更加均匀地分布在结果图像中。通过分析比较CNN分解图像后不同卷积层的重构结果,提出了新的卷积层选择策略,以有效地提高风格迁移模型的效率。新模型引入了经典的总变分正则,以有效地抑制风格迁移过程中产生的噪声,使结果图像具有更好的视觉效果。结果 仿真实验结果说明,相对于传统方法,本文方法得到的结果图像在风格纹理和内容信息上均有更好的表现,即在风格纹理更加均匀细腻的基础上较好地保留了内容图像的信息。另外,新模型可以有效地抑制风格迁移过程中产生的噪声,且具有更高的运行效率（新模型比传统模型迭代时间减少了约30%）。结论 与传统方法相比,本文方法得到的结果图像在视觉效果方面有更好的表现,且其效率明显优于传统的风格迁移模型。     

基于提升小波变换的医学图像融合

目的 将不同模态的医学图像(如CT/MRI图像)进行科学融合,可以有效地丰富图像的信息,提高信息的利用效能,这对于医学临床诊断具有重要的理论研究意义和应用价值。方法 基于提升小波变换的特性,对多模态医学图像的融合算法进行研究。首先,对已配准的源图像进行多尺度分解,得到低频子带和多层高频子带;进而,根据低频子带的特点和各层高频子带的噪声含量不同,提出了低频子带系数采用基于区域平均能量的加权融合规则;对噪声含量较低的低层高频子带采用基于计盒分维法获取分维数,而对噪声含量较高的高层高频子带提出了基于区域梯度能量加权融合规则。结果 分别对灰度图像和彩色图像进行了大量融合实验,并分别在主观视觉特性及客观评价指标下对不同融合算法产生的融合图像的质量进行了分析对比,表明本文算法具有较好的边缘保持度。结论 实验结果表明,较现有算法产生的融合图像,应用本文融合算法得到的图像具有更丰富的信息,更能使图像灰度级分散,具有更良好的视觉特性和评价指标。     

彩色图像多尺度融合灰度化算法

为了使彩色图像灰度化后能够保留更多的原始特征,提出了一种新的基于多尺度图像融合的灰度化算法。将彩色图像分解为R、G、B三个通道图像,采用基于高斯-拉普拉斯金字塔的多尺度图像融合模型进行灰度化,并引入梯度域导向图像滤波（Gradient Domain Guided Image Filter,GGIF）来消除多尺度融合可能产生的伪影。将灰度化问题转换为保持三个通道单色图像特征的多尺度融合问题。实验结果表明,与其他灰度化算法相比,所提算法对边缘信息敏感,并能够在较亮或较暗区域检测出更多的图像细节特征。     

Multi-focus image fusion based on sparse decomposition and background detection

The goal of image fusion is to accurately and comprehensively describe complementary information of multiple source images in a new scene. Traditional fusion methods are easy to produce side-effects which cause artifacts and blurred edges. To solve these problems, a novel fusion algorithm based on robust principal component analysis (RPCA) and guided filter is proposed. The guided filter can preserve the edges effectively, which is often used to enhance the images without distort the details. Considering edges and flat area are treated differently by the guided filter, in this paper, sparse component of the source image is filtered by the guided filter to generate the enhanced image which contains the preserved edges and the enhanced background. And then the focused regions of the source images are detected by spatial frequency map of the difference images between the enhanced image and the corresponding source image. Finally, morphological algorithm is used to obtain precise fusion decision map. Experimental results show that the proposed method improves the fusion performance obviously which outperforms the current fusion methods.     

RXDNFuse: A aggregated residual dense network for infrared and visible image fusion

This study proposes a novel unsupervised network for IR/VIS fusion task, termed as RXDNFuse, which is based on the aggregated residual dense network. In contrast to conventional fusion networks, RXDNFuse is designed as an end-to-end model that combines the structural advantages of ResNeXt and DenseNet. Hence, it overcomes the limitations of the manual and complicated design of activity-level measurement and fusion rules. Our method establishes the image fusion problem into the structure and intensity proportional maintenance problem of the IR/VIS images. Using comprehensive feature extraction and combination, RXDNFuse automatically estimates the information preservation degrees of corresponding source images, and extracts hierarchical features to achieve effective fusion. Moreover, we design two loss function strategies to optimize the similarity constraint and the network parameter training, thus further improving the quality of detailed information. We also generalize RXDNFuse to fuse images with different resolutions and RGB scale images. Extensive qualitative and quantitative evaluations reveal that our results can effectively preserve the abundant textural details and the highlighted thermal radiation information. In particular, our results form a comprehensive representation of scene information, which is more in line with the human visual perception system.     

SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer

This study proposes a novel general image fusion framework based on cross-domain long-range learning and Swin Transformer, termed as SwinFusion. On the one hand, an attention-guided cross-domain module is devised to achieve sufficient integration of complementary information and global interaction. More specifically, the proposed method involves an intra-domain fusion unit based on self-attention and an inter-domain fusion unit based on cross-attention, which mine and integrate long dependencies within the same domain and across domains. Through long-range dependency modeling, the network is able to fully implement domain-specific information extraction and cross-domain complementary information integration as well as maintaining the appropriate apparent intensity from a global perspective. In particular, we introduce the shifted windows mechanism into the self-attention and cross-attention, which allows our model to receive images with arbitrary sizes. On the other hand, the multi-scene image fusion problems are generalized to a unified framework with structure maintenance, detail preservation, and proper intensity control. Moreover, an elaborate loss function, consisting of SSIM loss, texture loss, and intensity loss, drives the network to preserve abundant texture details and structural information, as well as presenting optimal apparent intensity. Extensive experiments on both multi-modal image fusion and digital photography image fusion demonstrate the superiority of our SwinFusion compared to the state-of-the-art unified image fusion algorithms and task-specific alternatives. Implementation code and pre-trained weights can be accessed at https://github.com/Linfeng-Tang/SwinFusion.      

基于StarGAN和类别编码器的图像风格转换

图像风格转换技术已经融入到人们的生活中,并被广泛应用于图像艺术化、卡通化、图像着色、滤镜处理和去遮挡等实际场景中,因此,图像风格转换具有重要的研究意义与应用价值.StarGAN是近年来用于多域图像风格转换的生成对抗网络框架.StarGAN通过简单地下采样提取特征,然后通过上采样生成图片,但是生成图片的背景颜色信息、人物...     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

基于引导滤波和差分图像的多聚焦图像融合方法

针对传统的多聚焦图像的空间域融合容易出现边缘模糊的问题,提出了一种基于引导滤波（GF）和差分图像的多聚焦图像融合方法。首先,将源图像进行不同水平的GF,并对滤波后图像进行差分,从而获得聚焦特征图像;随后,利用聚焦特征图像的梯度能量（EOG）信息获得初始决策图,对初始决策图进行空间一致性检查以及形态学操作以消除因EOG相近而造成的噪点;然后,对初始决策图进行GF以得到优化后决策图,从而避免融合后的图像存在边缘骤变的问题;最后,基于优化后决策图对源图像进行加权融合,以得到融合图像。选取3组经典的多聚焦图像作为实验图像,将所提方法与其他9种多聚焦图像融合方法得到的结果进行比较。主观视觉效果显示,所提方法能更好地将多聚焦图像的细节信息保存下来,另外,经该方法处理后的图像的4项客观评价指标均显著优于对比方法。结果表明,所提方法能够获得高质量的融合图像,较好地保留原始图像信息,有效解决传统多聚焦图像融合出现的边缘模糊问题。