基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。

     

基于生成对抗网络的轻量级图像卡通风格化方法

艺术家创作卡通是一项具有挑战性和耗时的任务。将真实照片自动转换为高质量卡通风格图像的自动技术具有很高价值。提出一种基于生成对抗网络的轻量级图像卡通风格化方法。通过观察卡通绘画行为,将卡通图像风格解耦为平滑表面、稀疏色块、高频纹理3种表示方法。运用生成对抗网络框架学习提取的表示,进而学习卡通图像风格,在生成网络中采用深度可分离卷积和反向残差块来减少网络的参数量与计算成本。为验证所提方法的有效性,进行定性比较和定量分析。结果显示,所提方法能够快速地将真实世界的照片转换为高质量的卡通图像,在时间效率和转换质量方面与已有方法相比有一定优势。     

基于生成对抗网络的图像转换技术

针对不同谱段图像获取代价不同的问题,提出一种基于生成对抗网络的图像转换方法。转换过程以肉眼可分辨范围内图像轮廓不变为出发点。首先,通过成对的训练数据对生成器和判别器进行交替训练,不断对损失函数进行优化,直到模型达到纳什平衡。然后用测试数据对上述训练好的模型进行检测,查看转换效果,并从主观观察和客观上计算平均绝对误差和均方误差角度评价转换效果。通过上述过程最终实现不同谱段图像之间的转换。其中,生成器借鉴U-Net架构;判别器采用传统卷积神经网络架构;损失函数方面增加L1损失来保证图像转换前后高、低频特征的完整性。以红外图像与可见光图像之间的转换为例进行实验,结果表明,通过本文设计的生成对抗网络,可以较好地实现红外图像与可见光图像之间的转换。     

基于生成对抗网络的SAR图像降噪模型

合成孔径雷达(SAR)是相干成像系统,生成的图像经常会被相干斑噪声污染,继而造成了SAR图像在后续分割、识别中准确率低的问题。针对图像被污染问题,设计了一种结合生成对抗网络(GAN)与残差网络(ResNet)的SAR图像降噪网络模型Re-GAN,其中,GAN中的生成器加入了ResNet中的残差块以增强对SAR图像降噪的能力,模型中的组合损失函数在降噪时可以更好地保留图像细节。在MATAR数据集上,Re-GAN分别与BM3D算法、小波降噪算法进行比较,实验结果证明,Re-GAN在视觉效果和定量分析方面都具有良好的性能。     

面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

基于生成对抗网络的高光谱图像特征提取

特征提取是高光谱数据处理领域的一个重要研究 内容。高光谱数据获取过程中的复 杂性使传统的特征提取方法无法良好地处理高光谱图像。同时,高光谱图像标记样本数量的 有限性,也为常用于特征提取的监督深度学习方法带来不利影响。为了摆脱对高光谱图像中 标记样本的依赖,在卷积神经网络的基础上引入生成对抗网络,针对光谱特征提出了一种无 监督的高光谱图像特征提取的方法。为了稳定网络的训练过程,提高生成对抗网络中判别器 的特征表示能力,在目标函数中引入梯度惩罚项,将判别器的性能不断逼向最优。在特征提 取阶段,针对高光谱图像的光谱结构,提出了一种通道最大池化方法,能够在降低数据维度 的同时尽可能保留高光谱图像的光谱信息。使用支持向量机(support vector machines,SVM)和k近邻(k-hearest neighbor,KNN)方法对 提取到的特征进行分类测试。在两个真实数据集上的实验结果表明,提出的方法优于传统的 特征提取方法。     

基于生成对抗网络的遥感图像加密研究

遥感图像中包含了大量的信息,为防止这些信息被窃取,有必要对其进行加密处理。在该背景下,研究一种基于生成对抗网络的遥感图像加密方法。该研究通过图像分割来切断图像信息之间的关联性,利用改进Arnold变换算法来实现遥感图像置乱,打乱图像像素点的排列顺序。通过生成对抗网络在真遥感图像像素中加入假图像像素,掩盖图像真实信息,实现遥感图像加密。结果表明：基于GAN的加密方法的峰值信噪比均值为5.92 dB,信息熵损失均值为20.7 bit,加密耗时均值为27.3 ms,均低于对比方法,由此说明所研究方法加密后,既达到了加密目标,保证了遥感图像完整性,同时提高了加密效率。     

基于生成对抗网络的人脸属性图像生成

生成对抗神经网络是目前深度学习的热门研究方向,而人脸属性生成是重要研究分支之一,为解决目前关于人脸属性生成时导致背景出现颜色变化、扭曲、模糊,并且人脸生成后出现图片失真和其它面部属性有不同程度的变化,通过改进STGAN的网络结构,主要改进其网络归一化层,使得网络训练属性的精确度更高方法,合理控制属性幅度从而提高生成效果...     

基于特征增强生成对抗网络的文本生成图像方法

针对文本生成图像任务过程中存在图像视觉特征和通道特征信息利用不充分问题,提出一种基于特征增强生成对抗网络(FE-GAN)的文本生成图像方法.首先,在动态记忆读取时,设计二次记忆(MoM)模块来对生成的中间特征进行注意与融合,利用注意力机制在记忆读取时进行第一次视觉特征增强,再将得到的注意力结果和上一个生成器生成的图像特征进行融合,实现第二次图像视觉特征增强.然后,在残差块中引入通道注意力来获取图像特征中的不同语义,提升相似语义通道之间的关联性,实现通道特征增强.最后,将实例归一化上采样块和批量归一化上采样块相结合来提高图像分辨率,同时缓解批量大小对生成效果的影响,提升生成图像风格多样性能力.在CUB-200-2011和Oxford-102数据集上进行的仿真实验表明,所提方法的IS分别达到了4.83和4.13,与DM-GAN相比分别提高了1.68%和5.62%.实验结果表明,FE-GAN生成的图像在细节处理上更好,更加符合文本语义.     

基于真实场景的水墨画自动生成方法

针对水墨画的特殊艺术效果,提出一种基于真实场景的静态水墨风格图像生成方法,将一幅适合中国传统水墨画效果的静态真实场景图像自动转换为具有水墨风格的艺术图像。该方法首先对图像进行色彩空间的转换、通道分离等预处理,然后通过图像腐蚀、各向异性扩散以及边缘信息的提取与叠加等方法,实现了对图像的水墨风格处理,并且能够通过对于其中参数的调整,来实现对图像水墨风格处理过程的控制。实验结果表明,本方法对于水墨效果的仿真取得了较好的效果。     

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network, MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN。MRA-GAN模型中重建网络负责将低分辨率(LR)图像重建为高分辨率(HR)图像,退化网络负责将HR图像降采样为LR图像,LR判别器负责鉴别真实LR图像和通过退化网络降采样得到的LR图像,HR判别器负责鉴别真实HR图像和通过重建网络重建得到的HR图像,并且改进了CycleGAN原有的判别器判别方式和损失函数。实验结果验证了MRA-GAN模型与现有算法相比,在峰值信噪比(PSNR)和结构相似性(SSIM)等指标上都有所改进。     

结合可逆网络的超高分辨率图像的风格迁移

针对处理超高分辨率图像时面临的内存成本和风格迁移过程中过度风格化,提出了一种结合可逆网络的超高分辨率图像的风格迁移方法。该算法采用可逆的Glow模块作为基本单元构建可逆神经网络模块,并将图像分为小块处理;在风格迁移模块中使用具有通道注意力机制的残差模块和缩略图实例化归一化模块(TIN),以保证各模块风格一致;提出基于全局-局部的损失计算方式,能够有效地处理局部的结构特征。实验结果表明,相较于当前通用的各种神经风格迁移网络,所提算法不仅能够避免图像在编码和解码过程中的信息丢失问题,而且能以更低的内存成本实现更优的风格迁移。     

基于融合和色彩传递的灰度图像彩色化技术

针对传统色彩传递过程中容易出现色彩误传的现象,研究一种基于融合和色彩扩展的灰度图像彩色化技术,首先利用图像融合技术对微光图像和红外图像进行融合,将融合后的图像作为目标图像,然后利用改进的welsh色彩传递算法对目标图像进行上色得到精确匹配的局部彩色化图像,最后利用最小二乘优化方法对得到的局部彩色化图像进行优化.实验结果表明该算法修正了传统算法中色彩误传现象,验证了算法的正确性.     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。     

基于边缘融合的图像非真实感特效渲染算法

针对传统的图像非真实感渲染制作受场所、设备的限制以及依赖人工绘制的周期长、效率低的不足,研究了彩色图像的非真实感渲染方法.提出了一种基于边缘融合的彩色图像非真实感渲染方法.根据非真实感图像的特殊性质,在进行渲染时必须考虑边缘和颜色两个重要因素.方法首先将RGB彩色图像转换为Lab彩色图像,并对L通道进行梯度滤波,获取边缘梯度图.然后对L通道进行灰度量化,并合并量化后的L、a、b三个通道,将其转换为RGB图像,最后将边缘梯度图和量化后的RGB图像融合,得到非真实感渲染后的图像.实验结果表明,与前人提出的基于扫描线的非真实感渲染算法相比,方法能克服扫描出现的颜色突兀跳变与虚假条纹,有一定的实用意义.     

基于辅助变量增强的可逆彩色图像灰度化

彩色图像灰度化是一种被广泛应用于各个领域的图像压缩方式,但很少有研究关注彩色图像与灰度图像之间的相互转换技术。该文运用深度学习,创新性地提出了一种基于辅助变量增强的可逆彩色图像灰度化方法。该方法使用变量增强技术来保证输出与输入变量通道数相同以满足网络的可逆特性。具体来说,该方法通过可逆神经网络的正向过程实现彩色图像灰度化,逆向过程实现灰度图像的色彩复原。将所提方法在VOC2012, NCD和Wallpaper数据集上进行定性和定量比较。实验结果表明,所提方法在评价指标上均获得了更好的结果。无论是在全局还是局部,生成图像都可以最大程度地保留亮度、颜色对比度和结构相关性等特征。     

一种基于GAN的轻量级水墨画风格迁移模型

当前现有的风格迁移方法大多以照片或西方绘画为主。由于中西方画作之间的内在差异,直接应用现有的算法无法生成令人满意的中国水墨画风格迁移的结果。文中基于GAN提出了一种新颖的适用于水墨画的风格迁移方法。该方法结合了AdaIN方法、风格注意力模块和感知损失,可以更准确地学习到水墨画的风格特征,一定程度上解决了水墨图像生成质量不佳的问题。定性分析和定量评估结果表明文中方法性能更好,生成的结果具有更佳的视觉效果。相比于基准方法,文中所提方法减少了约55%的参数量,降低了约60%的训练时间。     

基于改进颜色传递策略与NSCT的红外与可见光图像伪彩色融合

提出一种基于改进颜色传递策略与非下采样Contourlet变换(NSCT)的红外与可见光图像伪彩色融合算法.首先,利用NSCT与基于清晰区域的Canny边缘检测算法获得灰度融合图.其次,将融合灰度图像插入Y通道,源图像与融合灰度图像之间的残差图像分别插入Cb、Cr通道以生成YCbCr源彩色图像.最后,利用本文设计的颜色传递模型对源彩色图像和目标图像进行色彩颜色统计匹配,同时,通过自适应颜色传递参数模型调整颜色传递参数.实验结果表明,本文提出的融合算法使得伪彩色融合图像不仅对比度高、传递色彩自然、可以较好地抑制色彩渗入图像目标,而且对目标图像质量要求不严格.     

基于BP神经网络的血液细胞图像色彩分割

以MATLAB为平台,研究了采用BP神经网络对血液白细胞彩色图像进行有效分割的方法,为实现血液细胞分析与计数的自动化、提高T作效率和降低人为误差提供了条件。给出了对血液细胞彩色图像采用BP神经网络与RGB阈值等不同方法分割效果的比较,得出BP神经网络法优于RGB阈值法的结论。实验表明,BP神经网络有强的鲁棒性,对不同载片色彩差异有容错能力。