联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于Mip-map的纹理映射反走样技术

计算机图形最终成像的质量和许多因素有关。图像假象问题是由于建模和其他因素引起的,它们是生成图像所用的渲染算法运算的结果。渲染用时越少,质量越高,渲染出来的图像就越逼真。利用纹理映射技术则可以使渲染达到令人满意的效果。但是现有的纹理映射技术有其相应的局限性,不能满足实时的需求。在利用OpenGL图形库的基础上,基于改进的Mip-map纹理映射技术能有效的解决上述问题,并且给出了改进前后图像清晰度的对比,以及时间上的对比。     

关于生成式对抗神经网络研究的思路探析

通过对生成式对抗神经网络(Generative Adversarial Networks,简称GAN)进行探析,介绍了深度学习的发展和应用以及GAN的基本思想和应用领域。接着阐述GAN的基础理论,包括生成模型和判别模型、GAN的基本原理和数学模型以及GAN的训练方法和算法。然后介绍GAN的改进算法和技术以及在图像生成、视频生成、文本生成等领域的应用,并讨论了GAN的实用性和可靠性评估。最后探讨GAN的发展趋势和挑战,包括未来的发展方向和趋势、技术挑战和解决方案以及社会和伦理问题。     

多色彩通道特征融合的GAN合成图像检测方法

当前,生成对抗网络（Generative Adversarial Networks, GAN）合成的逼真图像难以识别,严重危害国家网络安全及社会稳定.与此同时,多数基于深度神经网络模型设计的检测器需要大规模训练样本,且存在模型可解释度不高、泛化性能差等问题.为了克服上述亟待解决的关键性难题,本文提出一种多色彩通道特征融合的GAN合成图像检测方法.首先,探索分析真实自然图像和GAN合成图像在不同色彩空间相邻像素之间的差异,并设计差异度量算法,完成色彩通道选择.其次,利用图像像素间的高度相关性,在八个方向上通过二阶马尔可夫链对相邻像素之间的差分数组进行建模,提取差分像素邻接矩阵特征.最后,利用上述特征,设计一种简单且高效的集成分类器完成GAN合成图像的检测任务.在基于StyleGAN模型合成的伪造人脸数据集中,所提出方法的检测准确率高达100.00%;在小样本训练约束条件下,正负样本对数仅仅为2时,检测准确率高达99.65%;在单类样本训练约束条件下,正样本数仅仅为50时,检测准确率高达92.84%.在基于更先进的StyleGAN2和PGGAN模型合成的伪造场景数据集中,所提出方法的检测准...     

基于多通道GAN的图像去噪算法

针对图像采集和传输过程中所产生噪声导致后续图像处理能力下降的问题,提出基于生成对抗网络(GAN)的多通道图像去噪算法。所提算法将含噪彩色图像分离为RGB三通道,各通道基于具有相同架构的端到端可训练的GAN实现去噪。GAN生成网络基于U-net衍生网络以及残差块构建,从而可参考低级特征信息以有效提取深度特征进而避免丢失细节信息;判别网络则基于全卷积网络构造,因而可获得像素级分类从而提升判别精确性。此外,为改善去噪能力且尽可能保留图像细节信息,所构建去噪网络基于对抗损失、视觉感知损失和均方误差损失这3类损失度量构建复合损失函数。最后,利用算术平均方法融合三通道输出信息以获得最终去噪图像。实验结果表明,与主流算法相比,所提算法可有效去除图像噪声,且可较好地恢复原始图像细节。     

基于对抗和梯度的无参考图像质量评价算法

由于现有的生成对抗网络（GAN）很难完全获取细节上的失真,生成高质量图像仍旧比较困难。为了提高基于GAN的无参考图像质量评价（NR-IQA）方法的性能,提出一种基于对抗和梯度的NR-IQA方法。通过改进网络模型结构和引入基于梯度和色度相似性的平均偏差相似指数（MDSI）来提升模型的整体性能,整个模型由GAN和质量预测网络组成。首先,为了增强对抗训练,设计了双判别器的GAN,将失真图像和参考图像分别输入到网络中,利用WED数据集对GAN进行训练;其次,利用GAN生成相应失真图像的虚拟图像,并分析两者之间的差异,得到失真差异图和MDSI图;最后,为了从多个方面测量图像的感知质量,设计了多流质量预测网络,将失真图像、虚拟图像、失真差异图、MDSI图分别输入到网络中,输出图像质量预测分数。在LIVE、CISQ、TID2013数据集上进行训练和测试,所提算法在三个数据集上都表现出较好的性能,尤其在TID2013上。实验结果表明,该算法与人的主观评价具有较高的一致性。     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。     

三维动画图像纹理实时渲染系统设计

当前存在一种特殊图像纹理快速渲染技术方法,这种方法与传统思想不同,融合了硬件图像纹理的处理技术,实现了用较少的多边形组成模型完成高质量的动画图像纹理渲染效果,在提高图像纹理渲染速度的同时保证图像纹理渲染的质量。但该方法存在过程较为复杂的问题。为此,提出一种三维动画图像纹理实时渲染系统设计方法,该方法首先对渲染系统进行硬件系统设计,硬件由图像客户端、图像管理节点、存储节点及计算节点组成。通过对渲染图像模型纹理相应坐标点绘制像素达到对动画图像纹理渲染的目的,然后对三维动画图像纹理渲染利用双线性算法进行计算。实验结果证明,提出的对三维动画图像纹理实时渲染系统设计的方法能够降低三维动画图像的成本。     

基于对抗生成网络的纹理合成方法

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式,通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此,提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像,且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。     

基于改进的U-Net生成对抗网络的图像翻译算法

针对传统生成对抗网络(Generative Adversarial Networks,GAN)在图像翻译过程中生成图像的轮廓、纹理等特征丢失以及造成图像翻译效果不佳的问题,提出了基于改进U-Net模型的生成对抗网络图像翻译算法。首先,实验研究Pix2Pix生成对抗网络优化算法、学习率以及迭代次数对图像翻译效果的影响,确定生成对抗网络模型参数与优化方法;其次,通过增加反卷积跳跃连接的重复次数增强特征的表达能力;最后,在CUFS人脸数据库上进行实验确定模型参数。实验表明,反卷积跳跃连接的重复次数为5次时,图像翻译的用户调研满意评价指标达到42%,图像翻译的质量达到最优。     

基于改进CycleGAN的ISAR图像超分辨方法

图像超分辨是解决ISAR欺骗干扰中由于模型样本不完备导致难以对大带宽ISAR实现高逼真假目标模拟的重要手段。利用生成对抗网络（GAN）可通过端到端映射实现ISAR图像的超分辨,然而,当测试输入样本与训练输入样本分辨率差异较大时,超分辨图像中会出现伪散射点从而导致目标失真。考虑到循环生成对抗网络（CycleGAN）对输入样本差异适应性较好,本文提出了一种基于改进CycleGAN的ISAR欺骗干扰超分辨样本生成方法,分别从损失函数、优化过程、判别器结构三方面对CycleGAN网络结构进行改进,加快了网络的收敛速度,同时对于输入分辨率差异较大的ISAR图像泛化性能更好。利用暗室测量数据验证了所提方法的有效性,与GAN方法相比,对于训练输入样本分辨率差异较大的测试输入样本,生成的超分辨样本散射点位置与真实数据具有更好的匹配效果。     

多输入融合对抗网络的水下图像增强

针对水下图像出现对比度低、颜色偏差和细节模糊等问题,提出了多输入融合对抗网络进行水下图像增强。该方法主要特点是生成网络采用编码解码结构,通过卷积层滤除噪声,利用反卷积层恢复丢失的细节并逐像素进行细化图像。首先,对原始图像进行预处理,得到颜色校正和对比度增强两种类型图像。其次,利用生成网络学习两种增强图像与原始图像之间差异的置信度图。然后,为减少在生成网络学习过程中两种增强算法引入的伪影和细节模糊,添加了纹理提取单元对两种增强图像进行纹理特征提取,并将提取的纹理特征与对应的置信度图进行融合。最后,通过构建多个损失函数,反复训练对抗网络,得到增强的水下图像。实验结果表明,增强的水下图像色彩鲜明并且对比度提升,评价指标UCIQE均值为0.639 9,NIQE均值为3.727 3。相比于其他算法有显著优势,证明了该算法的良好效果。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

基于生成对抗网络和噪声水平估计的低剂量CT图像降噪方法

生成对抗网络(GAN)用于低剂量CT(LDCT)图像降噪具有一定的性能优势,成为近年CT图像降噪领域新的研究热点。不同剂量的LDCT图像中噪声和伪影分布的强度发生变化时,GAN网络降噪性能不稳定,网络泛化能力较差。为了克服这一缺陷,该文首先设计了一个编解码结构的噪声水平估计子网,用于生成不同剂量LDCT图像对应的噪声图,并用原始输入图像与之相减来初步抑制噪声;其次,在主干降噪网络中,采用GAN框架,并将生成器设计为多路编码的U-Net结构,通过博弈对抗实现网络结构优化,进一步抑制CT图像噪声;最后,设计了多种损失函数来约束不同功能模块的参数优化,进一步保障了LDCT图像降噪网络的性能。实验结果表明,与目前流行算法相比,所提出的降噪网络能够在保留LDCT图像原有重要信息的基础上,取得较好的降噪效果。     

基于生成对抗网络和噪声水平估计的低剂量CT图像降噪方法

生成对抗网络(GAN)用于低剂量CT(LDCT)图像降噪具有一定的性能优势,成为近年CT图像降噪领域新的研究热点.不同剂量的LDCT图像中噪声和伪影分布的强度发生变化时,GAN网络降噪性能不稳定,网络泛化能力较差.为了克服这一缺陷,该文首先设计了一个编解码结构的噪声水平估计子网,用于生成不同剂量LD-CT图像对应的噪声图,并用原始输入图像与之相减来初步抑制噪声;其次,在主干降噪网络中,采用GAN框架,并将生成器设计为多路编码的U-Net结构,通过博弈对抗实现网络结构优化,进一步抑制CT图像噪声;最后,设计了多种损失函数来约束不同功能模块的参数优化,进一步保障了LDCT图像降噪网络的性能.实验结果表明,与目前流行算法相比,所提出的降噪网络能够在保留LDCT图像原有重要信息的基础上,取得较好的降噪效果.     

多尺度卷积神经网络的噪声模糊图像盲复原

图像盲复原是从一幅观测的模糊图像恢复出模糊核和清晰图像,传统盲去卷积算法采用简化模型估计模糊核,导致预测模糊核与真实值误差较大,最终复原结果不理想。针对此问题提出一种基于改进残差模块的多尺度卷积神经网络模型,采用端到端模式,无需估计模糊核。提出了一种基于限制网络输入的改进Wasserstein GAN （WGAN）,增加了一层输入限制层,能够限定参数初始值,提高了网络收敛速度。设计了多重损失函数,融合了基于多尺度网络的感知损失和基于条件式生成对抗网络的对抗损失。实验结果表明:所提方法在定量和定性评价指标上优于已有的代表性方法,并且运行速度比相近算法快了4倍。     

基于GAN和CNN-ELM的监控图像智能修复及检测方法

针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题,提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法.首先,使用深度学习网络作为 目标检测框架,利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原,得到清晰完整的作业图像;其次,利用CNN自适应学习图像特征的能力,对修复后的图像进行自主特征提取;最后,将提取的图像特征输入ELM分类器中进行目标识别与分类,判断作业过程是否存在违规行为.试验结果表明:所提方法图像修复速度快,视觉效果自然,且目标识别准确率高,具有很好的泛化能力.     

结合SVD与GAN的图像检测分类模型

生成对抗网络(Generative Adversarial Networks,GAN)近年在计算机领域大火。它在保证生成效果的同时避免了原生成模型复杂的求解过程。但由于GAN的随机初始化输入,导致在训练模型生成与原始数据分布拟合的数据时花费大量时间成本。因此,提出一种基于奇异值分解的生成对抗网络(SVD-GAN)。通过奇异值分解对原始数据进行降维和去噪,生成对抗网络的输入,使输入数据在保留了原始数据重要特征的同时提高数据生成性能,减少训练时间成本。将SVD-GAN模型应用于图像分类,根据实验结果可知,该模型算法在优化生成网络的生成质量、提高图像分类的准确性和降低模型损耗方面效果显著。     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。