基于云模型的变分自编码器数据压缩方法

图像数据解压缩问题是一类重要的数据处理问题，数据特征学习在数据压缩研究中有重要的研究价值。提出了一种基于云模型的变分自编码器特征表征模型，将云模型作为变分自编码器的先验分布，解决变分自编码器在特征表征上的局限性。变分自编码器的编码器部分负责构建数据的特征空间，通过在该空间中采样获得隐变量，完成数据压缩；解码器部分完成从数据特征到原数据的生成，即数据的解压。在人脸数据集上与原方法作实验对比，验证了该方法的正确性和有效性。     

基于变分自编码器的实验设计

针对现有实验设计方法难以对复杂系统进行高效实验设计的问题, 本文提出了一种基于变分自编码器的实验设计方法, 首先利用实验历史记录数据训练变分自编码器将复杂的实验样本空间编码到一个较为简单的隐变量空间, 然后在该隐变量空间里进行取样, 最后通过解码器还原产生新的实验样本, 完成实验设计. 通过对比本文方法与数种基准实验设...     

基于新编码器和相似度约束的图像修复

现有的图像修复方法存在受损区域修复痕迹明显、语义不连续、不清晰等问题,针对这些问题本文提出了一种基于新型编码器并结合上下文感知损失的图像修复方法.本文方法采用生成对抗网络作为基本网络架构,为了能够充分学习图像特征得到更清晰的修复结果,引入了SE-ResNet提取图像的有效特征;同时提出联合上下文感知损失训练生成网络以约束局部特征的相似性,使得修复图像更加接近原图且更加真实自然.本文在多个公共数据集上进行实验,证明了本文所提方法能够更好地对破损图像进行修复.     

基于变分对抗与强化学习的行人重识别

行人重识别技术在实际应用中易受行人姿态变化的干扰, 由于行人姿态的变化不仅丢失部分行人信息, 而且还会引起大于身份差异的外观变化, 导致现有工作难以学到鲁棒的行人特征. 为了解决上述问题, 本文提出一种基于变分对抗与强化学习的生成式对抗网络(RL-VGAN)用于多姿态行人重识别任务. 该方法的核心思想是在不受姿态变化干扰的情况下通过外观编码器和姿态编码器将行人属性分解为外观特征和姿态特征, 用以学习鲁棒的身份视觉特征. 首先, 设计的变分生成网络利用Kullback-Leibler散度损失促进外观编码器推断与身份信息相关的连续隐变量. 其次, 为了使生成式对抗网络逐步收敛到稳定状态, 采用强化学习策略平衡变分生成网络和判别网络的性能. 此外, 针对基于姿态引导图像生成任务, 提出一种新的Inception Score损失用于规范变分生成网络生成图像质量的过程. 实验结果证明, 所提出的RL-VGAN方法在多个基准数据集上优于其他方法.     

基于感知去模糊的高效人脸图像修复算法EI北大核心CSCD

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.     

多属性无监督人脸风格翻译

针对现有人脸图像翻译模型不能实现多个视觉属性之间的翻译及翻译后的人脸图像不清晰自然的问题,提出了基于人脸识别方法的人脸多属性图像翻译模型.模型主要由内容和风格编码器、AdaIN解码器以及人脸识别模块构成.首先,两个编码器提取内容和风格图像的潜在编码,然后将编码送入到AdaIN层中仿射变换,最后解码器还原翻译后的图像.该方法设计并训练了一个准确率90.282%的人脸识别模型并提出了一种联合人脸属性损失函数,增强了模型对风格人脸的属性的关注程度,解决了模型不能准确提取到人脸的属性信息以及摒弃了无关信息,使得模型能够生成清晰的、多属性的,多样的人脸翻译图像.该方法在公开的数据集CelebA-HQ实验并在定量和定性指标上都高于基线方法,在不同的人脸朝向时也表现出良好的鲁棒性.模型生成的图像还能应用于人脸图像生成领域,解决数据集匮乏等问题.     

卷积优化的变分自编码聚类方法

传统的变分自编码器将样本展平后直接作为输入数据,当样本为图像数据时,采用这样的方法进行学习效果欠佳.本文提出一种卷积优化的变分自编码器,用多个可变层数的卷积网络预处理图像数据.每个卷积网络设置了不同的参数处理输入数据,再将不同层卷积结果拼接后,作为变分自编码器的输入.在变分自编码模型中增加一个类别编码器,用于计算每个样本的类别分布和原样本集中类别分布的差异,实现聚类.实验证明,本文提出的卷积优化方法相较于无优化的变分自编码器在聚类准确率上得到较大提高,生成图像的质量得到了改善,各类别生成样本在边缘及形状等方面的多样性也都有不同程度的增加.     

草图引导的选择循环推理式人脸图像修复网络

图像修复在修复老照片、消除人脸马赛克等应用中起到关键作用。针对现有深度学习人脸图像 修复方法因受干扰信息影响,存在编解码器修复效果欠佳,修复结果因概率多样性出现偏离用户预期等问题。 提出了一种草图引导的选择循环推理式人脸图像修复网络,通过设计一种选择循环推理策略,在循环网络中引 入选择机制降低干扰信息对编解码的推理影响,并在编码器和解码器之间的跳跃连接中加入基于草图的结构信 息修正模块,从而限制修复结果相对于用户期望的结构偏离。在 CelebA-HQ 数据集上的实验结果表明,该方 法在评价指标和引导生成用户期望内容方面均优于其他经典网络。在人工手绘草图上的实验结果表明,可以通 过简单的手绘方式生成用户指定的内容,具有一定的实际应用意义。     

混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度（Kullback-Leibler divergence）构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST （Modified National Institute of Standards and Technology Database）和Fashion-MNIST上评估了该网络的性能,聚类精度（accuracy,ACC）和标准互信息（normalized mutual information,NMI）指标在MNIST数据集上分别为95.86%和91%,在Fashion-MNIST数据集上分别为61.34%和62.5%,与现有方法相比性能有了不同程度的提升。结论 实验结果表明,本文网络取得了较好的聚类效果,且优于当前流行的多种聚类方法。     

基于深度生成模型的煤矿运输皮带异物检测

为了能够精准地对煤矿皮带运输机上的异物进行检出, 提出了一种基于深度生成模型的皮带异物检测方法. 首先, 利用常规的变分自编码器(variational autoencoder, VAE)对图像进行重构, 根据原始图像与重构图像之间的重构误差对图像中是否存在异物进行检出. 然后, 为了解决变分自编码器所生成的重构图像通常较为模糊的问题, 引入了生成式对抗网络(generative adversarial network, GAN), 对原始图像和重构图像进行判断, 获取更加清晰的重构图像, 以便提升异物检测精度. 最后, 将变分自编码器与生成式对抗网络进行结合, 设计一种适用于皮带异物检测的深度学习算法. 实验结果表明, 与基线方法对比, 本文方法在各评价指标上均有较好的效果.     

全局与局部属性一致的图像修复模型

目的 图像修复是计算机视觉领域的研究热点之一。基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高。针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型。方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性（structural similarity,SSIM）作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性。结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比。结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性的均值分别达到31.30 dB和90.58%。结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果。     

结构先验指导的文本图像修复模型

目的 图像修复是根据图像中已知内容来自动恢复丢失内容的过程。目前基于深度学习的图像修复模型在自然图像和人脸图像修复上取得了一定效果，但是鲜有对文本图像修复的研究，其中保证结构连贯和纹理一致的方法也没有关注文字本身的修复。针对这一问题，提出了一种结构先验指导的文本图像修复模型。方法 首先以Transformer为基础，构建一个结构先验重建网络，捕捉全局依赖关系重建文本骨架和边缘结构先验图像，然后提出一种新的静态到动态残差模块（static-to-dynamic residual block，StDRB），将静态特征转换到动态文本图像序列特征，并将其融合到编码器—解码器结构的修复网络中，在结构先验指导和梯度先验损失等联合损失的监督下，使修复后的文本笔划连贯，内容真实自然，达到有利于下游文本检测和识别任务的目的。结果 实验在藏文和英文两种语言的合成数据集上，与4种图像修复模型进行了比较。结果表明，本文模型在主观视觉感受上达到了较好的效果，在藏文和英文数据集上的峰值信噪比和结构相似度分别达到了42.31 dB，98.10%和39.23 dB，98.55%，使用Tesseract OCR （optical character recognition）识别修复后藏文图像中的文字的准确率达到了62.83%，使用Tesseract OCR、CRNN （convolutional recurrent neural network）以及ASTER （attentional scene text recognizer）识别修复后英文图像中的文字的准确率分别达到了85.13%，86.04%和76.71%，均优于对比模型。结论 本文提出的文本图像修复模型借鉴了图像修复方法的思想，利用文本图像中文字本身的特性，取得了更加准确的文本图像修复结果。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

基于上下文门卷积的盲图像修复

目前基于深度学习的图像修复方法已经取得较大地进展,其方法均是基于输入的掩模对图像的退化区域进行修复.基于此,提出了由掩模预测网络和图像修复网络组成的2阶段盲图像修复网络.整个修复过程无需输入掩模,掩模预测网络可以根据输入图像自动检测图像退化区域并生成掩模,图像修复网络根据预测掩模对输入图像的缺失部分进行修复.为了更好地...     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

深度学习图像修复方法综述

目的 图像修复是计算机视觉领域研究的一项重要内容,其目的是根据图像中已知内容来自动地恢复丢失的内容,在图像编辑、影视特技制作、虚拟现实及数字文化遗产保护等领域都具有广泛的应用价值。而近年来,随着深度学习在学术界和工业界的广泛研究,其在图像语义提取、特征表示、图像生成等方面的应用优势日益突出,使得基于深度学习的图像修复方法的研究成为了国内外一个研究热点,得到了越来越多的关注。为了使更多研究者对基于深度学习的图像修复理论及其发展进行探索,本文对该领域研究现状进行综述。方法 首先对基于深度学习图像修复方法提出的理论依据进行分析;然后对其中涉及的关键技术进行研究;总结了近年来基于深度学习的主要图像修复方法,并依据修复网络的结构对现有方法进行了分类,即分为基于卷积自编码网络结构的图像修复方法、基于生成式对抗网络结构的图像修复方法和基于循环神经网络结构的图像修复方法。结果 在基于深度学习的图像修复方法中,深度学习网络的设计和训练过程中的损失函数的选择是其重要的内容,各类方法各有优缺点和其适用范围,如何提高修复结果语义的合理性、结构及细节的正确性,一直是研究者们努力的方向,基于此目的,本文通过实验分析总结了各类方法的主要特点、存在的问题、对训练样本的要求、主要应用领域及参考代码。结论 基于深度学习图像修复领域的研究已经取得了一些显著进展,但目前深度学习在图像修复中的应用仍处于起步阶段,主要研究的内容也仅仅是利用待修复图像本身的图像内容信息,因此基于深度学习的图像修复仍是一个极具挑战的课题。如何设计具有普适性的修复网络,提高修复结果的准确性,还需要更加深入的研究。     

面向边-端协同的并行解码器图像修复方法

针对现有神经网络图像修复方法在移动终端设备上部署存在效果差、响应时间长、高能耗的问题,提出了一种面向边-端协同的并行解码器图像修复方法及计算卸载策略。结合移动边缘计算（mobile edge computing,MEC）技术边-端协同的特性,提出一种面向边-端协同的并行解码器门控卷积图像修复网络ETG-Net（edge-terminal gated convolution network）。通过边-端共享权值的方式,提升图像修复及训练效率,并保留移动终端的独立工作能力。基于计算卸载决策,将图像修复部分计算任务有选择地卸载至边缘云,进一步降低终端节点的计算时延和能耗。实验结果表明,与近年来先进的模型相比,所提模型在保证图像修复质量的同时,解决了移动终端设备上部署图像修复模型存在的问题,降低了任务的响应时延。     

多尺度生成式对抗网络图像修复算法

图像修复作为深度学习领域的一个研究热点,在人们现实生活中有着重要的意义。现有图像修复算法存在各种问题,导致视觉上无法达到人们的要求。针对现有图像修复算法精确度低、视觉一致性差以及训练不稳定等缺陷,提出了一种基于生成式对抗网络(GAN)模型的图像修复算法。该算法主要对判别器的网络结构进行改进,在全局判别器和局部判别器的基础上引入多尺度判别器。多尺度判别器在不同分辨率的图像上进行训练,不同尺度的判别器具有不同的感受野,能够引导生成器生成更全局的图像视图以及更精细的细节。针对GAN训练中经常出现的梯度消失或梯度爆炸问题,使用WGAN(Wasserstein GAN)的思想,采用EM距离模拟样本数据分布。在CelebA、ImageNet以及Place2图像数据集上对该算法的网络模型进行了训练和测试,结果显示与先前的算法模型相比,该算法提高了图像修复的精确度,能够生成更为逼真的修复图片,并且适用于多种类型图片的修复。