基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成.为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,...     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

基于多模态输入的对抗式视频生成方法

视频生成是计算机视觉和多媒体领域一个重要而又具有挑战性的任务.现有的基于对抗生成网络的视频生成方法通常缺乏一种有效可控的连贯视频生成方式.提出一种新的多模态条件式视频生成模型.该模型使用图片和文本作为输入,通过文本特征编码网络和运动特征解码网络得到视频的运动信息,并结合输入图片生成连贯的运动视频序列.此外,该方法通过对输入图片进行仿射变换来预测视频帧,使得生成模型更加可控、生成结果更加鲁棒.在SBMG(single-digit bouncing MNIST gifs),TBMG(two-digit bouncing MNIST gifs)和KTH(kungliga tekniska hgskolan human actions)数据集上的实验结果表明：相较于现有的视频生成方法,生成结果在目标清晰度和视频连贯性方面都具有更好的效果.另外定性评估和定量评估(SSIM(structural similarity index)与PSNR(peak signal to noise ratio)指标)表明提出的多模态视频帧生成网络在视频生成中起到了关键作用.     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

基于生成对抗网络的动漫头像生成研究

在深度学习中,数据是三大核心要素之一.尤其在某些领域,数据的稀有、人工标注造成大量人力的浪费、数据好坏对产出结果的影响,都显现出数据的重要性.鉴于在动漫领域中,人物的制作需要花费大量的人力和时间,所以从动漫头像出发,基于生成对抗网络,结合编码器、残差网络、解码器,经过编码器改变图像的维度,最后利用解码器将提取到的特征数...     

基于非局部注意力生成对抗网络的视频异常事件检测方法

针对异常事件的不确定性,文中选择使用未来帧预测的方式对视频进行异常事件检测。通过正常样本对预测模型进行训练,使模型能够准确预测不包含异常事件的未来帧,但对于包含未知事件的视频帧,模型无法进行预测,利用生成对抗网络以及表观约束和运动约束对用于预测的生成器模型进行训练。为了减少相关目标特征丢失,提出了非局部注意力U型网络生成器(Nonlocal Attention Unet Generator, NA-UnetG)模型,提升了生成器的预测精度,同时提升了视频异常事件检测的准确度。通过公开数据集CUHK Avenue和UCSD Ped2对所提方法进行实验验证,实验结果表明,所提方法的AUC指标优于其他方法,AUC分别达到了83.4%和96.3%。     

基于时空生成对抗网络的视频修复

针对现有视频修复中存在的修复结果语义信息不连续问题,提出基于时空生成对抗网络的修复方法,其包含2种网络模型:单帧修复模型和序列修复模型.单帧修复模型采用单帧堆叠式生成器和空间判别器,实现对起始帧的高质量空间域缺损修复.在此基础上,序列修复模型针对后续帧的缺损问题,采用序列堆叠式生成器和时空判别器,实现时空一致的视频修复.在UCF-101和FaceForensics数据集上的实验结果表明,该方法能够大幅提升修复视频的时空连贯性,与基准方法相比,在峰值信噪比、结构相似性、图像块感知相似性和稳定性误差等性能指标上均表现更优.     

基于条件信息卷积生成对抗网络的图像识别

传统的图像识别方法需要大量有标签样本进行训练，且模型训练难以达到稳定。针对这些问题，结合条件生成网络和信息最大化生成网络的结构优势建立了条件信息卷积生成网络（C-Info-DCGAN）。模型增加图像的类别信息和潜在信息作为输入数据，然后利用Q网络去更好地发挥类别信息和潜在信息对训练的引导作用，并且利用深度卷积网络来加强对图像特征的提取能力。实验结果表明，该方法能够加快模型训练收敛速度，并有效提高图像识别的准确率。     

基于深度卷积生成对抗网络的半生成式视频隐写方案

生成式隐写通过生成足够自然或真实的含密样本来隐藏秘密消息,是信息隐藏方向的研究热点,但目前在视频隐写领域的研究还比较少。结合数字化卡登格的思想,提出一种基于深度卷积生成对抗网络（DCGAN）的半生成式视频隐写方案。该方案中,设计了基于DCGAN的双流视频生成网络,用来生成视频的动态前景、静态后景与时空掩模三个部分,并以随机噪声驱动生成不同的视频。方案中的发送方可设定隐写阈值,在掩模中自适应地生成数字化卡登格,并将其作为隐写与提取的密钥;同时以前景作为载体,实现信息的最优嵌入。实验结果表明,该方案生成的含密视频具有良好的视觉质量,Frechet Inception距离（FID）值为90,且嵌入容量优于现有的生成式隐写方案,最高可达0.11 bpp,能够更高效地传输秘密消息。     

基于生成对抗网络的5G网络流量预测方法

无线接入用户的需求呈爆炸式增长,5G网络流量呈指数级增长且呈现出多样性、异构性的趋势,使得网络流量预测面临诸多挑战.针对5 G网络部署宏基站、微基站与微微基站的多层架构,文中提出基于生成对抗网络(GAN)的流量预测方法.首先,生成网络分别捕捉流量时空特征与基站类型特征,将拼接特征输入复合残差模块以生成预测流量,并将生成...     

基于密集卷积生成对抗网络的图像修复

图像修复是一项利用缺损图像中已知信息对缺损区域信息进行估计修复的技术。针对大面积语义信息缺失的图像进行修复时,若训练数据集较小且图像背景相对复杂,则基于生成模型的修复结果常出现模糊、伪影和视觉相似度差等问题。针对上述问题,文中提出了一种基于密集卷积生成对抗网络的图像修复算法。该算法采用生成对抗网络作为图像修复的基本框架。首先,利用密集卷积块构建具有编解码结构的生成网络,不但加强了图像特征的提取,提高了图像修复能力,而且避免了深度增加引起的梯度消失问题。其次,在编码和解码结构之间引入跳跃连接,解决了网络层间信息传递丢失的问题。然后,在网络优化过程中,结合重建损失、对抗损失和TV损失来训练网络模型,增强了网络稳定性。最后,分别在CelebA和Car两个数据集上进行实验,所提算法的修复结果在视觉效果、峰值信噪比PSNR和结构相似度SSIM 3个方面均优于3种代表性图像修复算法,其有效性得到验证。     

基于条件生成对抗网络的图像描述生成方法

图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks, CNN)和长短期记忆网络(long short-term memory, LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditionalgenerativeadversarial network, CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.     

基于动态卷积的多模态脑MR图像生成

近年来, 通过自动生成方法获取多模态MR图像得到了广泛研究, 但仍难以通过一种模态直接生成其他各类模态的图像. 针对该问题, 本文提出了动态生成对抗网络. 新模型通过将生成对抗网络与动态卷积相结合, 同时加入任务标签这一条件, 实现从一种MR模态同时生成其他3种MR模态. 同时为了提高图像生成质量, 进一步提出了多尺度判别策略, 通过融合多个尺度来提升判别效果. 基于BRATS19数据集进行生成验证, 实验结果表明, 新方法不但可以同时生成多种模态的数据, 而且提高了生成图像的质量.     

基于条件生成对抗网络的视频显著性目标检测

针对传统的显著性检测方法存在着流程复杂,计算成本高,特征学习不足等问题,受生成对抗网络以及弹性网络的启发,提出一种基于条件生成对抗网络(c GAN)与L1,L2范式联合正则的视频显著性目标检测方法。方法需训练2个模型:生成器和判别器。生成器尽可能生成与真实值一样的显著图来迷惑判别器,使其难以辨别预测的显著图的真实性。判别器则尽可能准确地区分"假"显著图。实验表明:所提方法在两个公开视频数据集上的检测效果都超过了当前主流方法,且算法流程简单,运算效率更高。     

基于条件深度卷积生成对抗网络的视网膜血管分割

视网膜血管的分割帮助医生对眼底疾病进行诊断有着重要的意义.但现有方法对视网膜血管的分割存在着各种问题,例如对血管分割不足,抗噪声干扰能力弱,对病灶敏感等.针对现有血管分割方法的缺陷,本文提出使用条件深度卷积生成对抗网络的方法对视网膜血管进行分割.我们主要对生成器的网络结构进行了改进,在卷积层引入残差模块进行差值学习使得网络结构对输出的改变变得敏感,从而更好地对生成器的权重进行调整.为了降低参数数目和计算,在使用大卷积核之前使用小卷积核对输入特征图的通道数进行减半处理.通过使用U型网络的思想将卷积层的输出与反卷积层的输出进行连接从而避免低级信息共享.通过在DRIVE和STARE数据集上对本文的方法进行了验证,其分割准确率分别为96.08%、97.71%,灵敏性分别达到了82.74%、85.34%, F度量分别达到了82.08%和85.02%,灵敏度比R2U-Net的灵敏度分别高了4.82%,2.4%.     

基于生成对抗网络的灰度照片上色方法

为了黑白和灰度老旧照片的上色效果,论文提出了一种改进后的生成对抗网络的图像上色方法.与传统的上色方法相比,使用机器学习的方法提取图像的色彩特征,避免了人工特征提取的时间成本,提高了图像上色的效率.加快了上色的速度.实验针对收集的图像数据集,通过对目标函数添加L1正则化约束条件提高图像上色的效果.在训练好的网络模型后,能...     

基于半监督深度生成对抗网络的图像识别方法

基于生成对抗网络的图像识别方法拥有很高的识别率,但训练时需要大量有标签样本,在有标签样本较少的情况时识别效果不佳。针对这个问题,结合深度卷积生成对抗网络和半监督生成对抗网络的特点建立半监督深度生成对抗网络。根据有标签样本和无标签样本分布,模型生成拟合真实分布的样本输入并训练分类器,增加了训练样本数从而提升识别率。将模型优化调整并进行图像识别实验,结果表明,该方法仅用少量有标签样本即可实现准确的图像识别。