基于STGAN的人脸属性编辑改进模型

人脸属性编辑在美颜APP和娱乐领域有重要应用,但现有方法存在生成图像质量不高、属性编辑不够准确等问题,为此提出了一种基于选择传输生成对抗网络(Selective transfer generative adversarial networks, STGAN)的人脸属性编辑改进模型。运用潜码解耦合思想,将潜码分解为内容潜码和风格潜码单独操作,提高源域图像和目标域图像的内容编码一致性,从而提高属性编辑准确率;同时运用像素级重构损失和潜码重构损失,在总损失函数中加入像素级限制和潜码重构限制,通过互补作用提高生成图像质量。在CelebA人脸数据集和季节数据集上进行实验,该模型相比当前人脸属性编辑主流模型在定性结果和定量指标上均有提高,其中峰值信噪比和结构相似性相比STGAN模型分别提高了6.06%和1.58%。这说明该改进模型能够有效提高人脸属性编辑的性能,满足美颜APP和娱乐领域的需求。     

基于DCGANs的二维页岩图像重构方法

利用现代物理实验技术可以有效获取真实的页岩孔隙图像,但是成本高昂。采用数值模拟方法重构页岩,提出了利用深度卷积生成对抗网络重构页岩图像,且该对抗网络允许隐式描述二维图像数据集所表示的概率分布。实验结果证明,该方法能够生成与真实样本更相似的页岩二维图像。     

基于残差连接卷积神经网络的图像超分辨率重构

针对基于卷积神经网络超分辨率重构算法中存在的感受野较小、梯度信息易丢失与网络收敛较慢等问题,提出了基于残差连接卷积神经网络的图像超分辨率重构算法。通过在低分辨率空间进行图像的超分辨率重构,减少了图像预处理过程,降低了网络复杂度。利用局部和全局残差连接,对卷积网络结构和亚像素采样层进行改进,局部残差促进了网络中信息的流动,全局残差使网络只学习图像残差信息,减少了网络冗余。通过增加网络深度扩大了感受野,使网络学习到更多的重建信息。实验结果表明:本文算法的PSNR和SSIM值相较于其他算法有不同程度的提升。     

基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(Dilated Convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复.然后将粗修复结果输入细节修复网络,经空洞卷积路径和感知(Contextual Attention)卷积路径解码和反卷积后,送入三个不同尺度的判决器进行优化。在公认的图像数据集上对本文算法进行训练和测试,实验结果显示：提出方法在修复背景复杂及高分辨率图像时,能生成合理的结构和清晰的纹理细节,其主客观指标均优于对比算法。     

基于切片图像的颌面骨骼三维建模方法

基于美国可视人计划(VHP)人体切片图像数据集,选择颌面骨骼(包括颧骨与颞骨)作为三维模型重构的对象,利用商业软件Photoshop和Amira研究出一套实用的重构方法。该方法包括:图片配准、轮廓提取、相邻器官公共接触面的构建、细微组织结构的修整以及三维模型表面光顺等。不局限于颌面骨骼,该重构方法对其他组织器官的三维重构也同样适用。     

基于多尺度特征的图像描述生成模型

针对现有基于深度学习图像描述生成模型,在图像特征编码阶段,由于编码器提取的图像特征较为单一,图像信息利用不充分,造成文字对图片内容描述得不够准确、语义较模糊的问题,在VGG19基础上,改进现有模型对图像特征的编码形式,通过提取和融合图像多尺度特征的方法,获取更丰富的图像信息。在MSCOCO数据集上进行训练和测试,实验结果表明,提出的模型能够生成更加准确、完整,更有意义的图像描述语句。     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

基于ICT切片的实物原型表面重构算法研究

目的 针对层析（ICT）切片图像给出基于ICT切片的三维实体表面重建的算法。方法 首先进行切片图像的边界提取、特征识别,并采用数字曲线的新概念,放样出物体表面。结果 根据这一算法,可由已采集到的ICT切片数据来重建出三维物体的表面。结论 本文对ICT切片数据给出了比较全面的重构过程。     

基于DCGAN的印刷缺陷检测方法

近年来,深度学习被广泛应用于缺陷检测.目前方法可以检测较大的缺陷,但对于细微缺陷还是无法准确检测.针对这一问题,提出了一种基于深度卷积生成对抗网络(Deep convolu-tional generative adversarial networks,DCGAN)网络的印刷缺陷检测方法.该方法通过以下几点来提高检测精度:①在原有网络的基础上增加上采样模块,减少上采样中的损失;②提出一种自注意力机制,生成结构性更复杂和细节更准确的图像;③统计分析生成图像的噪声分布,确定最佳阈值,去除噪声,获得准确的缺陷图像.该方法加入了去噪处理,优化了网络结构,提高了DCGAN生成图像的精度.实验表明,与现有方法相比,在小于5像素的缺陷检测实验中,本方法可以使检测精度提高10％.     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题，提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型，把输入的低分辨率图像转化为高分辨率图像，并利用原始图像的特征图计算内容损失；应用判别网络判别图像的真实性并计算对抗损失，不断反馈这两种损失来更新模型；通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上，经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9，使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富，在指标和图像效果上更优。     

基于多尺度条件生成对抗网络血细胞图像分类检测方法

针对血细胞图像中白细胞样本较少和生成细胞图像细节不清晰,导致检测精度较低的问题,提出基于多尺度鉴别器的条件生成对抗网络. 该网络通过生成并添加大量逼真的白细胞图像到分类检测网络训练集的方式,实现对血细胞图像的生成和分类检测. 在现有条件生成对抗网络真假鉴别器中,引入多尺度卷积核、池化域并在通道上拼接,提升鉴别器对微观细节纹理特征和宏观几何特征的鉴别能力;引入梯度相似性损失函数,以提高生成细胞图像的亮度及边缘清晰度,提升图像的真实感. 实验证明,在图像生成阶段,增加多尺度鉴别器和梯度相似性损失函数提高了生成细胞图像的质量;在图像分类检测阶段,对比仅有真实数据训练的情况,增加细胞样本多样性使细胞分类检测的平均精度由90.4%提升至94.7%.     

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

基于条件边界平衡生成对抗网络的河流表面流速估测

针对不同流速类类间差异小而造成的分类困难问题,提出条件边界平衡生成对抗网络和多特征融合的卷积分类网络,分别进行流速图像的生成和分类. 为了达到数据增强效果,引入标签机制和验证模块实现相应类别图像数据的拟合与生成;为了加强图像不同纹理特征信息对流速估测的影响,引入多特征融合机制对所有真实样本和生成伪样本进行特征提取和流速识别,实现对差异性较小的图像的分类. 将该方法应用于实际的河流表面流速估测,结果表明,在图像生成模块中,引入的标签信息和验证机制在一定程度上能强制引导模型的数据生成方向;在图像识别模块中,引入的多特征融合机制使所提出方法相较于其他方法,在差异性较小的水流图像的识别上更具鲁棒性.     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

Reciprocal bi-directional generative adversarial network for cross-modal pedestrian re-identification

To improve the accuracy of cross-modal pedestrian re-identification,a reciprocal bi-directional generative adversarial network-based method is proposed.First,we build two generative adversarial networks to generate cross-modal heterogeneous images.Second,an associated loss is designed to pull close the distribution of features in latent space during the image translation between visible and infrared images so as to help the networks generate fake heterogeneous images that have high similarity with the real images.Finally,by concatenating the original and generated heterogeneous pedestrian images into the discriminative feature extraction network,images from different modalities can be unified into a common modality,thus suppressing the cross-modal gap.Representation learning and metric learning are utilized to achieve more discriminative pedestrian features.Comparative experiments are conducted on SYSU-MM01 and RegDB datasets to analyze the accuracy with different loss functions.Compared with other state-of-the-art cross-modal pedestrian re-identification methods,the proposed method achieves a higher accuracy and stronger robustness.     

基于生成对抗网络的对抗防御系统

针对不断更新的对抗攻击,提出一个基于生成对抗网络的防御系统.系统利用生成对抗网络不断生成新的对抗样本,反复训练模型以增强其鲁棒性.具体过程为将预先训练的卷积神经网络和外部GAN(conditional GAN:Pix2Pix)相结合,自动流水线式地推断对抗样本和干净样本之间的转换关系,并合成新的对抗样本.根据分辨得到的...     

基于生成对抗网络的图像恢复与SLAM容错研究

为了提高即时定位与地图构建（SLAM）系统的容错能力,在经典图像生成网络Pix2Pix的基础上,逐步添加深度估计网络和深度信息的输入、基于STN网络的图像重建损失以及基于图像修复网络的图像补全损失3个方面的改进. 结合双目图像的耦合关系,通过挖掘和融合多种信息,增大了信息的利用率,提高了模型的图像生成效果. 提出将生成对抗网络（GAN）技术与SLAM容错场景相结合,直接实现了感知端的容错. 在KITTI和Cityscapes数据集上进行实验,验证了改进模型的有效性. 将模型生成的图像用于双目视觉系统的重建,验证了容错思想的可行性.     

基于SK注意力残差网络的水下图像增强

针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题，提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构，引入残差模块，减少编码器和解码器之间的特征丢失，增强了图像细节和颜色.为了使网络能适应不同尺度的特征图提取图像关键信息，该方法在残差模块后添加SK注意力机制，采用参数修正线性单元来提高网络的拟合能力.将本文方法分别在真实和合成的水下图像数据集中进行验证，采用传统方法和深度学习的方法进行主客观评价.在主观效果分析中发现，本文方法增强后的图像颜色、关键信息和细节特征都有很大提升.在客观评价指标中发现，本文方法指标值均高于现有的水下图像增强算法，验证了该算法的有效性.