基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(Dilated Convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复.然后将粗修复结果输入细节修复网络,经空洞卷积路径和感知(Contextual Attention)卷积路径解码和反卷积后,送入三个不同尺度的判决器进行优化。在公认的图像数据集上对本文算法进行训练和测试,实验结果显示：提出方法在修复背景复杂及高分辨率图像时,能生成合理的结构和清晰的纹理细节,其主客观指标均优于对比算法。     

基于生成对抗网络的低光照图像增强算法

传统的基于深度学习的方法在低照度图像增强中已经有比较好的发挥,但是这些方法通常需要成对的数据集进行训练,而相对应的数据集正是目前难以收集的。目前的增强方法在真实的低照度图像增强中也会产生增强效果不完美和出现图像噪声等问题。针对这些问题,设计了无监督生成对抗网络,使其可以不用配对训练数据集进行训练,并且把网络分解为注意力机制网络和增强网络2个子网络。通过注意力机制网络把低照度图像中的低光区域和亮光区域区分开,并使用残差增强网络结合全局局部判别器,对图像进行增强。实验结果表明,本文的方法在低光照图像增强方面优于Enlighten-GAN、Cycle-GAN等方法。     

基于深度卷积生成对抗网络的不平衡大数据监测与诊断

针对不平衡数据集的在线监测与诊断问题,提出一种基于深度卷积生成对抗网络的算法模型.通过生成器与判别器之间的不断对抗,实现对数据训练网络参数的调整和优化,并得到近似分布数据,用以矫正数据集的不平衡性.利用深度卷积网络的转置卷积层替代池化层,在检测空间内实现上下同步采样,同时避免反复选择数据训练层参数而带来高成本计算.生成...     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题，提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型，把输入的低分辨率图像转化为高分辨率图像，并利用原始图像的特征图计算内容损失；应用判别网络判别图像的真实性并计算对抗损失，不断反馈这两种损失来更新模型；通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上，经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9，使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富，在指标和图像效果上更优。     

基于生成对抗网络的图像超分辨率方法

为了解决生成对抗网络(Generative adversarial network, GAN)训练不稳定问题,降低模型复杂度,加快网络学习速率,提高超分辨率图像的视觉效果和重建速率,提出了一种基于改进生成对抗网络的图像超分辨率方法。该方法以改进的生成对抗网络为模型,通过粗粒度主体内容和细粒度细节边缘结合的方式提取图像特征,利用线性组合的方式重建超分辨率图像,采用Wasserstein距离优化生成对抗网络。实验结果表明:该方法能够生成视觉效果良好的超分辨率图像,在Set5、Set14等测试集上,其主观视觉评价和客观量化指标(PSNR、SSIM)都优于SRGAN方法。该方法通过重新设计网络模型,使得特征提取更为全面,网络训练更加充分,有助于提高超分辨率图像重建速度,提高图像质量。     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

基于循环生成对抗网络的学习型光学图像加密方案

为克服光学图像加密方法受光学器件性能限制和随机相位掩膜板制造工艺复杂的问题,提出了一种基于循环生成对抗网络(CycleGAN)的学习型光学图像加密方案。首先,使用经典双随机相位编码加密明文样本图像,构造出明文图像-密文图像训练集。然后,将其作为循环生成对抗网络的输入,自动学习光学图像加密的加密特性,训练得到光学图像加密学习模型。最后,利用仿真实验对使用CycleGAN训练的加密模型生成的图像进行加密解密性能测试。数据分析表明,该模型能够有效保护图像信息的安全和较好地恢复密文图像,学习型光学加密模型具有加密性能不受光学加密器件限制的优点,可以实现批量图像的快速加密。     

基于改进生成对抗网络的飞参数据异常检测方法

针对民用飞行器安全性、可靠性要求严苛,实际民航运营中飞行参数的异常样本稀少,整体样本不平衡且缺少标注的问题,研究深度学习与生成对抗网络技术,提出基于改进生成对抗网络的飞参数据飞行级异常检测方法. 该方法不依赖样本数量与标签,实现无监督学习的检测方法. 针对飞参数据,输入正常数据样本,应用易收敛的WGAN-GP改进型生成对抗网络模型,模拟生成正常数据样本,计算输入数据与模拟正常数据的巴氏距离,实现对异常数据的检测. 通过美国国家航空航天局模拟飞参数据的人工合成数据集以及真实运营环境下采集的快速存取记录器数据构建的飞参数据集,开展试验验证. 结果表明,与常用无监督模型相比,提出方法在部分异常检测性能指标上有显著提升.     

基于深度学习的洗衣机异常音检测

基于卷积神经网络框架,提出一种洗衣机异音识别模型,根据卷积神经网络显著特征提取能力和平移不变性,学习洗衣机的异音特征,实现生产线洗衣机的异音自动智能识别。给出完整的过程解决训练数据集的建立、数据样本不平衡等问题。提出一种用于数据增强的网络模型——音频深度卷积生成对抗网络解决训练样本的稀缺性问题。该模型对传统的深度卷积生成对抗网络进行改进,以更好地适应工业音频的生成。利用该模型能够对原始数据进行扩展,生成洗衣机异音增强数据集,在该数据集的基础上进行卷积神经网络训练,经测试准确率达到0.999。利用添加背景噪声信号的数据集测试洗衣机异音识别模型的泛化能力,正确识别率达到0.902,表明该网络在识别洗衣机异音方面具有良好的鲁棒性。     

基于多尺度条件生成对抗网络血细胞图像分类检测方法

针对血细胞图像中白细胞样本较少和生成细胞图像细节不清晰,导致检测精度较低的问题,提出基于多尺度鉴别器的条件生成对抗网络. 该网络通过生成并添加大量逼真的白细胞图像到分类检测网络训练集的方式,实现对血细胞图像的生成和分类检测. 在现有条件生成对抗网络真假鉴别器中,引入多尺度卷积核、池化域并在通道上拼接,提升鉴别器对微观细节纹理特征和宏观几何特征的鉴别能力;引入梯度相似性损失函数,以提高生成细胞图像的亮度及边缘清晰度,提升图像的真实感. 实验证明,在图像生成阶段,增加多尺度鉴别器和梯度相似性损失函数提高了生成细胞图像的质量;在图像分类检测阶段,对比仅有真实数据训练的情况,增加细胞样本多样性使细胞分类检测的平均精度由90.4%提升至94.7%.     

基于CycleGAN的非配对人脸图片光照归一化方法

针对人脸识别过程中光照对识别结果的影响问题,提出了一种基于CycleGAN的光照归一化方法.使用了生成对抗式的网络结构,利用图像翻译的原理,将较亮图片的光照风格迁移至较暗图片,同时保持原人脸表面平滑且结构基本不变.使用非配对的数据集,无需人工标注标签,简化了数据准备阶段的工作,达到了利用无监督的深度学习方法去除图片光照影响的目的.最后用训练好的模型处理CroppedYale测试集,比较处理前后的人脸识别准确率.实验证明,本文方法具有较强的降低人脸光照对识别率影响的能力且基本不改变人脸结构,有利于提高人脸识别的准确率.     

基于改进生成对抗网络的图像数据增强方法

为了提高机器学习模型的精确度，提出基于数据分布拟合、生成式对抗神经网络和图像超分辨率重建的图像数据增强方法.该方法将最大似然估计和采样算法生成的符合原始数据分布的二维噪声用于对抗训练，克服了在生成模型中传统图像噪声输入随意的问题；采用逐层训练方式生成高分辨率图像，改进高分辨率图像映射困难、参数冗余的缺点.以轴承滚子表面灰度图像数据增强为例，验证所提方法的有效性.研究结果表明，所提方法生成的图像质量更优，相比传统方法生成的图像峰值信噪比提高13.07%，结构相似性提高32.40%，弗雷歇初始距离降低37.58%，且数据增强后的模型平均精确度提升7.89%.     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

基于强化学习的三指灵巧手抓取方法研究

为了实现对圆锥等特殊物品的抓取,本文提出了一种基于强化学习的三指灵巧手机器人抓取方法.本文使用DenseNet-121网络实现了图像的分类,使用ImageNet数据集进行预训练,以解决数据集较少时易出现过拟合的问题;并基于强化学习中的Q-Learning算法,在完全卷积网络中进行端到端的训练,学习视觉运动策略,最后在少量数据集上测试算法.实验结果表明,使用三指灵巧手能够有效抓取圆锥、圆球等物体;同时,该方法训练生成的模型有效建立了像素图像数据与机器人执行运动抓取动作之间的映射关系,根据这种映射关系选出的最优Q值,提高了抓取成功率.     

基于迁移学习的少样本朝鲜语古籍文字的识别方法

为解决少样本朝鲜语古籍文字识别精度低的问题,提出了一种基于迁移学习的少样本文字识别方法.首先提出了一种结合传统数据增强和条件深度卷积生成对抗网络的数据增强方法,以此扩充朝鲜语古籍文字图像的训练样本数.其次,将富样本集预训练得到的模型迁移到少样本数据集的学习任务中,以此实现少样本的朝鲜语古籍文字识别.实验结果表明,提出的数据增强方法能够满足模型预训练和少样本的学习要求,且VGG16、ResNet18和ResNet50 3种网络模型在测试集上均获得良好的识别性能,其中ResNet50的识别准确率最高(99.72%).因此,该方法可有效解决小样本的朝鲜语古籍文字识别问题,并可为其他语种的小样本文字识别提供参考.     

生成式对抗网络的图像超分辨率重建

为了提高图像生成效果,减少高频信息损失,文中提出了一种基于深度学习的生成式对抗网络模型结构,实现单幅图像超分辨率重建。文中在SRGAN方法的基础上修改了网络结构、残差网络和卷积参数,采用DIV2K数据集进行网络模型训练,利用峰值信噪比和结构相识性两种评价标准对生成的图片质量进行测试与评价。实验结果表明,相较于SRGAN方法生成的高分辨率图像,文中方法生成的图像视觉效果更好、纹理更清晰,具有更好的客观和主观评价。     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

基于半监督级联网络的高质量医学图像集增强

应用于医学图像处理的深度神经网络在训练阶段需要大量高质量图像,因此,在医学图像数据量有限的情况下,网络性能会受到局限。虽然现有的基于生成对抗网络 ＧＡＮ 的增广方法能显著增加图像的数量,但是存在合成图临床表征不准确和缺乏多样性等问题。为解决上述问题,提出了一种新颖的基于半监督学习的多输入多分辨率多模板的生成对抗网络。多通道的输入分别为模型的训练提供了基于监督学习和无监督学习的优化目标;多分辨率级联策略降低了直接生成高分辨率医学图像的难度;多类别的参考模板为各通道及各分辨率尺度上的训练提供更准确的真实医学图像临床表征;引入了过渡机制和稠密残差块,提升了模型训练的稳定性。实验结果表明：相较于其他基于 ＧＡＮ 的生成模型,该网络模型能生成更高质量、更具多样性的医学图像。     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

基于生成对抗网络的图像恢复与SLAM容错研究

为了提高即时定位与地图构建（SLAM）系统的容错能力,在经典图像生成网络Pix2Pix的基础上,逐步添加深度估计网络和深度信息的输入、基于STN网络的图像重建损失以及基于图像修复网络的图像补全损失3个方面的改进. 结合双目图像的耦合关系,通过挖掘和融合多种信息,增大了信息的利用率,提高了模型的图像生成效果. 提出将生成对抗网络（GAN）技术与SLAM容错场景相结合,直接实现了感知端的容错. 在KITTI和Cityscapes数据集上进行实验,验证了改进模型的有效性. 将模型生成的图像用于双目视觉系统的重建,验证了容错思想的可行性.