多尺度特征融合的双判别器残差生成对抗网络

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。     

融合VAE和StackGAN的零样本图像分类方法

零样本分类算法旨在解决样本极少甚至缺失类别情况下的分类问题。随着深度学习的发展,生成模型在零样本分类中的应用取得了一定的突破,通过生成缺失类别的图像,将零样本图像分类转化为传统的基于监督学习的图像分类问题,但生成图像的质量不稳定,如细节缺失、颜色失真等,影响图像分类准确性。为此,提出一种融合变分自编码(variational auto-encoder, VAE)和分阶段生成对抗网络(stack generative adversarial networks, StackGAN)的零样本图像分类方法,基于VAE/GAN模型引入StackGAN,用于生成缺失类别的数据,同时使用深度学习方法训练并获取各类别的句向量作为辅助信息,构建新的生成模型stc-CLS-VAEStackGAN,提高生成图像的质量,进而提高零样本图像分类准确性。在公用数据集上进行对比实验,实验结果验证了本文方法的有效性与优越性。     

多判别器循环生成对抗网络的素描人脸合成

素描人脸合成在娱乐和刑侦领域具有重要应用价值。为了解决传统素描人脸合成方法生成图像面部细节模糊,缺失真实感等问题,改进了CycleGAN网络结构,提出一种基于多判别器循环生成对抗网络的素描人脸合成方法。该方法选取残差网络作为生成网络模型,在生成器隐藏层中增加多个判别器,提高网络对生成图像细节特征的提取能力;并建立了重构误差约束映射关系,最小化生成图像与目标图像之间的距离。通过在CUHK和AR人脸数据库中的对比实验,证明了相比于原始CycleGAN框架该方法性能有明显提升;相比于目前领先的方法,所提方法生成的素描图像细节特征更清晰,真实感更强。     

基于PolyLoss的StarGAN图像样本自生长研究

在深度学习模型训练中,提高输入样本数量能够有效解决样本不均衡和训练过拟合问题。为更好地处理数据集的小样本场景,提出了一种基于PolyLoss的StarGAN小样本图像增强方法（PolyStarGAN）。相比传统样本增强方法,该网络具有更高的样本学习、生成能力。该方法使用训练生成器和判别器提取图像的特征信息,生成图像与输入图像的内容和结构一致。通过计算峰值信噪比、结构相似性与视觉信息保真度3个方面评估PolyStarGAN网络生成结果;在ResNet50目标识别模型训练中验证数据集质量。实验结果表明,提出的模型对不同场景图像的增强效果较好,提高了自生长数据集的ResNet50模型识别精度,可为样本自生长中的小样本问题提供参考方案与技术支持。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于多判别器的多波段图像自监督融合方法

针对多波段图像融合领域利用深度学习方法进行融合时过度依赖标签图像导致融合结果受限的问题,文中提出了一种基于多判别器生成对抗网络的多波段图像自监督融合方法.首先,设计并构建反馈密集网络作为特征增强模块,分别提取多波段图像特征并进行特征增强;其次,将多波段图像特征增强结果合并连接,并通过设计的特征融合模块重构融合图像;最后,将初步融合结果与各波段源图像分别输入判别网络,通过多个判别器的分类任务来不断优化生成器,使生成器在输出最终结果的同时保留多个波段图像的特征,以达到图像融合的目的.实验结果表明,与当前代表性的融合方法相比,所提方法具有更好的清晰度和更多信息量,细节信息更丰富,更符合人眼的视觉特性.     

基于改进生成对抗网络的图像自适应隐写模型

针对现有图像隐写模型存在网络训练不易收敛、梯度爆炸且生成样本质量差等问题,提出一种基于改进生成对抗网络的图像自适应隐写模型SWGAN-GP.将生成图像作为载体,使用HUGO自适应隐写算法进行信息隐藏;在损失函数中加入梯度惩罚,在网络结构中引入注意力机制,设置双判别器与生成器进行对抗训练.实验结果表明,该方法生成图像的IS值、PSNR值等均有提高,判别器分类效果明显改善.该模型可以提高收敛速度,使网络训练更稳定,载密图像更具安全性,有效抵御隐写分析算法的检测.     

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点。首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等进行了分析和总结;然后,简单介绍了零样本图像分类常用数据集和评估方法,并对典型零样本图像分类方法进行了性能比较;接着,指出了现有零样本图像分类中存在的领域漂移、枢纽点和语义鸿沟等问题及相应的解决思路;最后,对零样本图像分类未来发展趋势和研究热点,如判别性区域的准确定位、生成高质量不可见类视觉特征、广义零样本图像分类等进行了探讨。     

生成对抗网络研究综述

自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点.GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最优效果.GAN模型的提出无疑是很新颖的,但也存在很多缺点,比如梯度消失问题、模式崩溃等.随着研究的深入,GAN不断优化扩展,GAN的衍生模型也层出不穷.GAN可应用于不同领域,主要为计算机图像和视觉领域,在图像领域有着突出的效果,能生成高分辨率逼真的图像,能对图像进行修复、风格迁移等,也能生成视频并进行预测等.GAN也能生成文本,可以进行对话生成、机器翻译、语音生成等.同时,GAN在其他领域也有涉及,比如生成音乐、密码破译等.但是GAN在其他领域的应用效果并不显著,那么,如何提高GAN在其他领域的应用效果将值得深入研究,使生成对抗网络在人工智能方面大放异彩.     

一种基于pix2pix改进的工业缺陷数据增强方法

基于深度学习的目标检测算法在工业检测中应用广泛,为解决工业缺陷数据不足的问题,提出了一种基于pix2pix改进的缺陷数据增强方法。从加强生成器和判别器对图像中缺陷区域的注意力出发,针对pix2pix进行了如下改进：（1）仅将整幅图像的缺陷区域作为判别器的输入,以此提升生成器对缺陷区域的注意力,同时,判别器采用了更小的卷积核提取缺陷区域的特征;（2）仅将图像中所有缺陷区域的平均生成对抗损失作为该图像的生成对抗损失,使网络更加关注缺陷区域的特征学习。在工业LED缺陷数据集上的实验结果表明,本方法生成的缺陷具有更逼真的视觉效果和更低的FID指数,同时有效提升了基于RetinaNet算法的缺陷检测精度。     

自监督对比特征学习的多模态乳腺超声诊断

超声图像的乳腺癌自动诊断具有重要的临床价值。然而,由于缺乏大量人工标注数据,构建高精度的自动诊断方法极具挑战。近年来,自监督对比学习在利用无标签自然图像产生具有辨别性和高度泛化性的特征方面展现出巨大潜力。然而,采用自然图像构建正负样本的方法在乳腺超声领域并不适用。为此,本文引入超声弹性图像(elastography ultrasound, EUS),利用超声图像的多模态特性,提出一种融合多模态信息的自监督对比学习方法。该方法采用同一病人的多模态超声图像构造正样本;采用不同病人的多模态超声图像构建负样本;基于模态一致性、旋转不变性和样本分离性来构建对比学习的目标学习准则。通过在嵌入空间中学习两种模态的统一特征表示,从而将EUS信息融入模型,提高了模型在下游B型超声分类任务中的表现。实验结果表明本文提出的方法能够在无标签的情况下充分挖掘多模态乳腺超声图像中的高阶语义特征,有效提高乳腺癌的诊断正确率。     

Fine-Grained Pornographic Image Recognition with Multi-Instance Learning

Image has become an essential medium for expressing meaning and disseminating information. Many images are uploaded to the Internet, among which some are pornographic, causing adverse effects on public psychological health. To create a clean and positive Internet environment, network enforcement agencies need an automatic and efficient pornographic image recognition tool. Previous studies on pornographic images mainly rely on convolutional neural networks (CNN). Because of CNN’s many parameters, they must rely on a large labeled training dataset, which takes work to build. To reduce the effect of the database on the recognition performance of pornographic images, many researchers view pornographic image recognition as a binary classification task. In actual application, when faced with pornographic images of various features, the performance and recognition accuracy of the network model often decrease. In addition, the pornographic content in images usually lies in several small-sized local regions, which are not a large proportion of the image. CNN, this kind of strong supervised learning method, usually cannot automatically focus on the pornographic area of the image, thus affecting the recognition accuracy of pornographic images. This paper established an image dataset with seven classes by crawling pornographic websites and Baidu Image Library. A weakly supervised pornographic image recognition method based on multiple instance learning (MIL) is proposed. The Squeeze and Extraction (SE) module is introduced in the feature extraction to strengthen the critical information and weaken the influence of non-key and useless information on the result of pornographic image recognition. To meet the requirements of the pooling layer operation in Multiple Instance Learning, we introduced the idea of an attention mechanism to weight and average instances. The experimental results show that the proposed method has better accuracy and F1 scores than other methods.     

基于双注意力模型和迁移学习的Apex帧微表情识别

微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用“留一交叉验证法”进行实验,结果表明本文方法相比一些现有的方法识别准确率及 ${F_1}$ 值更高。     

基于深度学习和迁移学习的水果图像分类

图像识别作为深度学习领域内的一项重要应用,水果图像的分类识别在智慧农业以及采摘机器人等方面具有重要应用。针对以往传统图像分类算法存在泛化能力差、准确率不高等问题,提出一种在TensorFlow框架下基于深度学习和迁移学习的水果图像分类算法。该算法采用Inception-V3的部分模型结构对水果图像数据进行特征提取,采用Softmax分类器对图像特征进行分类,并通过迁移学习方式进行训练得到迁移训练模型。测试结果表明,该算法与传统水果分类算法对比,具有较高识别准确率。     

基于改进DenseNet的牛眼图像特征提取方法

针对牛眼图像特征提取过程中由于梯度消失和过拟合造成的识别准确率较低的问题,提出一种基于改进DenseNet的牛眼图像特征提取方法。首先采用缩放指数线性单元（SeLU）激活函数防止网络梯度消失;其次通过DropBlock随机丢弃牛眼图像的特征块,从而防止过拟合,并加强网络的泛化能力;最后将改进后的稠密层进行叠加以组成改进的DenseNet（Dense convolutional Network）。在自建牛眼图像数据集上进行特征信息提取识别实验的结果表明,改进后的DenseNet识别准确率、精确率和召回率分别为97.47%、98.11%和97.90%;较改进前的网络在识别准确率、精确率和召回率上分别提升了2.52个百分点、3.32个百分点和2.94个百分点,可见改进后的网络具有较高的精度与鲁棒性。     

基于传统方法与深度学习方法的图片相似度算法比较

图片相似度比对作为计算机视觉的一个研究方向, 具有广泛的应用前景, 例如人脸识别、行人重识别和目标跟踪等. 然而, 目前有关图片相似度算法的总结和归纳相对较少, 并且将其应用在实际工业生产中也存在挑战. 本文总结了传统图像处理算法和深度学习图像处理算法在图片相似度比对方面的原理与表现, 旨在选取最佳的算法用于药品图片相似度比对的场景中. 在传统图像处理算法中, ORB算法在测试集上表现最佳, 准确率为93.09%; 在深度学习算法中, 采用改进的孪生网络结构、发明了一种标签生成法、设置特定的数据增强策略并增加一个特征面分类网络, 从而提高了训练效率和准确率. 最终的测试结果显示, 改进的孪生网络表现最佳, 可以实现98.56%的准确率和27.80次/s的推理速度. 综上所述, 采用改进的孪生网络算法更适用于药品图片的快速比对, 并且有望在未来的医药行业中得到广泛应用.     

改进的VGG网络的二极管玻壳图像缺陷检测

针对于目前二极管玻壳缺陷检测中大多采用人工特征提取,识别准确率不高的问 题,提出一种改进的 VGG 网络的二极管玻壳图像缺陷检测方法。首先对玻壳图像进行预处理, 同时利用原始大样本数据集对卷积神经网络结构 VGG-19 模型进行预训练得到预训练模型,然 后通过迁移学习的方法将预训练模型中的部分卷积、池化等层权重参数迁移到改进网络模型的 固定层中,非固定层用于模型改进,并将网络的全连接层结构重新进行超参数设置和优化,最 后使用预处理后的玻壳图像数据集对改进模型进行训练,得到非固定卷积层和新的全连接层的 参数和权重。在二极管玻壳数据集进行测试,实验结果表明,该方法能有效提高二极管玻壳图 像分类识别准确率,达到了 98.3%。     

适合跨域目标检测的雾霾图像增强

目的 室外监控在雾霾天气所采集图像的成像清晰度和目标显著程度均会降低,当在雾霾图像提取与人眼视觉质量相关的自然场景统计特征和与目标检测精度相关的目标类别语义特征时,这些特征与从清晰图像提取的特征存在明显差别。为了提升图像质量并且在缺乏雾霾天气目标检测标注数据的情况下提升跨域目标检测效果,本文综合利用传统方法和深度学习方法,提出了一种无监督先验混合图像特征级增强网络。方法 利用本文提出的传统先验构成雾气先验模块;其后连接一个特征级增强网络模块,将去散射图像视为输入图像,利用像素域和特征域的损失实现场景统计特征和目标类别语义相关表观特征的增强。该混合网络突破了传统像素级增强方法难以表征抽象特征的制约,同时克服了对抗迁移网络难以准确衡量无重合图像域在特征空间分布差异的弱点,也减弱了识别算法对于低能见度天候采集图像标注数据的依赖,可以同时提高雾霾图像整体视觉感知质量以及局部目标可识别表现。结果 实验在两个真实雾霾图像数据集、真实图像任务驱动的测试数据集(real-world task-driven testing set, RTTS)和自动驾驶雾天数据集(foggy driving dense)上与最新的5种散射去除方法进行了比较,相比于各指标中性能第2的算法,本文方法结果中梯度比指标R值平均提高了50.83%,属于感知质量指标的集成自然图像质量评价指标(integrated local natural image quality evaluator, IL-NIQE)值平均提高了6.33%,属于跨域目标检测指标的平均精准率(mean average precision, MAP)值平均提高了6.40%,平均查全率Recall值平均提高了7.79%。实验结果表明,本文方法结果在视觉质量和目标可识别层面都优于对比方法,并且本文方法对于高清视频的处理速度达50帧/s,且无需标注数据,因而在监控系统具有更高的实用价值。结论 本文方法可以同时满足雾霾天候下对采集视频进行人眼观看和使用识别算法进行跨域目标检测的需求,具有较强的应用意义。     

一种基于联合表示的图像分类方法

在图像分类识别中,对于同一目标的不同图像,其训练样本和测试样本在同一位置的像素强度通常不同,这不利于提取目标图像的显著特征。这里给出一种基于稀疏表示的联合表示的图像分类方法,此方法首先利用相邻列之间的关系得到原始图像对应的虚拟图像,利用虚拟图像提高图像中中等强度像素的作用,降低过大或过小强度像素对图像分类的影响;然后用同一个目标的原始图像和虚拟图像一起表示目标,得到目标图像的联合表示;最后利用联合表示方法对目标分类。针对不同目标图像库的实验研究表明,给出的联合方法优于利用单一图像进行分类的方法,而且本方法能联合不同的表示方法来提高图像分类正确率。