基于判别器反馈的零样本图像分类方法

零样本学习(zero-shot learning, ZSL)致力于在训练期间缺乏不可见类数据的情况下，仍能达到对不可见类别分类的目的。目前在生成式方法中，基于联合生成模型VAEGAN的零样本学习是一个研究热点。在此基础上，提出了一个基于判别器反馈VAEGAN(discriminator feedback VAEGAN,DF-VAEGAN)的零样本图像分类方法。该方法在判别器部分引入了一个反馈模块，在训练阶段可以提升模型整体的性能，在特征生成阶段可以结合生成器共同提升特征生成质量，最终通过高质量的合成特征训练分类器，提高分类准确率。本文还通过解码器重建属性特征，并使用循环一致性损失确保生成特征具备语义一致性。传统ZSL和广义零样本(generalized zero-shot learning, GZSL)图像分类实验展示了本文方法在5个经典数据集上均优于现有方法，在零样本图像分类任务中有效增强了特征合成质量和减少了类别间歧义的目标。     

改进关系网络的小样本图像分类方法

为提升小样本学习方法的泛化能力,在关系网络的基础上提出一种新的小样本图像分类方法。该方法在原关系网络的结构上进行改进,通过引入inception块增强网络的特征表达能力,同时改进原关系网络中用于相关性计算的激活函数和损失函数,从而实现更好的信息流动,有利于模型的训练,并且使模型具有更好的泛化能力,有效提高小样本图像分类的准确度。在Omniglot、MiniImagenet以及TieredImageNet三个常用小样本学习数据集上进行实验,结果表明：改进的网络比原关系网络模型的分类准确率高,可以有效增强模型的泛化能力。     

多尺度通道注意力机制的小样本图像分类算法

为了提升关系网络图像分类的准确度,在网络中引入多尺度通道注意力机制,提出了一种新的小样本图像分类算法.由于多尺度通道注意力机制能够关注样本特征空间的重要信息,该方法能够提取图像更丰富的多尺度特征,并通过关系度量,改善了分类结果.实验结果表明,在MiniImageNet和Omniglot数据集上,该算法对图像分类精度有明显的提高.     

基于稀疏注意力关系网络的小样本图像分类方法

针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征之间的依赖性,切断语义无关特征之间的联系。后续卷积操作对不同空间位置的语义相关特征进行度量,抑制了无关信息的干扰,提高了模型的整体度量能力。通过在Mini-ImageNet和Tiered-ImageNet数据集上进行的一系列实验发现,相较于其他小样本学习模型,SARN模型的性能获得了显著提升。     

基于SmsGAN的对抗样本修复

针对对抗样本给基于深度学习的检测模型带来的严重识别干扰问题,提出一种基于随机多滤波特征统计生成对抗网络(SmsGAN)的对抗样本修复方案.采用随机多滤波特征统计网络(SmsNet)构建了特征统计层,实现了对抗样本的高精度检测,并将每个卷积核输出的特征图直接送到特征统计层获取全局特征.随机多滤波特征统计生成对抗网络(Sm...     

基于生成对抗网络的对抗样本集成防御

针对现有对抗样本防御方法防御能力不足、时间消耗过高等问题,参考生成对抗网络与集成学习在对抗样本研究中的优势,本文提出一种基于生成对抗网络的对抗样本集成防御方法.该方法使用生成对抗网络训练多个能够消除对抗样本表面对抗扰动的生成器,使用集成学习方法将多个生成器进行集成作为最终的防御.该方法的生成对抗网络由生成器和判别器组成...     

基于循环编码生成对抗网络的小样本辨识方法

针对在特殊领域中小样本数据难以通过训练被分类管理的问题,提出一种基于循环编码生成对抗网络的小样本辨识方法.首先,对小样本进行混叠循环编码,建构包含小样本深层信息的隐向量;然后,搭建一种循环生成对抗网络模型,对小样本生成扩充并通过极限学习机网络进行训练辨识;最后,结合算例,与传统生成对抗网络、深度信念网络及合成少数类过采...     

自适应控制深度学习和知识挖掘图像分类

针对传统分类方法的局限性,提出了一种深度学习结合知识挖掘的零样本图像自适应控制图像分类算法.利用对图像属性的深度学习来实现图像深层次特征及属性的学习和预测,基于图像的属性-类别映射使分类器性能有较大差异,通过稀疏表示模型挖掘图像类别和属性之间的关系并设计自适应控制的属性分类器实现对图像的分类操作.结果表明,与DBN和SVM算法相比,在监督模式和零样本模式下,该算法具有较高的属性预测准确度.在零样本情况下对Shoes数据集进行分类时,该算法具有最高的准确分类识别率,比其他算法的分类识别率提高了15%.     

一种基于图像变换预测的自监督GAN模型

自监督学习是目前深度学习的重要趋势之一,从无标记数据中获取学习有效信息是自监督学习的重点之一.目前的自监督学习方法大致包括:图像块拼图、运动传播、旋转预测等等.针对目前GAN的训练不稳定问题,自监督学习可以通过前置任务来改进生成器和判别器的模型性能.由此在经典的旋转预测任务上提出了改进和创新,采用图像变换旋转翻折的操作...     

基于组合零样本学习的接触网吊弦线缺陷识别

目前现场接触网吊弦缺陷图像严重不足，导致模型特征学习不充分，识别准确率难以得到有效提高，为此提出基于组合零样本学习的接触网吊弦线缺陷识别方法.采用以ResNet-50作为主干网络的视觉特征提取模块提取图像视觉特征；使用预训练的Word2Vec词向量对标签组合图中的节点特征进行初始化，并通过2层图卷积网络学习标签组合图中各节点之间的依赖关系，从而优化组合标签节点的语义特征，改善最终的识别效果；将提取到的视觉特征和优化后的组合标签节点的语义特征相对齐，构建相似度函数计算图像视觉特征与组合标签语义特征之间的相似度得分，并通过交叉熵损失完成图像组合标签的预测.仿真实验结果表明：所提方法对可见类样本的类平均检测准确率为93.5%，对不可见类样本的类平均检测准确率为86.5%.     

基于深度学习的图像自动标注方法综述

图像自动标注是目前计算机视觉和自然语言处理交叉研究领域的一个研究热点。对图像自动标注领域中的深度学习方法进行综述;针对图像自动标注领域的国内外研究现状,按照基于多模态空间、基于多区域、基于编码-解码、基于强化学习和基于生成式对抗网络等五个分类标准进行详细综述;介绍图像自动标注领域相关的数据集和评价标准,对比不同图像自动标注方法的优缺点;通过分析图像自动标注领域的当前研究现状,提出该领域亟待解决的3个关键问题,进一步指出未来的研究方向,并对本研究进行总结。     

基于深度学习的洗衣机异常音检测

基于卷积神经网络框架,提出一种洗衣机异音识别模型,根据卷积神经网络显著特征提取能力和平移不变性,学习洗衣机的异音特征,实现生产线洗衣机的异音自动智能识别。给出完整的过程解决训练数据集的建立、数据样本不平衡等问题。提出一种用于数据增强的网络模型——音频深度卷积生成对抗网络解决训练样本的稀缺性问题。该模型对传统的深度卷积生成对抗网络进行改进,以更好地适应工业音频的生成。利用该模型能够对原始数据进行扩展,生成洗衣机异音增强数据集,在该数据集的基础上进行卷积神经网络训练,经测试准确率达到0.999。利用添加背景噪声信号的数据集测试洗衣机异音识别模型的泛化能力,正确识别率达到0.902,表明该网络在识别洗衣机异音方面具有良好的鲁棒性。     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

基于深度学习的车身网络KWP2000协议漏洞挖掘

为实现无需协议的任何结构知识进行网络安全漏洞检测,基于深度学习生成对抗式神经网络(generative adversarial nets, GAN),提出对车身网络关键字协议2000 (keyword protocol 2000, KWP2000)漏洞挖掘的方法。选用前向反馈网络作为生成模型,支持向量机作为判别模型。利用神经网络模型训练生成KWP2000协议数据的测试用例数据,再利用这些测试用例数据对KWP2000进行模糊测试。通过试验发现目标协议KWP2000的超长错误、编码错误等漏洞。试验研究表明,该模糊测试方法提高了效率和安全性。     

基于改进生成对抗网络的飞参数据异常检测方法

针对民用飞行器安全性、可靠性要求严苛,实际民航运营中飞行参数的异常样本稀少,整体样本不平衡且缺少标注的问题,研究深度学习与生成对抗网络技术,提出基于改进生成对抗网络的飞参数据飞行级异常检测方法. 该方法不依赖样本数量与标签,实现无监督学习的检测方法. 针对飞参数据,输入正常数据样本,应用易收敛的WGAN-GP改进型生成对抗网络模型,模拟生成正常数据样本,计算输入数据与模拟正常数据的巴氏距离,实现对异常数据的检测. 通过美国国家航空航天局模拟飞参数据的人工合成数据集以及真实运营环境下采集的快速存取记录器数据构建的飞参数据集,开展试验验证. 结果表明,与常用无监督模型相比,提出方法在部分异常检测性能指标上有显著提升.     

多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题,以生成对抗网络为基础,提出一种多尺度语义学习的编解码人脸图像修复模型.首先,将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量,用不同尺寸的卷积核提取多尺度特征,通过提取合适的局部特征来提升修复结果的细节;其次,将提取的多尺度特征输入至语义学习模块,从通道和空间两个角度学习特征之间的语义关系,从而增强修复结果的全局一致性;最后,引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失,改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验,结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升,修复的结果在视觉上局部细节和全局语义更合理.     

基于深度学习特征融合的遥感图像场景分类应用

针对传统手工特征方法无法有效提取整体图像深层信息的问题,本文提出一种基于深度学习特征融合的场景分类新方法.利用灰度共生矩阵（GLCM）和局部二值模式（LBP）提取具有相关空间特性的纹理特征和局部纹理特征的浅层信息;通过基于AlexNet迁移学习网络提取图像的深层信息,在去除最后一层全连接层的同时加入一层256维的全连接层作为特征输出;将两种特征进行自适应融合,最终输入到网格搜索算法优化的支持向量机（GS-SVM）中对遥感图像进行场景分类识别.在公开数据集UC Merced的21类目标数据和RSSCN7的7类目标数据的实验结果表明,5次实验的平均准确率分别达94.77%和93.79%.该方法可有效提升遥感图像场景的分类精度.     

MIRGAN:一种基于GAN的医学影像报告生成模型

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务.针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network,MIRGAN)模型.采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分...     

Unsupervised adversarial learning method for hard disk failure prediction

In order to solve the problem of over-fitting of traditional supervised learning methods in anomaly detection of unbalanced datasets, an unsupervised adversarial learning method is proposed for hard disk failure prediction. This method uses the long short-term memory neural network and fully connected layer to design an Autoencoder that can be used for secondary coding. Only normal samples are used for training. By reducing the reconstruction error and the distance between potential vectors, the model can learn the data distribution of normal samples, thus improving the generalization ability of the model. The model also introduces the generative adversarial network to enhance the effect of unsupervised learning. Experiments on several datasets show that the recall rate and precision of the proposed method are higher than those of traditional supervised learning and semi-supervised learning classifiers, and that its generalization ability is stronger. Therefore, the unsupervised adversarial learning method is effective in hard disk failure prediction.