基于重构对比的广义零样本图像分类

广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性.     

语义自编码结合关系网络的零样本图像识别算法

为了解决零样本图像识别中传统模型容易出现投影域移位问题以及提高距离相似度度量的鲁棒性,提出关系网络改进语义自编码器的零样本识别算法.基于语义自编码器构建图像视觉特征和语义向量之间的特征映射,并将重构向量与对应向量真值进行级联后送入神经网络,最终利用输出的标量给出预测类别.实验表明,相比传统距离度量方法,文中算法在AWA、CUB和ImageNet-2数据集上的识别率均有所提高,在某些数据集上语义-视觉的投影效果优于反向投影.     

基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器（low-rank stacked semantic auto-encoder,LSSAE）。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。     

基于视觉误差与语义属性的零样本图像分类

在图像分类的实际应用过程中,部分类别可能完全没有带标签的训练数据。零样本学习（ZSL）的目的是将带标签类别的图像特征等知识迁移到无标签的类别上,实现无标签类别的正确分类。现有方法在测试时无法显式地区分输入图像属于已知类还是未知类,很大程度上导致未知类在传统设定下的ZSL和广义设定下的ZSL（GZSL）上的预测效果相差甚远。为此,提出一种融合视觉误差与属性语义信息的方法来缓解零样本图像分类中的预测偏置问题。首先,设计一种半监督学习方式的生成对抗网络架构来获取视觉误差信息,由此预测图像是否属于已知类;然后,提出融合属性语义信息的零样本图像分类网络来实现零样本图像分类;最后,测试融合视觉误差与属性语义的零样本图像分类方法在数据集AwA2和CUB上的效果。实验结果表明,与对比模型相比,所提方法有效缓解了预测偏置问题,其调和指标H在AwA2（Animal with Attributes）上提升了31.7个百分点,在CUB（Caltech-UCSD-Birds-200-2011）上提升了8.7个百分点。     

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点.首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等...     

基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

基于去冗余特征和语义关系约束的零样本属性识别

基于生成式的零样本识别方法在生成特征时受冗余信息和域偏移的影响,识别精度不佳.针对此问题,文中提出基于去冗余特征和语义关系约束的零样本属性识别方法.首先,将视觉特征映射到一个新的特征空间,通过互相关信息对视觉特征进行去冗余处理,在去除冗余视觉特征的同时保留类别的相关性,由于在识别过程中减少冗余信息的干扰,从而提高零样本识别的精度.然后,利用可见类和不可见类之间的语义关系建立知识迁移模型,并引入语义关系约束损失,约束知识迁移的过程,使生成器生成的视觉特征更能反映可见类和不可见类之间语义关系,缓解两者之间的域偏移问题.最后,引入循环一致性结构,使生成的伪特征更接近真实特征.在数据集上的实验证实文中方法提高零样本识别任务的精度,并具有较优的泛化性能.     

融合VAE和StackGAN的零样本图像分类方法

零样本分类算法旨在解决样本极少甚至缺失类别情况下的分类问题。随着深度学习的发展,生成模型在零样本分类中的应用取得了一定的突破,通过生成缺失类别的图像,将零样本图像分类转化为传统的基于监督学习的图像分类问题,但生成图像的质量不稳定,如细节缺失、颜色失真等,影响图像分类准确性。为此,提出一种融合变分自编码(variational auto-encoder, VAE)和分阶段生成对抗网络(stack generative adversarial networks, StackGAN)的零样本图像分类方法,基于VAE/GAN模型引入StackGAN,用于生成缺失类别的数据,同时使用深度学习方法训练并获取各类别的句向量作为辅助信息,构建新的生成模型stc-CLS-VAEStackGAN,提高生成图像的质量,进而提高零样本图像分类准确性。在公用数据集上进行对比实验,实验结果验证了本文方法的有效性与优越性。     

基于分类特征约束变分伪样本生成器的类增量学习

针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,用分类特征进行约束,使生成的样本更好地保留旧类在分类器上的性能.然后,用旧分类器的输出作为伪样本的精...     

基于迭代自编码器的深度学习对抗样本防御方案

近年来，深度学习在计算机视觉领域表现出优异的性能，然而研究者们却发现深度学习系统并不具备良好的鲁棒性，对深度学习系统的输入添加少许的人类无法察觉的干扰就能导致深度学习模型失效，这些使模型失效的样本被研究者们称为对抗样本。我们提出迭代自编码器，一种全新的防御对抗样本方案，其原理是把远离流形的对抗样本推回到流形周围。我们先把输入送给迭代自编码器，然后将重构后的输出送给分类器分类。在正常样本上，经过迭代自编码器的样本分类准确率和正常样本分类准确率类似，不会显著降低深度学习模型的性能；对于对抗样本，我们的实验表明，即使使用最先进的攻击方案，我们的防御方案仍然拥有较高的分类准确率和较低的攻击成功率。     

基于随机传播图卷积模型的零样本图像分类

零样本图像分类旨在识别训练时从未出现过的全新类别(未见类别),为此需要利用辅助信息建模未见类和可见类之间的关系。利用图卷积网络(GCN)进行零样本分类的模型可以借助知识图显式地表达类别之间的关系,但 GCN 易受过平滑影响,导致模型性能下降。针对此问题提出了基于随机传播图卷积模型的零样本图像分类方法。该方法使用随机传播机制处理原始特征以达到特征扰动和数据扩增的目的;利用数据中类别层级生成的知识图建模类别之间的语义关系。其中,图中节点代表类别,节点间的边代表类别之间的关系。再构建 GCN对处理后的特征进行训练,从节点中输出包含未见类别的分类器参数,进而实现零样本图像分类。实验结果表明,该方法可以有效地改善零样本图像分类中的时间消耗、分类精度和泛化性能。     

基于语义对齐和重构的零样本学习算法

为同时缓解零样本学习算法中固有的枢纽问题和域漂移问题,提出一种基于语义对齐和重构的零样本学习算法。以语义特征嵌入到图像空间的神经网络映射模型为基础,对模型添加语义原型和图像原型对齐的约束条件进一步缓解高维向量枢纽问题对标签预测的影响;对模型添加语义特征重构建的约束条件,缓解域漂移问题对识别正确率的影响。实验结果表明,所提算法在AwA和CUB数据集上达到了较优的识别正确率,验证了其有效性。     

基于教与学优化的可变卷积自编码器的医学图像分类方法

针对传统手工方法优化卷积神经网络(CNN)参数时存在耗时长、不准确,以及参数设置影响算法性能等问题,提出一种基于教与学优化(TLBO)的可变卷积自编码器(CAE)算法.该算法设计了可变长度的个体编码策略,从而快速构建CAE结构,并堆叠CAE为一个CNN;此外,充分利用优秀个体的结构信息来引导算法朝着更有希望的区域搜索,...     

基于稀疏自编码深度神经网络的林火图像分类

针对林火与相似目标很难区分的问题,提出一种基于稀疏自编码深度神经网络的林火图像分类新方法。采用无监督的特征学习算法稀疏自编码从无标签图像小块中学习特征参数,完成深度神经网络的训练;利用学习到的特征从原始大小分类图像中提取特征并卷积和均值池化特征;对卷积和池化后的特征采用softmax回归来训练最终softmax分类器。实验结果表明,跟传统的BP神经网络相比,新方法能够更有效区分林火与红旗、红叶等类似物体。     

基于语义分类的外观专利图像快速检索系统

针对大规模专利图像特征库的特点,使用边缘轮廓距离与分块特征相结合的方法提取低层视觉特征,结合基于K均值聚类的分类索引方法,兼顾语义相似和视觉特征相似,对专利图像库数据构建索引结构,实现了先分类后检索的功能。实验结果表明,方法不仅提高了检索速度,而且提高了检索的语义敏感度。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。