基于双注意力机制的零样本建筑图像分类方法

零样本建筑图像分类是在标记训练样本不足以涵盖所有类的情况下,利用已知建筑类别与未知建筑类别之间的知识迁移对未知类样本进行分类。针对建筑风格分类中标记数据少及局部判别性特征定位不准确的问题,提出一种基于双注意力机制的零样本图像分类方法。该方法首先引入通道注意和空间注意两种模型以增强图像特定区域的表示。其中,通道注意网络学习不同通道权重以定位图像中的建筑物;空间注意网络将位置信息嵌入通道注意图捕获目标中的细节特征,获取具有通道和空间双层维度的特征表示。其次,为减少空间映射过程中出现的信息损失,使用生成器重建视觉特征。最后,设计公共空间嵌入的零样本建筑图像分类模型,在子空间对齐视觉特征和语义特征,通过最近邻匹配实现分类任务。实验结果表明,所提方法较当前零样本学习方法而言,在零样本数据集CUB及建筑风格数据集Architecture Style Dataset上的平均分类准确率分别提高1.3和0.7百分点。     

基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器（low-rank stacked semantic auto-encoder,LSSAE）。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。     

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.     

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.     

基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

基于注意力关系网络的无线胶囊内镜图像分类方法

无线胶囊内镜（WCE）技术可以检测出肠胃道异常,计算机辅助诊断WCE图像方法由于标注图像数据量少、图像类内变异度高和类间相似等原因导致效果不佳。为此,提出一种基于注意力关系网络的WCE图像多分类方法。将关系网络、注意力机制以及元学习训练策略相结合,构造基于注意力机制的嵌入模块以提取WCE图像特征,将提取后的特征进行特征映射级联后输入到关系模块,根据关系模块输出的相似性评分判断样本所属类别,采用元学习训练策略训练网络。实验结果表明,该方法的分类精度高于RelationNet、MAML等小样本分类方法,且在WCE数据集上该方法的精度高达90.28%。     

一种融合生成对抗网络的零样本图像分类方法

目前很多零样本图像分类方法是采用学习语义信息空间和图像特征空间之间的映射关系来实现图像分类,但是这些方法会产生枢纽化和域漂移问题。通过利用生成对抗网络实现图像特征生成可以缓解以上两种问题,但该方法容易产生模式崩溃从而导致生成的图像特征不真实。因此提出一种改进的生成对抗网络方法,通过在生成器网络上增加一个重构网络,将生成器生成的图像特征重构回语义信息,以此实现生成器网络生成的图像特征更加符合语义信息的图像特征。实验结果表明,该方法相较于原本的生成对抗网络模型而言,在AWA、CUB、FLO、SUN四个数据集上的分类准确率分别提升了1.0、0.1、1.2和0.9个百分点,证明了通过融合改进的生成对抗网络实现零样本图像分类方法的有效性和可行性。     

基于随机传播图卷积模型的零样本图像分类

零样本图像分类旨在识别训练时从未出现过的全新类别(未见类别),为此需要利用辅助信息建模未见类和可见类之间的关系。利用图卷积网络(GCN)进行零样本分类的模型可以借助知识图显式地表达类别之间的关系,但 GCN 易受过平滑影响,导致模型性能下降。针对此问题提出了基于随机传播图卷积模型的零样本图像分类方法。该方法使用随机传播机制处理原始特征以达到特征扰动和数据扩增的目的;利用数据中类别层级生成的知识图建模类别之间的语义关系。其中,图中节点代表类别,节点间的边代表类别之间的关系。再构建 GCN对处理后的特征进行训练,从节点中输出包含未见类别的分类器参数,进而实现零样本图像分类。实验结果表明,该方法可以有效地改善零样本图像分类中的时间消耗、分类精度和泛化性能。     

基于卷积与稀疏编码的半监督学习方法

卷积神经网络(CNN)在半监督学习中取得了良好的成绩,其在训练阶段既利用有标记样本,也利用无标记样本帮助规范化学习模型。为进一步加强半监督模型的特征学习能力,提高其在图像分类时的性能表现,本文提出一种联合深度半监督卷积神经网络和字典学习的端到端半监督学习方法,称为Semi-supervised Learning based on Sparse Coding and Convolution(SSSConv);该算法框架旨在学习到鉴别性更强的图像特征表示。SSSConv首先利用CNN提取特征,并对所提取特征进行正交投影变换,下一步通过学习其稀疏编码的低维嵌入以得到图像的特征表示,最后据此进行分类。整个模型框架可进行端到端的半监督学习训练,CNN提取特征部分和稀疏编码字典学习部分具有统一的损失函数,目标一致。本文利用共轭梯度下降算法、链式法则和反向传播等算法对目标函数的参数进行优化,将稀疏编码的相关参数约束于流形上,CNN参数既可定义在欧氏空间,也可以进一步定义在正交空间中。基于半监督分类任务的实验结果验证了所提出SSSConv框架的有效性,与现有方法相比具有较强的竞争力。     

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点.首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等...     

一种基于强化学习的学习Agent

强化学习通过感知环境状态和从环境中获得不确定奖赏值来学习动态系统的最优行为策略,是构造智能Agent的核心技术之一,在面向Agent的开发环境AODE中扩充BDI模型,引入策略和能力心智成分,采用强化学习技术实现策略构造函数,从而提出一种基于强化学习技术的学习Agent,研究AODE中自适应Agent物结构和运行方式,使智能Agent具有动态环境的在线学习能力,有效期能够有效地满足Agent各种心智要求。     

解释学习中模糊概念的学习

本文提出了一种模糊知识的表示模式，给出了在模糊意义下的基于解释的学习的一种描述，以及解释、学习机制，使在解释学习中能够学习到一些带有模糊修饰词的新概念．本文描述形式同算子模糊逻辑而语义与其不同．     

ADAPTIVE MODEL LEARNING BASED ON DYNA-Q LEARNING

Dyna-Q, a well-known model-based reinforcement learning (RL) method, interplays offline simulations and action executions to update Q functions. It creates a world model that predicts the feature values in the next state and the reward function of the domain directly from the data and uses the model to train Q functions to accelerate policy learning. In general, tabular methods are always used in Dyna-Q to establish the model, but a tabular model needs many more samples of experience to approximate the environment concisely. In this article, an adaptive model learning method based on tree structures is presented to enhance sampling efficiency in modeling the world model. The proposed method is to produce simulated experiences for indirect learning. Thus, the proposed agent has additional experience for updating the policy. The agent works backwards from collections of state transition and associated rewards, utilizing coarse coding to learn their definitions for the region of state space that tracks back to the precedent states. The proposed method estimates the reward and transition probabilities between states from past experience. Because the resultant tree is always concise and small, the agent can use value iteration to quickly estimate the Q-values of each action in the induced states and determine a policy. The effectiveness and generality of our method is further demonstrated in two numerical simulations. Two simulations, a mountain car and a mobile robot in a maze, are used to verify the proposed methods. The simulation result demonstrates that the training rate of our method can improve obviously.     

FNN上的竞争学习及混合学习方法

本文根据（１）所提出的ＦＮＮ结构,首先讨论它的学习方法,字除了可以应用到ＦＮＮ上的输入均值和输出权重的调整外,还可以用于实现网络连线的裁剪。然后对混合学习竞争学习与反向传播学习结合使用）算法的实现问题加以探讨。     

由Markov网到Bayesian网

Markov网（马尔可夫网）是类似于Bayesian网（贝叶斯网）的另一种进行不确定性揄的有力工具，Markov网是一个无向图，而Bayesian网是一个有向无环图，发现Markov网不需要发现边的方向，因此要比发现Bayesian网容易得多，提出了一种通过发现Markov网得到等价的Bayesian网的方法，首先利用信息论中验证信息独立的一个重要结论，提出了一个基于依赖分析的边删除算法发现Markov网，该算法需O（n^2)次CI（条件独立）测试，CI测试的时间复杂度取决于由样本数据得到的联合概率函数表的大小，经证明，假如由样本数据得到的联合概率函数严格为正，则该算法发现的Markov网一定是样本的最小L图，由发现Markov网，根据表示的联合概率函数相等，得到与其等价的Bayesian网。     

一种结合LPA半监督学习的排序学习算法

针对有监督排序学习所需训练集的大量标注数据不易获得的情况,引入基于图的标签传播半监督学习。利用有限的已标记数据和大量未标记数据来完成训练数据的自动标注工作,解决大量训练数据集标注工作耗时耗力的难题。首先以训练数据为节点建立εNN图模型实现标签传播算法进行训练数据的自动标注,再基于得到的训练集使用Ranking SVM实现排序学习,在OHSUMED数据集上衡量该方法在MAP和NDCG@n评价准则下的性能。实验结果表明,该方法的性能优于普通pointwise排序学习方法,略低于普通pairwise排序学习方法,能够在达到可用性要求的前提下节省接近60%的训练集标注工作量。     

混合型学习模型HLM中的增量学习算法

混合型学习模型HLM将概念获取算法HMCAP和神经网络算法FTART有机结合，能学习多概念和连续属性，其增量学习算法建立在二叉混合判定树结构和FTART网络的基础上，在给系统增加新的实例时，只需进行一遍增量学习调整原结构，不用重新生成判定树和神经网络，即可提高学习精度，速度快、效率高．本文主要介绍该模型中的增量学习算法．     

超文本学习状态空间模型与学习控制

超文本教学材料的路径控制是超文本教育应用中存在的一个重要问题。文中以知识空间理论和一般的关系型超文本数学模型为基础,相入超文本学习状态空间的概念;通过定义学习状态空间的数学模型和学习状态跃迁阈值,实现对状态空间学习路径的控制,避免学生“走弯路”,提高了超文本的教学效果。在这种控制方式下,学生在学习状态内部有充分的自由浏览各个知识点;在学习状态之间学生的浏览则受到合理的控制,从而达到了自由与控制的统     

基于深度学习模型的自发学习表情识别方法研究

课堂教学环境中,面部表情自动识别是获取学习者情绪状态的重要方式。针对传统方法提取特征不全面、融合特征维度较高等问题,提出一种融合局部与全局特征的学习表情自动识别方法。该方法提取并融合表情图像的局部几何特征、KPCA降维的CLBP全局浅层纹理特征和CNN全局深度网络特征。此外,还构建一个全新的自发学习表情数据库,将课堂学习中的情绪分为困惑、快乐、疲倦、惊讶和中性等5种类型,用于CNN模型的训练。对比实验表明,该方法的识别正确率在CK+库、中国情绪图片系统和自发学习表情数据库中分别达到96.3%、86.7%和95.6%,高于传统的面部表情识别方法。该方法能够有效获取课堂中学生情绪变化,帮助教师准确全面地掌握班级学生的整体情况,促进课堂教学质量的提高。     

强化学习系统及其基于可靠度最优的学习算法

归纳了强化学习的主要理论方法，提出了一个区分主客观因素的强化学习系统描述，引入了任务域的概念，针对以往强化学习采用的期望最优准则描述任务域能力的不足，考虑了目标水平准则下的首达时间可靠度优准则模型，分别结合随机逼近理论和时间差分理论，提出了基于概率估计的Ｊ－学习和无需建增量Ｒ－学习。