小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

基于判别性特征增强的小样本细粒度图像识别

小样本细粒度图像识别是深度学习领域中一个热门的研究课题,其基本任务是在学习有限数量样本的情况下识别出某一大类下的子类别的图像。得益于卷积神经网络的快速发展,小样本细粒度图像识别在精度方面取得了显著的成果,但其性能仍受限于同一子类图像间的高方差以及不同分类任务中判别性特征的差异性。针对上述问题,提出了一种基于判别性特征增强的小样本细粒度图像识别算法(DFENet)。DFENet设计了对称注意力模块来增强类内视觉一致性学习,从而减少背景的影响,提高同类样本之间共享的特征表示的权重。此外,DFENet引入通道维度的判别性特征增强模块,利用支持集样本中同类样本内和不同类样本之间的通道关系进一步挖掘适合于当前任务的判别性特征,以提高识别准确率。在三个经典的细粒度数据集CUB-200-2011,Stanford Dogs, Stanford Cars上进行了广泛的实验。实验结果表明,该方法均取得了有竞争性的结果。     

基于度量的小样本分类方法研究综述

小样本学习旨在让机器像人类一样通过对少量样本的学习达到对事物认知和概括的能力.基于度量的小样本学习方法希望学习一个低维嵌入空间,直接对比查询集合和支持类之间的相似性,分类测试样本.文中针对基于度量的小样本学习方法,尝试从这类方法需要解决的关键问题、类表示学习和相似性度量入手,梳理相关文献.与已有相关综述不同,文中只针对基于度量的小样本学习方法进行更详尽全面的分类,而且从关键问题角度进行分类.最后总结目前代表性工作在常用的图像分类任务数据集上的实验结果,分析现有方法存在的问题,并展望未来工作.     

小样本图像语义分割综述

[目的]对小样本语义分割方法进行系统而全面的介绍,为后续小样本分割算法设计工作提供参考.[方法]当前的小样本分割方法借助基于度量的元学习方法来完成少样本情况下的语义分割任务.根据度量工具是否可学习,将小样本分割算法分为基于参数结构和基于原型结构的小样本分割算法,简述了两类算法的优缺点.[结果]对该领域的一些经典工作和近...     

小样本下基于Wasserstein距离的半监督学习算法

近年来,基于大规模标记数据集的深度神经网络模型在图像领域展现出优秀的性能,但是大量标记数据昂贵且难以收集.为了更好地利用无标记数据,提出了一种半监督学习方法Wasserstein consistency training(WCT),通过引入Jensen-Shannon散度来模拟协同训练并组织大量未标记数据来提高协同训练...     

基于语义对齐的小样本语义分割模型

现实世界的物体图像往往存在较大的类内变化,使用单一原型描述整个类别会导致语义模糊问题,为此提出一种基于超像素的多原型生成模块,利用多个原型分别表示物体的不同语义区域,通过图神经网络在生成的多个原型间利用上下文信息执行原型校正以保证子原型的正交性.为了获取到更准确的原型表示,设计了一种基于Transformer的语义对齐模块,以挖掘查询图像特征和支持图像的背景特征中蕴含的语义信息,此外还提出了一种多尺度特征融合结构,引导模型关注同时出现在支持图像和查询图像中的特征,提高对物体尺度变化的鲁棒性.所提出的模型在PASCAL-5i数据集上进行了实验,与基线模型相比平均交并比提高了6%.     

基于原型网络的小样本图像识别方法

当前的图像识别领域,大部分的分类或者识别方法都建立在已有大量数据的基础上,将大量数据投入训练,经过采样分析、特征提取后做判别分类。然而在现实世界中,大多数目标分类问题并没有大量的标注数据。为了解决基于小样本数据集的图像识别问题,本文首先使用数据增强方法扩充数据集,然后利用多层卷积神经网络将图像映射到高维嵌入空间中,再使用原型网络得到每个类的原型点,根据嵌入空间中测试图像与各个类原型点之间的距离将其分类。实验结果表明,该方法在小样本条件下具有较高的识别准确率和较强的鲁棒性。     

离群样本划分的半监督模糊学习策略

建立一种离群样本划分的半监督模糊学习算法模型。首先,提出一种基于Hopfield参数估计的松弛条件模糊鉴别分析算法,重新定义每一个样本的隶属度,并在特征抽取的过程中,根据隶属度对散布矩阵的定义所做的贡献获得每个样本相应的类别信息,由此获得普通样本分类信息。其次,根据样本隶属度的分布信息划分出离群样本空间,将普通样本分类结果作为离群样本聚类的先验类属信息,并对该空间样本提出一种新的半监督模糊学习策略进行动态聚类。该算法同时具备了监督学习和无监督学习方法的优势,克服了传统聚类缺乏类过程知识的缺点,可以有效地解决特征空间中特殊样本的分类问题。性能分析表明,该方法优于单一的特征抽取方法,在NUST603、ORL、XM2VTS和FERET人脸数据库上的识别性能均得到有效提高。     

小样本困境下的深度学习图像识别综述

小样本学习（few-shot learning,FSL）旨在利用少量样本学习得到解决问题的模型,为解决应用场景中样本量少或标注样本少的问题. 图神经网络（graph neural network,GNN）由于其在许多应用中的卓越性能引起了极大的关注,许多学者开始尝试利用图神经网络进行小样本学习,基于图神经网络的方法在小样本领域取得了卓越的成绩. 目前与基于图神经网络的小样本学习方法相关的综述性研究较少,缺乏该类方法的划分体系与介绍性工作,因此系统地梳理了当前基于图神经网络的小样本学习的相关工作：概括了小样本学习的图神经网络方法的概念,根据模型的基本思想将其划分为基于节点特征、基于边特征、基于节点对特征和基于类级特征的4类方法,介绍了这4类方法的研究进展;总结了目前常用的小样本数据集和代表性模型在这些数据集上的实验结果,归纳各类方法主要的研究内容和优劣势;最后概述了基于图神经网络的小样本学习方法的应用和面临的挑战,并展望其未发展方向.

     

基于监督对比学习的小样本甲骨文字识别

针对由于甲骨文中部分字符的出现频率较低,直接利用深度神经网络进行识别会产生严重的过拟合现象,进而导致识别精度较差的问题,本文提出一种基于监督对比学习的小样本甲骨文字识别方法。选用利用增强样本的Y型（ensemble augmented-shot Y-shaped,EASY）学习框架作为网络的主干部分,通过集合数据增强、多骨干网络集成、特征向量投影等训练策略,直接实现利用少量带标签样本进行识别;引入监督对比学习,并提出联合对比损失,使得特征空间中类内特征向量距离更近,类间特征向量距离更远,进一步提高模型性能。实验结果表明：相比于当前效果最好的Orc-Bert模型,提出的小样本甲骨文识别模型在1-shot任务中的准确率提升了26.42%,3-shot任务的准确率提升了28.55%,5-shot任务的准确率提升了23.98%,较好解决了低频率出现的甲骨文字识别精度较差的问题。     

基于语义信息的图像理解关键问题研究

为了缩短介于低层视觉特征与高层语义特征之间的“语义鸿沟”距离,提出了急需解决的两大关键问题。首先按语义抽象程度给出了一种图像语义层次模型,着重分析与比较了四种语义信息提取方法的特点和存在问题;然后介绍了几种典型的语义特征相似性度量方法,阐述了目前图像理解应用的研究现状;最后搭建了图像语义理解框架,讨论了智能图像语义理解的未来研究趋势。     

基于概念和语义相似度的文本聚类算法

提出一种基于概念和语义相似度的聚类算法TCBCSS（Text Clustering Based on Concept and Semantic Similarity）,TCBCSS算法基于WordNet对文档概念进行抽取和归并,形成语义网络,利用小世界理论和网络的几何特性对其进行分析并构建概念列表来表示文档,不仅有效解决了“表达差异”问题也有利于文档相似度的计算。TCBCSS算法利用两个概念列表的语义相似度作为文档间相近程度的度量,以图为基础进行聚类分析,避免了有些聚类算法对聚簇形状的限制,试验证明TCBCSS算法提高了聚类质量。     

一种基于多尺度语义分析的图像识别方法*

提出一种基于多尺度语义分析的图像识别方法,首先在多尺度空间中提取语义,然后使用支持向量机对语义进行分类,以达到识别的目的。实验表明,该算法识别准确率高,并能适应存在方向变化、变形等复杂的识别环境。     

基于本体的图像情感语义识别及推理模型

提出一种基于本体的图像情感语义识别系统,使情感识别过程易于理解.针对人类在图像情感语义理解过程中存在的个性化和群体化现象,系统使用多层次的情感推理模型.在阐述系统的设计思想和各模块的工作机理的同时,着重介绍了通过语义网规则语言表示的多层次情感推理模型的组织结构和表示方法以及推理机的工作原理.仿真实验结果表明了在图像情感语义识别及推理过程中引入本体概念的可行性.     

基于向量相似度计算的半监督的名实体识别

提出一种基于向量相似度计算的半监督的NER方法,主要思想是:首先利用bootstrapping方法获取NER所需的各种特征;然后将待测实例表示为实例特征向量,每一类名实体表示为类特征向量;最后根据每个类特征向量与实例特征向量的相似度进行分类.在人民日报语料上选取疾病名、武器名、交通工具名进行相关测试,F测度分别为:77.4%,66.1%和73.1%,结果令人满意.     

一种基于本体的语义相似度算法研究

在研究目前比较经典的基于语义距离的相似度算法的基础上,通过分析语义概念的其他关键因子,增加了节点密度以及概念属性对语义相似度的影响,提出了一个更为规范的相似度算法。通过实验分析证明,改进后算法所得相似度值更加合理,在一定的调节参数下,与人类主观判断的兼容度比原始算法提高了约15％。     

一个基于语义元的相似度计算方法研究

针对已有相似性度量方法的局限与不足,对属性进行语义扩展,提出了基于语义元支持度的相似度计算方法,该方法用语义元表示概念内涵,在语义元中引入支持度来表现不同语义元对概念表示的贡献,综合考虑相关性、相似性、非对称性以及语义元的支持度,通过比较语义元的相似性,实现了概念相似性的度量。把关系作为一种特殊的概念进行关系的比较,得到了基于语义元的本体相似性度量。最后,将该方法与其他方法进行比较,验证了该方法的计算结果更具有合理性,同时也验证了该方法的有效性与正确性。     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于本体的图像情感语义识别研究

抽取图像颜色、形状、纹理特征,通过本体映射,建立本体表示的图像情感特征库。以中国情感图片系统作为训练样本,挖掘图像特征与情感之间的关联关系,并通过语义网规则语言SWRL（Semantic Web Rule Language）表示关联规则,建立情感映射规则库。情感推理引擎使用情感映射规则对图像特征进行推理,达到识别图像情感语义的目的。     

基于本体的概念间语义相似度计算方法研究

基于SUMO(Suggested Upper Merged Ontology)[1],提出了一种计算两概念语义相似度的语义距离方法。根据该方法实现了一个计算平台,将计算结果同人类的主观判断进行了比较,验证了概念语义相似度计算方法的有效性。该研究成果拟在正研发的语义数据库本体集成部分得到应用,也可以为本体的其它相关研究提供一定的技术基础。