开放环境下未知材质的识别技术

针对开放环境下未知物体材质识别的问题,本文提出一种利用欧氏距离区分未知类别和已知类别的物体材质识别方法框架,在该框架下利用支持向量机对物体材质进行识别,分类效果显著。该方法利用距离度量中的欧氏距离与阈值进行比较,距离的均值小于阈值的物体判定为已知类别物体材质,并进行分类;距离大于阈值的物体判定为未知类别物体材质,并利用支持向量机算法进行重新学习识别。本文在慕尼黑工业大学的触觉数据集中的声音数据上进行实验,对比了5种距离度量方法,选择了欧氏距离;与开集稀疏表示分类方法对比,显示出本文提出的方法在声音数据集上具有一定的优势;通过实验选出了合理的阈值,并最终实现了开放环境下识别所有物体材质。实验验证了该框架可以很好地解决开放环境下触觉感知信息的物体材质识别问题。     

基于物体特征轮廓的单类判别方法

针对当前物体轮廓分类方法的不足,提出一种基于物体特征轮廓的单类判别方法.首先修正了一种利用傅里叶描述子对轮廓归一化的方法;然后采用主成分分析对训练轮廓集的符号中心距离点列进行特征向量提取,生成类似"特征脸"的特征轮廓;最后根据轮廓在特征轮廓上投影所产生的截断误差不同设定阈值,进行轮廓类别判定.实验结果表明,与单类支持向量机方法相比,该方法的判别准确率提高了20%.     

考虑多粒度类相关性的对比式开放集识别方法

深度神经网络在分类任务上不断取得性能突破,但在测试中面对未知类样本时,会错误地给出一个已知类预测结果.开放集识别任务旨在解决该问题,要求模型不仅精确地分类已知类,同时对未知类样本进行准确判别.现有方法虽然取得了不错的效果,但由于未对开放集识别任务的影响因素进行分析,因而大多基于某种假设启发式地设计模型,难以保证对于实际场景的适应性.分析了现有方法的共性,通过设计一个新的决策变量实验,发现模型对已知类的表示学习能力是其中的一个关键影响因素.基于该结论,提出了一种基于模型表示学习能力增强的开放集识别方法.首先,由于对比式学习已展示出的强大表示学习能力以及开放集识别任务所包含的标签信息,引入了监督对比式学习方法,提高模型对已知类的建模能力;其次,考虑到类别间的相关性是在类别层次上的表示,且类别之间往往呈现分层结构关系,设计了一种多粒度类相关性的损失函数,通过在标签语义空间构建分层结构并度量多粒度类相关性的方式,约束模型学习不同已知类间的相关关系,进一步提高其表示学习能力;最后,在多个标准数据集上进行了实验验证,证明了所提出方法在开放集识别任务上的有效性.     

结合增量学习的物体抓取检测框架

为了解决未知类别物体的抓取问题，提出了一种结合增量学习的物体抓取检测框架，该框架分为抓取学习和增量学习两个阶段.在第1阶段，对已知的物体使用密集注意力网络进行训练，该网络利用注意力机制对特征通道和密集残差连接之间的关系进行建模.在第2阶段，引入了聚类优先样本选择策略，该策略会挑选出那些与其聚类质心距离相近的样本，用这些新样本替换掉示例集中的部分旧样本进行训练.此外在未知类别物体上训练网络时，还引入了蒸馏损失，以保留之前在已知类中学到的知识.通过在Jacquard数据集和UR10e机器人上进行的实验，表明了该方法在抓取未知类别物体方面有一定的可行性和有效性，克服了机器人在抓取未知类别物体上的缺陷.     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的，但在现实世界的场景中并非总是如此.为了解决这个缺点，开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本，还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移，这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战，提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation)，用于精确区分已知类和未知类样本，并进行领域自适应.为了利用未标记的目标域样本实现自步学习，为目标域样本生成伪标签，并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声，并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求，引入了多个准则以区分已知类和未知类样本.此外，与现有...     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

基于双注意力机制的零样本建筑图像分类方法

零样本建筑图像分类是在标记训练样本不足以涵盖所有类的情况下,利用已知建筑类别与未知建筑类别之间的知识迁移对未知类样本进行分类。针对建筑风格分类中标记数据少及局部判别性特征定位不准确的问题,提出一种基于双注意力机制的零样本图像分类方法。该方法首先引入通道注意和空间注意两种模型以增强图像特定区域的表示。其中,通道注意网络学习不同通道权重以定位图像中的建筑物;空间注意网络将位置信息嵌入通道注意图捕获目标中的细节特征,获取具有通道和空间双层维度的特征表示。其次,为减少空间映射过程中出现的信息损失,使用生成器重建视觉特征。最后,设计公共空间嵌入的零样本建筑图像分类模型,在子空间对齐视觉特征和语义特征,通过最近邻匹配实现分类任务。实验结果表明,所提方法较当前零样本学习方法而言,在零样本数据集CUB及建筑风格数据集Architecture Style Dataset上的平均分类准确率分别提高1.3和0.7百分点。     

直推式遥感图像场景零样本分类算法

针对遥感图像场景零样本分类算法中的空间类结构不一致以及域偏移问题,提出基于Sammon嵌入和谱聚类方法结合的直推式遥感图像场景零样本分类算法。首先,基于Sammon嵌入算法修正语义特征空间类原型表示,使其与视觉特征空间类原型结构对齐;其次,借助结构迁移方法得到视觉特征空间测试类原型表示;最后,针对域偏移问题,采用谱聚类方法修正视觉特征空间测试类原型,以适应测试类样本分布特点,提高场景零样本分类准确度。在两个遥感场景集（UCM和AID）上分别获得52.89%和55.93%的最高总体分类准确度,均显著优于对比方法。实验结果表明,通过显著降低视觉特征空间和语义特征空间的场景类别结构不一致性,同时减轻了域偏移问题,可实现语义特征空间类结构知识到视觉特征空间的有效迁移,大幅提升遥感场景零样本分类的准确度。     

基于视觉误差与语义属性的零样本图像分类

在图像分类的实际应用过程中,部分类别可能完全没有带标签的训练数据。零样本学习（ZSL）的目的是将带标签类别的图像特征等知识迁移到无标签的类别上,实现无标签类别的正确分类。现有方法在测试时无法显式地区分输入图像属于已知类还是未知类,很大程度上导致未知类在传统设定下的ZSL和广义设定下的ZSL（GZSL）上的预测效果相差甚远。为此,提出一种融合视觉误差与属性语义信息的方法来缓解零样本图像分类中的预测偏置问题。首先,设计一种半监督学习方式的生成对抗网络架构来获取视觉误差信息,由此预测图像是否属于已知类;然后,提出融合属性语义信息的零样本图像分类网络来实现零样本图像分类;最后,测试融合视觉误差与属性语义的零样本图像分类方法在数据集AwA2和CUB上的效果。实验结果表明,与对比模型相比,所提方法有效缓解了预测偏置问题,其调和指标H在AwA2（Animal with Attributes）上提升了31.7个百分点,在CUB（Caltech-UCSD-Birds-200-2011）上提升了8.7个百分点。     

跨数据集评估的高光谱图像分类

目的 随着高光谱成像技术的飞速发展,高光谱数据的应用越来越广泛,各场景高光谱图像的应用对高精度详细标注的需求也越来越旺盛。现有高光谱分类模型的发展大多集中于有监督学习,大多数方法都在单个高光谱数据立方中进行训练和评估。由于不同高光谱数据采集场景不同且地物类别不一致,已训练好的模型并不能直接迁移至新的数据集得到可靠标注,这也限制了高光谱图像分类模型的进一步发展。本文提出跨数据集对高光谱分类模型进行训练和评估的模式。方法 受零样本学习的启发,本文引入高光谱类别标签的语义信息,拟通过将不同数据集的原始数据及标签信息分别映射至同一特征空间以建立已知类别和未知类别的关联,再通过将训练数据集的两部分特征映射至统一的嵌入空间学习高光谱图像视觉特征和类别标签语义特征的对应关系,即可将该对应关系应用于测试数据集进行标签推理。结果 实验在一对同传感器采集的数据集上完成,比较分析了语义—视觉特征映射和视觉—语义特征映射方向,对比了5种基于零样本学习的特征映射方法,在高光谱图像分类任务中实现了对分类模型在不同数据集上的训练和评估。结论 实验结果表明,本文提出的基于零样本学习的高光谱分类模型可以实现跨数据集对分类模型进行训练和评估,在高光谱图像分类任务中具有一定的发展潜力。     

基于KNN的剩余油形态识别

对从实验中采集到的剩余油图像进行分析研究,可以为油藏后期开采提供理论依据。通过收集确定类型的剩余油特征数据作为样本集向量空间,对待分类剩余油特征数据进行归一化处理,之后求取欧氏距离。使用KNN(K近邻)分类方法近邻投票确定剩余油类别,可以较为快速准确地得到分类结果。     

基于离散小波变换的时间序列数据挖掘

提出了一种利用离散小波变换进行时间序列分析预测的新方法。该方法的特点主要是在小波系数的选取依据上与以往方法不同,以往方法大多是选取前k个位置的系数或者是选取数值最大的k个位置的系数,其依据是能量保持;本文方法的选取依据是各系数在训练集数据上的分类能力大小,即通过对已知类别的训练集的学习过程,找出使得类内距离最小、类间距离最大的若干系数作为特征系数。对于未知类别的时间序列,根据特征系数计算出该序列属于各个类别的隶属度,隶属度最高的类别即为预测结果。实验结果表明,本方法用于时间序列分析预测,显示出了较高的效率和准确性。     

结合环状原型空间优化的开放集目标检测

目的 现有目标检测任务常在封闭集设定中进行。然而在现实问题中,待检测图片中往往包含未知类别目标。因此,在保证模型对已知类检测性能的基础上,为了提升模型在现实检测任务中对新增类别的目标检测能力,本文对开放集目标检测任务进行研究。方法 区别于现有的开放集目标检测框架在检测任务中将背景类与未知类视为一个类别进行优化,本文框架在进行开放集类别识别的过程中,优先识别候选框属于背景类或是含待识别目标类别,而后再对含待识别目标类别进行已知类与未知类的判别。本文提出基于环状原型空间优化的检测器,该检测器可以通过优化待检测框的特征在高维空间中的稀疏程度对已知类、未知类与背景类进行环状序列判别,从而提升模型对开放集类别的检测性能。在（region proposal networks,RPN）层后设计了随机覆盖候选框的方式筛选相关的背景类训练框,避免了以往开放集检测工作中繁杂的背景类采样步骤。结果 本文方法在保证模型对封闭集设定下检测性能的情况下,通过逐步增加未知类别的数量,在Visual Object Classes-Common Objects in Context-20(VOC-COCO-20),Vi...     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。     

渐进式分离的开放集模糊域自适应算法

域自适应的目的是利用有标记（源）域中的信息来提高未标记（目标）域模型的分类性能,且这种方法已经取得了不错的成果。然而在具有开放性的现实场景下,目标域通常包含源域中未观察到的未知类样本,这被称为开放集域自适应问题。传统的域自适应算法对这样具有挑战性的场景设定无能为力,因此提出了渐进式分离的开放集模糊域自适应算法。首先,基于引进隶属度的开放集模糊域自适应算法,探索了逐步分离目标域中已知类和未知类样本的方法;然后,仅将从目标域中分离出的已知类与源域对齐,从而减小两个域之间的分布差异,进行模糊域自适应。所提算法很好地解决了由于未知类和已知类之间的不匹配而导致的负迁移所带来的影响。在Office数据集上的6组域自适应转化实验结果表明,与传统的域自适应算法比较,所提算法在图像分类中的精度有显著的提升,验证了该算法可以逐步增强域自适应分类模型的准确性和鲁棒性。     

低质量渲染图像的目标物体6D姿态估计

从图像中获取目标物体的6D位姿信息在机器人操作和虚拟现实等领域有着广泛的应用,然而,基于深度学习的位姿估计方法在训练模型时通常需要大量的训练数据集来提高模型的泛化能力,一般的数据采集方法存在收集成本高同时缺乏3D空间位置信息等问题.鉴于此,提出一种低质量渲染图像的目标物体6D姿态估计网络框架.该网络中,特征提取部分以单张RGB图像作为输入,用残差网络提取输入图像特征;位姿估计部分的目标物体分类流用于预测目标物体的类别,姿态回归流在3D空间中回归目标物体的旋转角度和平移矢量.另外,采用域随机化方法以低收集成本方式构建大规模低质量渲染、带有物体3D空间位置信息的图像数据集Pose6DDR.在所建立的Pose6DDR数据集和LineMod公共数据集上的测试结果表明了所提出位姿估计方法的优越性以及大规模数据集域随机化生成数据方法的有效性.     

基于余类零空间与最近距离的人脸识别算法

提出了一种新的人脸识别算法,即基于余类零空间与最近距离的人脸识别算法. 通过构建不同类别的人脸图像的余类零空间与子空间,可以将不同类别的人脸最大化地区别出来. 本算法的主要思想在于：测试图像与所属类别图像的子空间之间的距离最小,而与所属类别的图像的余类零空间距离最大. 本算法基于ORL数据集与AR数据集进行了测试. 从这些人脸数据集上的测试结果可以看出,本文提出的算法在PCA降维方法的基础上,比一些常见的算法所使用的判别方式更有效,如最近邻分类器（NN）所使用的最近距离判别方式、最近空间分类器（NS）所使用的最近空间距离判别方式、最近最远子空间分类器（NFS）所使用的最近最远空间距离判别方式等.     

基于重建误差的任务型对话未知意图检测

现有未知意图检测模型通常将语句映射到向量空间,并使用局部异常因子算法定义密度较小的特征点为未知意图,但经交叉熵损失训练的已知意图特征簇更加狭长,簇内的整体间距、密度和分散情况不均匀,进而增加了检测难度。针对上述问题,提出一种基于自动编码器重建误差的未知意图检测模型。在训练阶段,使用融入标签知识的联合损失函数训练已知意图分类器,使已知意图特征类间距离大且类内距离小,并利用这些特征训练一个仅能获取已知意图信息的自动编码器。在测试阶段,利用自动编码器将重建误差较大的样本视为未知意图,其余样本视为已知意图正常分类。在SNIPS数据集上的实验结果表明,在已知意图占比为25%、50%、75%时,该模型的Macro F1得分相比于表现最优的增强语义的高斯混合损失基线模型分别提升了16.93%、1.14%和2.37%,能够检测到更多的未知意图样本,同时在类别分布极不平衡的ATIS数据集上也有较好的性能表现。     

类别约束下自适应主题建模的图像场景分类

提出一种基于类别约束的主题模型用于实现场景分类.不同于现有方法,本文将图像场景类别信息引入模型参数推导过程中,采用与其类别相关的类主题集描述图像的语义内容.针对各场景类图像中潜在主题数量变化,提出了一种ATS-LDA(自适应主题数的潜在狄里克雷分布)模型实现中层语义的建模算法.该模型依据各场景类训练样本关于视觉词语表示的变化估计所需主题数,体现了各类场景中间语义的繁简变化.根据各类模型下的图像概率分布,采用最大似然估计实现测试样本的场景语义分类.改变了现有主题模型需要依赖于其它分类器完成场景分类的现状.通过多个图像数据集分类任务证明该模型能够在不需要太多训练的情况下取得较好地性能.     

基于语义感知的图像美学质量评估方法

当前图像美学质量评估的研究主要基于图像的视觉内容来给出评价结果,忽视了美感是人的认知活动的事实,在评价时没有考虑用户对图像语义信息的理解。为了解决这一问题,提出了一种基于语义感知的图像美学质量评估方法,将图像的物体类别信息以及场景类别信息也用于图像美学质量评估。运用迁移学习的思想,构建了一种可以融合图像多种特征的混合网络。对于每一幅输入图像,该网络可以分别提取出其物体类别特征、场景类别特征以及美学特征,并将这三种特征进行高质量的融合,以达到更好的图像美学质量评估效果。该方法在AVA数据集上的分类准确率达到89.5%,相对于传统方法平均提高了19.9%,在CUHKPQ数据集上的泛化性能也有了很大提升。实验结果表明,所提方法在图像美学质量评估问题上,能够取得更好的分类性能。