基于文本与视觉信息的细粒度图像分类

一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本 信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果。 我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度 图像分类问题。一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端 文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入 分类网络。最终在公共数据集 Con-Text 上测试该方法在图像细分类中的结果,同时也在 SVT 数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果。     

基于词袋模型的迁移学习算法

在分类新类别图像时,词袋模型总需要重新学习视觉词典及分类器,而不能充分利用已经学习好的视觉词典。运用迁移学习的思想,提出一种视觉短语的迁移学习算法。这种视觉短语不仅包含图像的局部不变特征,而且包含特征间的空间结构信息,能更有效地描述不同类别图像之间的共同特征。在分类新类别图像时,算法通过迁移视觉短语而不是重新学习视觉词典,来完成图像分类任务。实验结果证明这种迁移算法能有效地利用已有知识,在分类新类别图像时取得很好的效果,而且还能适用于仅有少量训练样本的图像分类任务。     

基于优化视觉词袋模型的图像分类方法

针对视觉词袋（BOV）模型中过大的视觉词典会导致图像分类时间代价过大的问题,提出一种加权最大相关最小相似（W-MR-MS）视觉词典优化准则。首先,提取图像的尺度不变特征转换（SIFT）特征,并用K-Means算法对特征聚类生成原始视觉词典;然后,分别计算视觉单词与图像类别间的相关性,以及各视觉单词间的语义相似性,引入一个加权系数权衡两者对图像分类的重要程度;最后,基于权衡结果,删除视觉词典中与图像类别相关性弱、与视觉单词间语义相似性大的视觉单词,从而达到优化视觉词典的目的。实验结果表明,在视觉词典规模相同的情况下,所提方法的图像分类精度比传统基于K-Means算法的图像分类精度提高了5.30%;当图像分类精度相同的情况下,所提方法的时间代价比传统K-Means算法下的时间代价降低了32.18%,因此,所提方法具有较高的分类效率,适用于图像分类。     

基于内容的图像分类体系

对图像资源的有效使用和管理迫切需要建立图像分类的标准或规范，本文通过采集网络图像样本，考察它们的视觉特征差异情况，提出了基于内容的图像分类体系，并且就每类图像的特点予以介绍，指出了图像中用于分类的鲜明的视觉特征。     

多特征融合的遥感图像分类

针对高分辨率遥感图像特点,提出了一种多特征融合的分类方法。该方法首先改进了原始的视觉词袋生成算法;然后,分别提取图像的视觉词袋局部特征、颜色直方图特征以及Gabor纹理特征;最后采用支持向量机进行分类,并对多特征分类结果进行自适应综合。采用一个具有2 100幅图像的大型遥感图像分类公共测试数据集进行分类实验,与仅用单一特征分类方法的最高分类精度相比,本文多特征融合的遥感影像分类方法总体平均分类精度提高了10%,表明本文提出方法是一种有效的高分辨率遥感图像分类方法     

基于视觉描述符的图像大数据分类算法仿真

图像大数据化是不可阻挡的科技进程,但随着图像数量的增多,传统分类算法在图像识别与分类上具有一定的局限性。为解决大数据图像分类的精确度低下的问题,提出一种融合图像视觉描述符与图像初级特征的分类算法。首先利用迁移学习的优势,从VGG18的最大池化层提取图像的初级特征;然后加个图像预处理,采用“82圆型LBP算子”与“化Canny算子”分别提取同质纹理描述符与边缘直方描述符;最后将图像基础特征与视觉描述符相融合构建基于支持向量机的图像识别分类模型(DES-SVM)。仿真结果表明,经图像视觉描述符与图像初级特征相融合的建模方式,有效的提高了图像分类的精确度,较传统SVM模型相比,DES-SVM模型在UKB图像库与ZBD图像库上准确率、召回率与F指标分别提高了7.85%、8.42%和8.13%。构建的DES-SVM图像识别分类模型通过视觉描述符提取的方式有效的提升了模型的性能。     

基于概念的自然纹理分类

纹理是图像的重要视觉特征,纹理分类是图像分析、计算机视觉等领域一个重要的研究课题。文章不同于以往的纹理分类方法,提出了一种基于概念的纹理分类方法。该方法以中文自然语言中常用的纹理描述词作为纹理概念,给出了10个基本概念的纹理分类,然后利用Gabor滤波参数和SVM对自然纹理图像进行分类,实现了图像的纹理视觉特征到纹理概念的转换,部分解决了纹理概念与纹理参数之间的“语义鸿沟”问题。     

图像场景分类中视觉词包模型方法综述

目的关于图像场景分类中视觉词包模型方法的综述性文章在国内外杂志上还少有报导,为了使国内外同行对图像场景分类中的视觉词包模型方法有一个较为全面的了解,对这些研究工作进行了系统总结。方法在参考国内外大量文献的基础上,对现有图像场景分类(主要指针对单一图像场景的分类)中出现的各种视觉词包模型方法从低层特征的选择与局部图像块特征的生成、视觉词典的构建、视觉词包特征的直方图表示、视觉单词优化等多方面加以总结和比较。结果回顾了视觉词包模型的发展历程,对目前存在的多种视觉词包模型进行了归纳,比较常见方法各自的优缺点,总结了视觉词包模型性能评价方法,并对目前常用的标准场景库进行汇总,同时给出了各自所达到的最高精度。结论图像场景分类中视觉词包模型方法的研究作为计算机视觉领域方兴未艾的热点研究领域,在国内外研究中取得了不少进展,在计算机视觉领域的研究也不再局限于直接应用模型描述图像内容,而是更多地考虑图像与文本的差异。虽然视觉词包模型在图像场景分类的应用中还存在很多亟需解决的问题,但是这丝毫不能掩盖其研究的重要意义。     

基于纹理图像分析的生物视觉模型不变性评价

基于纹理图像,从计算机视觉角度对生物视觉模型——视皮层目标识别的标准模型进行定量分析与评价。对原始图像分别进行尺度、旋转及仿射等变化,利用标准模型提取变化后图像的生物视觉特征,再根据提取的生物视觉特征对纹理图像进行分类,采用图像分类结果的曲线下面积来定量分析和评价生物视觉模型是否具有不变性。大量与局部二元模式特征的对比实验表明,该模型提取的生物视觉特征对于纹理图像具备优良的尺度、旋转与仿射不变性。     

一种新的图像语义与视觉特征的映射方法

建立低层视觉特征与高层语义的映射关系能够很好地解决图像检索中的“语义鸿沟”问题。提出一种图像视觉特征与高层语义的映射方法。该方法通过用户的相关反馈来获得图像的语义信息,构造图像特征-语义决策表并结合粗糙集中的知识约简删除了与语义无关的冗余特征,实现了高层语义与底层视觉特征的映射。实验结果表明该方法能够显著减少与语义无关的视觉特征数量,降低分类的复杂性和计算代价,具有较好的分类准确率。     

基于空间结构统计建模的图像分类方法

提出一种基于图像空间结构统计建模的复杂纹理图像模式识别方法。从理论上分析了复杂纹理图像空间结构的韦伯分布过程,通过构造多尺度全向高斯导数滤波器,获得复杂纹理图像在不同观测尺度上的全方向空间结构统计建模表征结果。基于偏最小二乘-判决分析原理构建分类器,实现了复杂纹理图像的分类识别。实验结果表明,所提出的图像空间结构统计建模方法能获得复杂纹理图像关键性的视觉感知特性,基于该方法的图像分类准确率高且性能稳定。     

包空间多示例图像自动分类

为了有效地解决多示例图像自动分类问题,提出一种将多示例图像转化为包空间的单示例描述方法.该方法将图像视为包,图像中的区域视为包中的示例,根据具有相同视觉区域的样本都会聚集成一簇,用聚类算法为每类图像确定其特有的“视觉词汇”,并利用负包示例标注确定的这一信息指导典型“视觉词汇”的选择;然后根据得到的“视觉词汇”构造一个新的空间—包空间,利用基于视觉词汇定义的非线性函数将多个示例描述的图像映射到包空间的一个点,变为单示例描述;最后利用标准的支持向量机进行监督学习,实现图像自动分类.在Corel图像库的图像数据集上进行对比实验,实验结果表明该算法具有良好的图像分类性能.     

文本检测与识别在细粒度图片分类中的应用

细粒度的图片分类是深度学习图片分类领域中的一个重要分支,其分类任务比一般的图片分类要困难,因为很多不同分类图片中的特征相似度极高,没有特别鲜明的特征用以区分,因而需要优化一个传统的图片分类方法.在一般的图片分类中,通常通过提取视觉以及像素级别的特征用来训练,然而直接应用到细粒度分类上并不太适配,效果仍有待提高,可考虑利用非像素级别的特征来加以区分.因此,我们提出联合文本信息和视觉信息作用于图片分类中,充分利用图片上的特征,将文本检测与识别算法和通用的图片分类方法结合,应用于细粒度图片分类中,在Con-text数据集上的实验结果表明我们提出的算法得到的准确率有显著的提升.     

一种基于图像区域系综分类的室外场景理解方法

多层感知机分类器是一种有效的数据分类方法，但其分类性能受训练样本空间的限制。通过多层感知机分类器系综提高室外场景理解中图像区域的分类性能，提出了一种自动识别室外场景图像中多种景物所属概念类别的方法。该方法首先提取图像分割区域的低层视觉特征，然后基于系综分类方法建立区域视觉特征和语义类别的对应关系，通过合并相同标注区域，确定图像中景物的高层语义。对包含5种景物的150幅图像进行测试，识别率达到了87％。与基于多层感知机方法的实验结果相比，本文提出的方法取得了更好的性能，这表明该方法适合于图像区域分类。此外，系综方法还可以推广到其他的分类问题。     

A discriminative and sparse topic model for image classification and annotation

Image classification is to assign a category of an image and image annotation is to describe individual components of an image by using some annotation terms. These two learning tasks are strongly related. The main contribution of this paper is to propose a new discriminative and sparse topic model (DSTM) for image classification and annotation by combining visual, annotation and label information from a set of training images. The essential features of DSTM different from existing approaches are that (i) the label information is enforced in the generation of both visual words and annotation terms such that each generative latent topic corresponds to a category; (ii) the zero-mean Laplace distribution is employed to give a sparse representation of images in visual words and annotation terms such that relevant words and terms are associated with latent topics. Experimental results demonstrate that the proposed method provides the discrimination ability in classification and annotation, and its performance is better than the other testing methods (sLDA-ann, abc-corr-LDA, SupDocNADE, SAGE and MedSTC) for LabelMe, UIUC, NUS-WIDE and PascalVOC07 images.     

基于context模型的contourlet域图像去噪

在分析contourlet域系数分布特征的基础上提出了一种基于context模型的contourlet域图像去噪算法。算法的关键点在于:基于contourlet变换系数的分布特性,确定合适的去噪门限;利用context模型建立图像contourlet变换后的系数分类模型并根据分类使用不同的门限去噪。实验表明,本方法能较好地去除图像噪声,在提高去噪图像PSNR值和改善主观视觉效果方面都表现出了良好的性能。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.