多特征融合的场景图像分类算法

提出了一种Gabor-LBP频域纹理特征与词包模型语义特征相结合的场景图像分类算法.利用Gabor变换得到的频域信息,及对应的LBP特征,与视觉词包模型（BOW）提取的语义特征自适应相融合,实现分类.为了验证本文算法,利用两个标准图像测试库进行比较测试,实验结果表明,本文算法在改善图像纹理表达上具有明显优势,特别是对于图像的光照、旋转、尺度都具有很好的鲁棒性.     

面向计算机视觉系统的对抗样本攻击综述

对抗样本攻击是近年来计算机视觉领域的热点研究方向,通过对图像添加细微的噪声,对抗样本使计算机视觉系统做出错误判断.对抗样本攻击的研究起初重点关注于图像分类任务,随着研究的深入逐步拓展到目标检测、人脸识别等更加复杂的计算机视觉任务中.然而,现有的对抗样本综述缺乏对新兴图像分类攻击方案的梳理总结以及针对目标检测、人脸识别等复杂任务攻击的分析总结.本论文聚焦于计算机视觉系统中的对抗样本攻击,对其理论与前沿技术进行了系统性的综述研究.首先,本论文介绍了对抗样本的关键概念与敌手模型.其次,分类总结和对比分析了对抗样本存在原因的三大类相关假设.再次,根据数字域与物理域两大应用场景,分类概述和对比分析图像分类系统中的对抗样本攻击技术.根据不同的敌手模型,我们进一步地将图像分类任务数字域的攻击方案划分为白盒和黑盒两种场景,并重点总结梳理了新兴的攻击类别.同时,在目标检测、人脸识别、语义分割、图像检索、视觉跟踪五类复杂计算机视觉任务上,根据适用场景分类总结各类任务中的对抗样本攻击方案.进一步地,从攻击场景、攻击目标、攻击效果等方面对于不同攻击方案进行详细地对比分析.最后,基于现有对抗样本攻击方法的总结,...     

零样本图像分类综述

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点。首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等进行了分析和总结;然后,简单介绍了零样本图像分类常用数据集和评估方法,并对典型零样本图像分类方法进行了性能比较;接着,指出了现有零样本图像分类中存在的领域漂移、枢纽点和语义鸿沟等问题及相应的解决思路;最后,对零样本图像分类未来发展趋势和研究热点,如判别性区域的准确定位、生成高质量不可见类视觉特征、广义零样本图像分类等进行了探讨。     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

三角形约束下的词袋模型图像分类方法

视觉词袋模型广泛地应用于图像分类与图像检索等领域.在传统词袋模型中,视觉单词统计方法忽略了视觉词之间的空间信息以及分类对象形状信息,导致图像特征表示区分能力不足.本文提出了一种改进的视觉词袋方法,结合显著区域提取和视觉单词拓扑结构,不仅能够产生更具代表性的视觉单词,而且能够在一定程度上避免复杂背景信息和位置变化带来的干扰.首先,通过对训练图像进行显著区域提取,在得到的显著区域上构建视觉词袋模型.其次,为了更精确的描述图像的特征,抵抗多变的位置和背景信息的影响,该方法采用视觉单词拓扑结构策略和三角剖分方法,融入全局信息和局部信息.通过仿真实验,并与传统的词袋模型及其他模型进行比较,结果表明本文提出的方法获得了更高的分类准确率.     

基于内容相关性的场景图像分类方法

场景图像分类是计算机视觉领域中的一个基本问题.提出一种基于内容相关性的场景图像分类方法.首先从图像上提取视觉单词.并把图像表示成视觉单词的词频矢量;然后利用产生式模型来学习训练集合中包含的主题,和每一幅图像所包含的相关主题;最后用判定式分类器进行多类学习.提出的方法利用logistic正态分布对主题的相关性进行建模.使得学习得到的类别的主题分布更准确.并且在学习过程中不需要对图像内容进行人工标注.还提出了一种新的局部区域描述方法,它结合了局部区域的梯度信息和彩色信息.在自然场景图像集合和人造场景图像集合上实验了提出的方法,它相对于传统方法取得了更好的结果.     

超像素词包模型与SVM分类的图像标注

为了改善基于词包模型与支持向量机(SVM)分类一幅图对应一个标签的单标签分类问题,提出了一种基于超像素词包模型与SVM分类的图像标注算法.将超像素分割结果作为词包模型的基本单元,用词包模型生成的视觉词汇表示超像素区域特征,保留了图像中的同质区域,很好地利用了图像的区域特征.仿真结果表明,该方法能有效改善基于词包模型与SVM分类的单标签分类问题,且分类的准确性有所提高.     

基于上下文语义信息的铁路扣件状态检测

针对传统"视觉词包(BOW)模型"识别铁路扣件状态时仅利用扣件图像的特征域,忽略其空间域中上下文语义信息的缺点,提出了一种基于上下文语义信息的扣件检测模型.在传统"视觉词包模型"的基础上,引入吉布斯随机场模型对图像中像素的空间相关性进行建模,将图像块在特征域的相似性与空间域的上下文语义约束关系结合,更准确地定义视觉单词;利用潜在狄利克雷分布(LDA)学习扣件图像的主题分布;采用支持向量机(SVM)对扣件进行分类识别.对4类扣件图像的分类实验证明:模型能够有效提高扣件分类精度.     

基于概念格层次分析的视觉词典生成方法

视觉词典容量是影响图像场景分类精度的重要因素之一,大容量的视觉词典因计算量较大影响了分类的效率,而小容量的视觉词典由于多义词问题的严重致使场景分类精度降低.针对该问题,提出一种基于概念格层次分析的视觉词典生成方法.首先生成关于训练图像视觉词包模型的初始视觉词典;然后在构造的概念格上利用概念格的概念层次性,通过动态地调整外延数阈值,获取粒度大小不同容量的描述图像各场景语义的约简视觉词典;最后对各类约简视觉单词构成向量进行异或,删除多义词,进而生成有效描述图像场景语义的视觉词典.实验结果表明,文中方法是有效的.     

人群行为分析研究综述

近年来,人群行为分析成为计算机视觉领域中备受关注的研究方向,主要运用于智能视频监控、人机交互、智能家居、视频检索等领域,以视频中运动人群的行为分析和理解为研究目的,对输入序列图像中的运动目标进行运动检测、匹配和建模.文中对人群行为分析的研究现状以及典型算法进行全面综述.首先对当前人群行为数据库进行简要介绍并分类比较;之后根据人群行为分析算法核心侧重点的不同,将人群行为分析算法分为基于特征和基于模型两大类,并根据每一大类各自的特点进行细分和比较,详细介绍了每类中具有代表性的算法,分析各算法的优缺点和适用的人群场景;最后总结了人群行为分析中的困难和挑战,对该研究领域的发展进行展望.     

A 2-D wavelet decomposition-based bag-of-visual-words model for land-use scene classification

Previous works about spatial information incorporation into a traditional bag-of-visual-words (BOVW) model mainly consider the spatial arrangement of an image, ignoring the rich textural information in land-use remote-sensing images. Hence, this article presents a 2-D wavelet decomposition (WD)-based BOVW model for land-use scene classification, since the 2-D wavelet decomposition method does well not only in textural feature extraction, but also in the multi-resolution representation of an image, which is favourable for the use of both spatial arrangement and textural information in land-use images. The proposed method exploits the textural structures of an image with colour information transformed into greyscale. Moreover, it works first by decomposing the greyscale image into different sub-images using 2-D discrete wavelet transform (DWT) and then by extracting local features of the greyscale image and all the decomposed images with dense regions in which a given image is evenly sampled by a regular grid with a specified grid space. After that, the method generates the corresponding visual vocabularies and computes histograms of visual word occurrences of local features found in each former image. Specifically, the soft-assignment or multi-assignment (MA) technique is employed, accounting for the impact of clustering on visual vocabulary creation that two similar image patches may be clustered into different clusters when increasing the size of visual vocabulary. The proposed method is evaluated on a ground truth image dataset of 21 land-use classes manually extracted from high-resolution remote-sensing images. Experimental results demonstrate that the proposed method significantly outperforms previous methods, such as the traditional BOVW model, the spatial pyramid representation-based BOVW method, the multi-resolution representation-based BOVW method, and so on, and even exceeds the best result obtained from the creator of the land-use dataset. Therefore, the proposed approach is very suitable for land-use scene classification tasks.     

多特征融合的遥感图像分类

针对高分辨率遥感图像特点,提出了一种多特征融合的分类方法。该方法首先改进了原始的视觉词袋生成算法;然后,分别提取图像的视觉词袋局部特征、颜色直方图特征以及Gabor纹理特征;最后采用支持向量机进行分类,并对多特征分类结果进行自适应综合。采用一个具有2 100幅图像的大型遥感图像分类公共测试数据集进行分类实验,与仅用单一特征分类方法的最高分类精度相比,本文多特征融合的遥感影像分类方法总体平均分类精度提高了10%,表明本文提出方法是一种有效的高分辨率遥感图像分类方法     

Feature fusion within local region using localized maximum-margin learning for scene categorization

In the field of visual recognition such as scene categorization, representing an image based on the local feature (e.g., the bag-of-visual-word (BOVW) model and the bag-of-contextual-visual-word (BOCVW) model) has become popular and one of the most successful methods. In this paper, we propose a method that uses localized maximum-margin learning to fuse different types of features during the BOCVW modeling for eventual scene classification. The proposed method fuses multiple features at the stage when the best contextual visual word is selected to represent a local region (hard assignment) or the probabilities of the candidate contextual visual words used to represent the unknown region are estimated (soft assignment). The merits of the proposed method are that (1) errors caused by the ambiguity of single feature when assigning local regions to the contextual visual words can be corrected or the probabilities of the candidate contextual visual words used to represent the region can be estimated more accurately; and that (2) it offers a more flexible way in fusing these features through determining the similarity-metric locally by localized maximum-margin learning. The proposed method has been evaluated experimentally and the results indicate its effectiveness.     

包空间多示例图像自动分类

为了有效地解决多示例图像自动分类问题,提出一种将多示例图像转化为包空间的单示例描述方法.该方法将图像视为包,图像中的区域视为包中的示例,根据具有相同视觉区域的样本都会聚集成一簇,用聚类算法为每类图像确定其特有的“视觉词汇”,并利用负包示例标注确定的这一信息指导典型“视觉词汇”的选择;然后根据得到的“视觉词汇”构造一个新的空间—包空间,利用基于视觉词汇定义的非线性函数将多个示例描述的图像映射到包空间的一个点,变为单示例描述;最后利用标准的支持向量机进行监督学习,实现图像自动分类.在Corel图像库的图像数据集上进行对比实验,实验结果表明该算法具有良好的图像分类性能.     

视觉地形分类的词袋框架综述

目的 视觉地形分类是室外移动机器人领域的一个研究热点。基于词袋框架的视觉地形分类方法,聚集和整合地形图像的视觉底层特征,建立底层特征统计分布与高层语义之间的联系,已成为目前视觉地形分类的常用方法和标准范式。本文全面综述视觉地形分类中的词袋框架,系统性总结现有研究工作,同时指出未来的研究方向。方法 词袋框架主要包括4个步骤：特征提取、码本聚类、特征编码、池化与正则化。对各步骤中的不同方法加以总结和比较,建立地形分类数据集,评估不同方法对地形识别效果的影响。结果 对词袋框架各步骤的多种方法进行系统性的分类和总结,利用地形数据集进行评估,发现每个步骤对最后生成的中层特征性能都至关重要。特异性特征设计、词袋框架改进和特征融合研究是未来重要的研究方向。结论 词袋框架缩小低层视觉特征与高层语义之间的语义鸿沟,生成中层语义表达,提高视觉地形分类效果。视觉地形分类的词袋框架方法研究具有重要意义。     

深度学习在航拍场景分类中的应用

最近几十年来,航拍图片和视频在城市规划、沿海地区监视、军事任务等方面都得到了广泛的运用。因而了解航拍图片中所包含的内容,研究航拍视频所拍摄的场景类型就显得异常重要。目前流行的场景分类算法大多是针对自然场景的,很少有针对高分辨率航拍场景分类的算法。针对高分辨率航拍图片的场景分类给出了一种分层式算法。该算法首先用尺度不变特征转换（scale-invariant feature transform,SIFT）算法提取鲁棒的块局部特征,然后在视觉词袋的基础上,用经局限型波兹曼模型（restricted Boltzmarm machine,RBM）初始化的深层信念网络（deep belief network,DBN）来表示低层特征与高层视频特征之间的关系;同时深层信念网络也起到了分类器的作用。实验结果表明,该算法在处理高分辨率航拍图片场景分类问题时都要略好于目前主流算法。     

Region Contextual Visual Words for scene categorization

This paper proposes a method for scene categorization by integrating region contextual information into the popular Bag-of-Visual-Words approach. The Bag-of-Visual-Words approach describes an image as a bag of discrete visual words, where the frequency distributions of these words are used for image categorization. However, the traditional visual words suffer from the problem when faced these patches with similar appearances but distinct semantic concepts. The drawback stems from the independently construction each visual word. This paper introduces Region-Conditional Random Fields model to learn each visual word depending on the rest of the visual words in the same region. Comparison with the traditional Conditional Random Fields model, there are two areas of novelty. First, the initial label of each patch is automatically defined based on its visual feature rather than manually labeling with semantic labels. Furthermore, the novel potential function is built under the region contextual constraint. The experimental results on the three well-known datasets show that Region Contextual Visual Words indeed improves categorization performance compared to traditional visual words.     

基于分块潜在语义的场景分类方法

提出了一种基于分块潜在语义的场景分类方法。该方法首先对图像进行均匀分块并使用分块内视觉词汇的出现频率来描述每一个分块,然后利用概率潜在语义分析（PLSA）方法从图像的分块集合中发现潜在语义模型,最后利用该模型提取出潜在语义在图像分块中的出现情况来进行场景分类。在13类场景图像上的实验表明,与其他方法相比,该方法具有更高的分类准确率。