改进K-Means聚类算法及其在视觉词典构造中的应用

K-Means聚类是视觉词典构造的常用方法,其聚类结果直接影响后续的特征量化效果和检索精度,而现有的K-Means聚类算法难以获得高质量的视觉词典。针对这种情况,提出局部化K-Means聚类算法。算法首先根据启发式原则将特征集划分成若干个独立的子集,并对各子集进行传统K-Means聚类,然后以各子集的聚类中心为对象进行加权K-Means聚类。上述过程不断迭代直至形成特定规模的视觉词典。实验结果表明,与现有算法相比,该算法提高了聚类质量。在SIFT特征集和标准数据集上进行的多组对比实验证明了该算法的有效性。     

基于优化视觉词袋模型的图像分类方法

针对视觉词袋（BOV）模型中过大的视觉词典会导致图像分类时间代价过大的问题,提出一种加权最大相关最小相似（W-MR-MS）视觉词典优化准则。首先,提取图像的尺度不变特征转换（SIFT）特征,并用K-Means算法对特征聚类生成原始视觉词典;然后,分别计算视觉单词与图像类别间的相关性,以及各视觉单词间的语义相似性,引入一个加权系数权衡两者对图像分类的重要程度;最后,基于权衡结果,删除视觉词典中与图像类别相关性弱、与视觉单词间语义相似性大的视觉单词,从而达到优化视觉词典的目的。实验结果表明,在视觉词典规模相同的情况下,所提方法的图像分类精度比传统基于K-Means算法的图像分类精度提高了5.30%;当图像分类精度相同的情况下,所提方法的时间代价比传统K-Means算法下的时间代价降低了32.18%,因此,所提方法具有较高的分类效率,适用于图像分类。     

基于Nystrom谱聚类的词典学习

构建视觉词典是BOVW模型中关键的一个步骤,目前大多数视觉词典是基于K-means聚类方式构建。然而由于K-means聚类的局限性以及样本空间结构的复杂性与高维性,这种方式构建的视觉词典往往区分性能较差。在谱聚类的框架下,提出一种区分性能更强的视觉词典学习算法,为了减少特征在量化过程中区分性能的降低以及谱聚类固有的存储计算问题,算法根据训练样本的类别标签对训练数据进行划分,基于Nystrom谱聚类得到各子样本数据集的中心并得到最终的视觉词典。在Scene-15数据集上的实验结果验证了算法的正确性和有效性。特别当训练样本有限时,采用该算法生成的视觉词典性能较优。     

基于Nystr?m谱聚类的词典学习

构建视觉词典是BOVW模型中关键的一个步骤,目前大多数视觉词典是基于K-means聚类方式构建。然而由于K-means聚类的局限性以及样本空间结构的复杂性与高维性,这种方式构建的视觉词典往往区分性能较差。在谱聚类的框架下,提出一种区分性能更强的视觉词典学习算法,为了减少特征在量化过程中区分性能的降低以及谱聚类固有的存储计算问题,算法根据训练样本的类别标签对训练数据进行划分,基于Nystr?m谱聚类得到各子样本数据集的中心并得到最终的视觉词典。在Scene-15数据集上的实验结果验证了算法的正确性和有效性。特别当训练样本有限时,采用该算法生成的视觉词典性能较优。     

基于特征选择与谱聚类的视觉词典构建算法

传统的视觉词典一般通过K-means聚类生成,一方面这种无监督的学习没有充分利用类别的先验信息,另一方面由于K-means算法自身的局限性导致生成的视觉词典性能较差。针对上述问题,提出一种基于谱聚类构建视觉词典的算法,根据训练样本的类别信息进行分割并采用动态互信息的度量方式进行特征选择,在特征空间中进行谱聚类并生成最终的视觉词典。该方法充分利用了样本的类别信息和谱聚类的优点,有效地解决了图像数据特征空间的高维性和结构复杂性所带来的问题;在Scene-15数据集上的实验结果验证了算法的有效性。     

一种基于视觉词典优化和查询扩展的图像检索方法

视觉词典方法（Bag of visual words,BoVW）是当前图像检索领域的主流方法,然而,传统的视觉词典方法存在计算量大、词典区分性不强以及抗干扰能力差等问题,难以适应大数据环境.针对这些问题,本文提出了一种基于视觉词典优化和查询扩展的图像检索方法.首先,利用基于密度的聚类方法对SIFT特征进行聚类生成视觉词典,提高视觉词典的生成效率和质量;然后,通过卡方模型分析视觉单词与图像目标的相关性,去除不包含目标信息的视觉单词,增强视觉词典的分辨能力;最后,采用基于图结构的查询扩展方法对初始检索结果进行重排序.在Oxford5K和Paris6K图像集上的实验结果表明,新方法在一定程度上提高了视觉词典的质量和语义分辨能力,性能优于当前主流方法.     

层次聚类结合空间金字塔的图像分类

在图像分类中,视觉词典的质量直接影响着图像分类的结果,随着用户的要求提高,K-means聚类算法所构建的视觉词典已无法满足用户对图像分类的需求,为了得到高效的视觉词汇码本,针对构建视觉词典的算法进行研究,通过K-means算法和层次聚类算法的结合来达到这一目的。混合聚类算法采用K-means算法对数据样本进行初步聚类,得到一个粗略的划分;引入信息熵的属性加权,利用信息熵度量某个属性的关键性,信息熵越大的属性对聚类结果的影响越小,计算加权后的类间欧式距离,将距离相近的两个类进行合并;在空间金字塔模型框架中,将改进的混合聚类方法应用到视觉词典的构建中。实验结果表明,结合信息熵的层次聚类算法能有效提高空间金字塔模型的分类准确率。     

基于监督核哈希生成视觉词袋模型的图像分类

为了解决大规模数据集下传统视觉词袋模型生成时间长、内存消耗大且分类精度低等问题,提出了基于监督核哈希(Supervised Hashing with Kernels,KSH)的视觉词袋模型.首先,提取图像的SIFT特征点,构造特征点样本集.然后,学习KSH函数,将距离相近的特征点映射成相同的哈希码,每一个哈希码代表聚类中心,构成视觉词典.最后,利用生成的视觉词典,将图像表示为直方图向量,并应用于图像分类.在标准数据集上的实验结果表明,该模型生成的视觉词典具有较好的区分度,有效地提高了图像分类的精度和效率.     

基于最大频繁项集的图像分类技术

针对传统视觉词袋(Bag Of Visual Words,BOVW)模型缺少空间信息,且不能充分表达图像所属类别共有特征的问题,提出一种基于最大频繁项集的视觉词袋表示方法。该方法在排除孤立特征点的基础上,引入环形区域划分的思想,嵌入更多的空间信息。通过对不同环的视觉单词进行频繁项挖掘得到新的视觉单词表示,能有效提高同类别图像视觉单词的相似程度,而使不同类别视觉单词的差异更为显著。通过在图像数据集COREL及Caltech-256上进行分类实验,验证了该方法的有效性和可行性。     

基于多视觉词典的显著性加权图像检索方法

针对视觉词典在图像表示与检索方面的应用需求,本文提出了一种基于多视觉词典与显著性加权相结合的图像检索方法,实现了图像多特征的显著性稀疏表示。该方法首先划分图像为小块,提取图像块的多种底层特征,然后将其作为输入向量,通过非负稀疏编码分别学习图像块多种特征对应的视觉词典,将得到的图 像块稀疏向量经过显著性汇总方法引入空间信息并作显著性加权处理,形成整幅图像的稀疏表示,最后采用提出的SDD距离计算方式进行图像检索。在Corel和Caltech通用图像集上进行仿真实验,与单一视觉词典的方法对比,结果表明本文方法能够有效提高图像检索的准确率。     

Large scale continuous visual event recognition using max-margin Hough transformation framework

In this paper we propose a novel method for continuous visual event recognition (CVER) on a large scale video dataset using max-margin Hough transformation framework. Due to high scalability, diverse real environmental state and wide scene variability direct application of action recognition/detection methods such as spatio-temporal interest point (STIP)-local feature based technique, on the whole dataset is practically infeasible. To address this problem, we apply a motion region extraction technique which is based on motion segmentation and region clustering to identify possible candidate “event of interest” as a preprocessing step. On these candidate regions a STIP detector is applied and local motion features are computed. For activity representation we use generalized Hough transform framework where each feature point casts a weighted vote for possible activity class centre. A max-margin frame work is applied to learn the feature codebook weight. For activity detection, peaks in the Hough voting space are taken into account and initial event hypothesis is generated using the spatio-temporal information of the participating STIPs. For event recognition a verification Support Vector Machine is used. An extensive evaluation on benchmark large scale video surveillance dataset (VIRAT) and as well on a small scale benchmark dataset (MSR) shows that the proposed method is applicable on a wide range of continuous visual event recognition applications having extremely challenging conditions.     

综合结构和纹理特征的场景识别

当前在计算机视觉领域,场景识别尽管取得了较大进展,但其对于计算机视觉而言,仍然是一个极具挑战的问题.此前的场景识别方法,有些需要预先手动地对训练图像进行语义标注,并且大部分场景识别方法均基于"特征袋"模型,需要对提取的大量特征进行聚类,计算量和内存消耗均很大,且初始聚类中心及聚类数目的选择对识别效果有较大影响.为此本文提出一种不基于"特征袋"模型的无监督场景识别方法.先通过亚采样构建多幅不同分辨率的图像,在多级分辨率图像上,分别提取结构和纹理特征,用本文提出的梯度方向直方图描述方法表示图像的结构特征,用Gabor滤波器组和Schmid滤波集对图像的滤波响应表示图像的纹理特征,并将结构和纹理特征作为相互独立的两个特征通道,最后综合这两个特征通道,通过SVM分类,实现对场景的自动识别.分别在Oliva,Li Fei-Fei和Lazebnik等的8类、13类和15类场景图像库上进行测试实验,实验结果表明,梯度方向直方图描述方法比经典的SIFT描述方法,有着更好的场景识别性能;综合结构和纹理特征的场景识别方法,在通用的三个场景图像库上取得了很好的识别效果.     

A 2-D wavelet decomposition-based bag-of-visual-words model for land-use scene classification

Previous works about spatial information incorporation into a traditional bag-of-visual-words (BOVW) model mainly consider the spatial arrangement of an image, ignoring the rich textural information in land-use remote-sensing images. Hence, this article presents a 2-D wavelet decomposition (WD)-based BOVW model for land-use scene classification, since the 2-D wavelet decomposition method does well not only in textural feature extraction, but also in the multi-resolution representation of an image, which is favourable for the use of both spatial arrangement and textural information in land-use images. The proposed method exploits the textural structures of an image with colour information transformed into greyscale. Moreover, it works first by decomposing the greyscale image into different sub-images using 2-D discrete wavelet transform (DWT) and then by extracting local features of the greyscale image and all the decomposed images with dense regions in which a given image is evenly sampled by a regular grid with a specified grid space. After that, the method generates the corresponding visual vocabularies and computes histograms of visual word occurrences of local features found in each former image. Specifically, the soft-assignment or multi-assignment (MA) technique is employed, accounting for the impact of clustering on visual vocabulary creation that two similar image patches may be clustered into different clusters when increasing the size of visual vocabulary. The proposed method is evaluated on a ground truth image dataset of 21 land-use classes manually extracted from high-resolution remote-sensing images. Experimental results demonstrate that the proposed method significantly outperforms previous methods, such as the traditional BOVW model, the spatial pyramid representation-based BOVW method, the multi-resolution representation-based BOVW method, and so on, and even exceeds the best result obtained from the creator of the land-use dataset. Therefore, the proposed approach is very suitable for land-use scene classification tasks.     

基于知识量加权的直觉模糊均值聚类方法

针对聚类算法中特征数据对聚类中心贡献的差异性及算法对初始聚类中心的敏感性等问题,提出一种基于知识量加权的直觉模糊均值聚类方法。首先将原始数据集直觉模糊化并改进最新的直觉模糊知识测度计算知识量,据此实现数据集特征加权,再利用核空间密度与核距离初始化聚类中心,以提高高维特征数据集的计算精度与聚类效率,最后基于类间样本距离与最小知识量原理建立聚类优化模型,得到最优迭代算法。基于UCI人工数据集的实验结果表明,所提方法较大程度地提高了聚类的准确性与迭代效率,分类正确率及执行效率分别平均提高了10.63%和31.75%,且具有良好的普适性和稳定性。该方法首次将知识测度新理论引入模糊聚类并取得优良效果,为该理论在其他相关领域的潜在应用开创了新例。     

基于局部时空特征方向加权的人体行为识别

目的 对人体行为的描述是行为识别中的关键问题,为了能够充分利用训练数据从而保证特征对行为的高描述性,提出了基于局部时空特征方向加权的人体行为识别方法。方法 首先,将局部时空特征的亮度梯度特征分解为3个方向(X、Y、Z)分别来描述行为, 通过直接构造视觉词汇表分别得到不同行为3方向特征描述子集合的标准视觉词汇码本,并利用训练视频得到每个行为的标准3方向词汇分布;进而,根据不同行为3方向特征描述子集合的标准视觉词汇码本,分别计算测试视频相应的3方向的词汇分布,并利用与各行为标准3方向词汇分布的加权相似性度量进行行为识别;结果 在Weizmann数据库和KTH数据库中进行实验,Weizmann数据库中的平均识别率高达96.04%,KTH数据库中的平均识别率也高达96.93%。结论 与其他行为识别方法相比可以明显提高行为平均识别率。     

The image annotation algorithm using convolutional features from intermediate layer of deep learning

The automatic image annotation is an effective computer operation that predicts the annotation of an unknown image by automatically learning potential relationships between the semantic concept space and the visual feature space in the annotation image dataset. Usually, the auto-labeling image includes the processing: learning processing and labeling processing. Existing image annotation methods that employ convolutional features of deep learning methods have a number of limitations, including complex training and high space/time expenses associated with the image annotation procedure. Accordingly, this paper proposes an innovative method in which the visual features of the image are presented by the intermediate layer features of deep learning, while semantic concepts are represented by mean vectors of positive samples. Firstly, the convolutional result is directly output in the form of low-level visual features through the mid-level of the pre-trained deep learning model, with the image being represented by sparse coding. Secondly, the positive mean vector method is used to construct visual feature vectors for each text vocabulary item, so that a visual feature vector database is created. Finally, the visual feature vector similarity between the testing image and all text vocabulary is calculated, and the vocabulary with the largest similarity used for annotation. Experiments on the datasets demonstrate the effectiveness of the proposed method; in terms of F1 score, the proposed method’s performance on the Corel5k dataset and IAPR TC-12 dataset is superior to that of MBRM, JEC-AF, JEC-DF, and 2PKNN with end-to-end deep features.

     

视觉地形分类的词袋框架综述

目的 视觉地形分类是室外移动机器人领域的一个研究热点。基于词袋框架的视觉地形分类方法,聚集和整合地形图像的视觉底层特征,建立底层特征统计分布与高层语义之间的联系,已成为目前视觉地形分类的常用方法和标准范式。本文全面综述视觉地形分类中的词袋框架,系统性总结现有研究工作,同时指出未来的研究方向。方法 词袋框架主要包括4个步骤：特征提取、码本聚类、特征编码、池化与正则化。对各步骤中的不同方法加以总结和比较,建立地形分类数据集,评估不同方法对地形识别效果的影响。结果 对词袋框架各步骤的多种方法进行系统性的分类和总结,利用地形数据集进行评估,发现每个步骤对最后生成的中层特征性能都至关重要。特异性特征设计、词袋框架改进和特征融合研究是未来重要的研究方向。结论 词袋框架缩小低层视觉特征与高层语义之间的语义鸿沟,生成中层语义表达,提高视觉地形分类效果。视觉地形分类的词袋框架方法研究具有重要意义。     

三维网格模型增量式聚类检索

针对大规模三维网格模型库中的形状检索问题,提出了基于增量式聚类的三维形状描述和检索方法。首先根据三维模型的曲率分布直方图提取特征点得到特征向量;然后根据特征向量描述建立模型库的关键词词典;在特征 匹配阶段基于增量聚类方法判断目标模型的特征向量是否属于某一个关键词,并根据增量聚类的结果更新检索关键词词典;最后匹配特征向量检索模型库中与目标模型形状相同和相近的三维网格模型。相关实验结果证明了该方法快速有效,具有较高的准确性。