基于相关度距离的无监督并行哈希图像检索

针对传统无监督哈希图像检索模型中存在图像数据之间的语义信息学习不足,以及哈希编码长度每换一次模型就需重新训练的问题,提出一种用于大规模图像数据集检索的无监督搜索框架——基于相关度距离的无监督并行哈希图像检索模型.首先,使用卷积神经网络(CNN)学习图像的高维特征连续变量;然后,使用相关度距离衡量特征变量构建伪标签矩阵,...     

基于加权距离的机械设计图像异步检索方法

根据机械设计图像的形状特征,提出一种利用加权距离实现的多特征异步检索方法。首先利用机械设计图像的外接圆距离特征进行初步检索,再结合初步检索结果集的位置计算输入图像和初步检索结果集的加权Hu不变矩特征距离,并据此获得最终的检索结果。实验表明,与单一特征的检索方法相比,该方法在机械设计图像检索中有更高的查准率和查全率。     

基于距离测度学习的AP聚类图像标注

针对有效利用图像底层视觉特征和图像语义特征进行图像标注,提出一种改进的AP（Affinity Propagation）聚类标注模型。首先采用半监督距离测度学习算法,融合图像语义信息,训练得到新的距离测度。然后使用新的距离测度对每一类图像进行AP聚类,生成各类图像的聚类中心,计算待标注图像到各类图像聚类中心的平均距离,确定待标注图像类别。最后计算待标注图像到类内各个聚类中心的距离,确定待标注图像类内类别,统计该类别下图像的标注词,作为待标注图像的标注词。在Corel5K和NUS-WIDE数据集上进行了实验,经验证,该方法有效提高了标注精度。     

一种基于区域综合特征的图像检索算法

针对基于内容的图像检索所面临的图像低级视觉特征和高级语义之间的语义鸿沟问题,提出一种基于区域的图像检索算法。在LUV颜色空间中使用K均值聚类算法进行图像分割,提取分割后各区域的颜色、形状和区域自相关特征构成区域的综合特征,采用二次型距离相似性度量方法完成图像之间相似性的计算。实验结果表明,该算法具有较好的图像检索性能,与MIRROR中各算法相比,使用平均归一化修正检索等级得到的检索性能提高了12%~47.8%。     

基于特征互补率矩阵的图像分类方法

在基于内容的图像检索和分类系统中,图像的底层特征和高层语义之间存在着语义鸿沟,有效减小语义鸿沟是一个需要广泛研究的问题。为此,提出一种基于特征互补率矩阵的图像分类方法,该方法通过计算视觉特征互补率矩阵进而指导融合特征集的选择,利用测度学习算法得到一个合适的距离测度以反映图像高层语义的相似度。实验结果表明,该方法能有效提高图像分类精度。     

基于视觉面距离的三维模型检索

研究计算机视觉图像优化问题,针对目前三维模型检索较低的的检索精度,为改善检索结果与人视觉上保持一致,减少计算量,提出一种新的基于视觉面距离的模型检索算法。利用模型的整体特征;根据表层视觉特性构建视觉面距离模型将三维模型映射到二维模型;由于二维傅立叶算法不仅对噪音具有很好的鲁棒性,而且对几何变换具有不变性。采用二维傅立叶变换提取二维模型特征向量对特征进行融合,从而有效地评估三维模型之间的相似度。进行仿真分析,仿真结果表明,改进方法较传统其他三维模型检索有更高的精度,并与人视觉的一致性。     

基于Hadoop的大规模图像存储与检索

图像数据的指数型增长使得传统单机的图像检索在处理大规模图像时面临着检索速度慢、并发性差、检索准确率低的问题。由于图像特征文件都是小文件,本文提出将图像特征小文件进行适当的合并后存储于Hadoop的分布式文件系统HDFS中,实现大规模图像的快速存储和读取;为了适应大规模的图像检索,对图像Fisher向量进行二值化处理,并利用MapReduce并行编程模型实现基于二值Fisher向量和SIFT(Scale Invariant Feature Transform)特征的并行检索。在INRIA Holidays数据集、Kentucky数据集和Flicker1M数据集上的实验结果表明该方法扩展性强,能够取得较好的检索准确率,有效减少检索时间,提高检索速度,是一种高效的大规模图像存储和检索的方法。     

基于有向图的足球视频中球员分类算法

基于传统的直方图球员分类方法由于缺乏描述图像颜色的空间信息而造成分类误差,而且该方法需要先验的模板信息。为此,本文提出一种基于有向图的足球球员的分类方法。首先,利用HSV模型中主颜色方法提取候选球员,并利用等面积矩形划分策略对图像进行分块;其次,对子块的HSV颜色空间进行量化,并将统计直方图作为颜色特征,然后通过颜色特征计算图像之间的距离,并利用距离矩阵生成对应有向图;最后,通过对有向图的顶点分类实现球员的分类。实验结果表明,本文提出的方法能够在没有先验模板信息的条件下,能够有效地解决处在分类边界上的球员分类问题,获得98.23%的分类正确率,与传统方法相比,具有更好的分类效果。     

结合判别相关分析与特征融合的遥感图像检索

目的 高分辨率遥感图像检索中,单一特征难以准确描述遥感图像的复杂信息。为了充分利用不同卷积神经网络（convolutional neural networks,CNN）的学习参数来提高遥感图像的特征表达,提出一种基于判别相关分析的方法融合不同CNN的高层特征。方法 将高层特征作为特殊的卷积层特征处理,为了更好地保留图像的原始空间信息,在图像的原始输入尺寸下提取不同高层特征,再对高层特征进行最大池化来获得显著特征;计算高层特征的类间散布矩阵,结合判别相关分析来增强同类特征的联系,并突出不同类特征之间的差异,从而提高特征的判别力;选择串联与相加两种方法来对不同特征进行融合,用所得融合特征来检索高分辨率遥感图像。结果 在UC-Merced、RSSCN7和WHU-RS19数据集上的实验表明,与单一高层特征相比,绝大多数融合特征的检索准确率和检索时间都得到有效改进。其中,在3个数据集上的平均精确率均值（mean average precision,mAP）分别提高了10.4% 14.1%、5.7% 9.9%和5.9% 17.6%。以检索能力接近的特征进行融合时,性能提升更明显。在UC-Merced数据集上,融合特征的平均归一化修改检索等级（average normalized modified retrieval rank,ANMRR）和mAP达到13.21%和84.06%,与几种较新的遥感图像检索方法相比有一定优势。结论 本文提出的基于判别相关分析的特征融合方法有效结合了不同CNN高层特征的显著信息,在降低特征冗余性的同时,提升了特征的表达能力,从而提高了遥感图像的检索性能。     

基于Contourlet广义高斯模型的纹理图像检索

Contourlet变换结合了不可分离的方向滤波组,具备小波所不能表达的多方向特性,能有效捕获自然图像的边缘轮廓信息。本文分析了图像Contourlet系数的统计特征,并利用广义高斯函数对各子带系数层进行建模。将此模型应用于基于V isTex的自建纹理图像库,采用矩匹配估计法,提取模型参数集,运用K-L距离计算图像间的相似度。对800幅纹理图像进行检索,本文方法比传统小波方法的平均检索查准率高出约2%到10%不等。实验结果表明,该方法改进了导向纹理的描述。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

基于图切割的图像拼接技术研究

虽然图像拼接技术已进行多年研究,但是鬼影和曝光差异仍然难以消除。为解决这两个问题,提出了一种基于图切割的图像拼接方法。该方法结合图切割和泊松融合技术,首先利用每个像素邻域统计得到的梯度方向直方图来计算重叠区的带权有向图的权值,并通过实现稳定的图切割缝合线搜索,以消除鬼影;然后利用重叠过渡的泊松融合过程解决了缝合线拼接后的曝光差异问题,从而最终实现平滑的图像拼接。实验表明,该算法能够效地消除鬼影和曝光差异。     

融合BTM和图论的微博检索模型

微博数据量庞大且微博文本的字符数少、特征稀疏,为提高检索精度,提出一种融合BTM和图论的微博检索模型,通过词汇语义相关度计算微博文本中带有标签的特征相关度,构建bi-term主题模型,用JSD距离计算映射到该模型中短文本的词对相关度,抽取CN-DBpedia中实体及图结构,再使用SimRank算法计算图结构中实体间的相关度。综上3种相关度为该模型最终相关度。最后使用新浪微博数据集进行检索实验,实验结果表明:对比于融合隐含狄利克雷分布算法与图论的检索模型和基于开放数据关联和图论方法系统模型,新模型在MAP、准确率和召回率上性能有明显提高,说明该模型具有较优的检索性能。     

Enhancing remote sensing image retrieval using a triplet deep metric learning network

ABSTRACT

With the rapid growing of remotely sensed imagery data, there is a high demand for effective and efficient image retrieval tools to manage and exploit such data. In this letter, we present a novel content-based remote sensing image retrieval (RSIR) method based on Triplet deep metric learning convolutional neural network (CNN). By constructing a Triplet network with metric learning objective function, we extract the representative features of the images in a semantic space in which images from the same class are close to each other while those from different classes are far apart. In such a semantic space, simple metric measures such as Euclidean distance can be used directly to compare the similarity of images and effectively retrieve images of the same class. We also investigate a supervised and an unsupervised learning methods for reducing the dimensionality of the learned semantic features. We present comprehensive experimental results on two public RSIR datasets and show that our method significantly outperforms state-of-the-art.     

基于纹理-空间关系的图像检索技术

图像数据库应用日益广泛,如何高效、准确地进行图像的检索成为一项重要的研究领域。传统的图像检索主要依赖颜色、纹理、形状、空间关系等单一视觉特征,检索效果往往不够理想。针对这一实际问题,提出一种新的图像检索方法,通过对图像进行小波变换,获得纹理和空间关系的综合特征,对综合特征进行归一化处理,并将其作为图像相似性的衡量依据。实验证明基于纹理和空间关系综合特征的图像检索具有很好的效果。     

Distance‐based control of formations with hybrid communication topology

In this paper, we focus on the control of multiagent formations with hybrid communication topology through a distance‐based approach. By saying hybrid topology, we mean that the communication topology contains both undirected and directed links, or the underlying graph of the formation contains both undirected and directed edges. A new type of graph, ie, hybrid graph, is introduced. We discuss the persistence of hybrid graphs and present the persistence verification strategy for hybrid graphs. It is proved that all the minimally persistent hybrid graphs can be obtained from persistent directed graphs by the operation of edge transformation. As the main result, it is shown that multiagent formations modeled by acyclic persistent hybrid graphs can be stabilized locally under distance‐based controllers.     

基于张量积扩散与纹理元相似的医学图像检索

针对医学图像检索中相似性表达的自身困难,以及噪声影响的问题,提出一种通过张量积图进行扩散,利用其他数据点的上下信息改进基于纹理元的成对相似性度量的方法。首先,采用纹理元的统计方法进行医学图像特征描述和提取,并通过对纹理元相似性加权,得到图像的成对相似性;然后,利用张量积图沿着数据点的内在流形进行相似性的传播,实现全局的相似性度量。在ImageCLEFmed 2009上的实验结果表明,该算法与基于Gabor的检索算法相比,其类平均精度提高了32%,与基于尺度不变特征转换(SIFT)的检索算法相比,其类平均精度提高了19%,能良好地应用于医学图像检索。     

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。