基于卷积神经网络和流形排序的图像检索算法

针对基于内容的图像检索(CBIR)中低层视觉特征与用户对图像理解的高层语义不一致以及传统的距离度量方式难以真实反映图像之间相似程度等问题,提出了一种基于卷积神经网络(CNN)和流形排序的图像检索算法。首先,将图像输入CNN,通过多层神经网络对图像的监督学习,提取网络中全连接层的图像特征;其次,对图像特征进行归一化处理,然后用高效流形排序(EMR)算法对查询图像所返回的结果进行排序;最后,根据排序的结果返回最相似的图像。在corel数据集上,深度图像特征比基于场景描述的图像特征的平均查准率(mAP)提高了53.74%,流形排序比余弦距离度量方式的mAP提高了18.34%。实验结果表明,所提算法能够有效地提高图像检索的准确率。     

基于文本和内容的图像检索算法

为了提高图像检索的效率,提出一种基于文本和内容的图像检索算法。该算法采用稠密的尺度不变特征转换（ DSIFT）构造视觉单词的方式来描述图像内容,依据基于概率潜在语义分析（ PLSA）模型的图像自动标注方法获取的视觉语义对查询图像进行初步检索,在此结果集上对筛选出的语义相关图像按内容相似度排序输出。在数据集Corel1000上的实验结果表明,该算法能够实现有效的图像检索,检索效率优于单一的基于内容的图像检索算法。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

基于Hadoop的海量医学图像检索系统

为了提高海量医学图像检索效率,针对单节点医学图像检索系统的缺陷,提出一种基于Hadoop的海量医学图像检索系统。首先采用Brushlet变换和局部二值模式算法提取医学示例图像特征,并将图像特征库存储于Hadoop分布式文件系统(HDFS);然后采用Map将示例图像特征与特征库的特征进行匹配,采用Reduce接收各Map任务的计算结果,并按相似度大小进行排序;最后根据排序结果找到医学图像的最优检索结果。实验结果表明,相对于其他医学图像检索系统,Hadoop的医学图像检索系统减少了图像存储和检索时间,提高了图像检索速度。     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

搜索引擎结果中Web文档的排序研究

信息检索结果中，如何对检索结果进行排序在很大程度上影响了用户所得到的检索结果。对现存典型的词频统计排序技术和超链分析排序技术进行了分析，并借助向量空间模型，提出了一种基于概念语义的查询词-文档相似度排序方法。     

基于协同传递机制的形状匹配算法

轮廓点分布直方图CPDH(Contours Points Distribution Histogram)是一种形状描述子,但它对微小形变比较敏感且在大数据集下的检索效果不佳。提出基于协同传递机制的半监督学习框架Co-transduction与CPDH相结合的算法。通过给定CPDH的相似度度量和另一种描述符的度量结果,对一幅查询图像,利用其中一种度量准则迭代检索出与查询图像最相似的目标形状将其标记。用另一种相似性度量重新检索并排序已标记的形状,反之亦然。该改进算法较原始CPDH在大数据集下(MPEG-7)的检索性能更优,检索精确率达到86%,比原算法提高约10%。     

融合HU不变矩和SIFT特征的商标检索

利用商标图像的形状特征,提出了一种融合图像全局特征和局部特征的商标检索算法。其中全局特征反应了图像的整体信息,这些信息可用来较快地建立候选图像库,而局部特征则可以更准确地与候选图像进行匹配。提取图像的HU不变矩进行初步检索,按相似度排序,在此结果集的基础上对候选图像通过提取SIFT特征进行精确匹配。实验结果表明,该方法既保持了SIFT特征的良好描述能力,又减少了精确匹配需要的计算次数,降低了复杂度。     

基于IAFSA优化权值的医学图像检索

为提高医学图像的检索结果,提出一种基于改进人工鱼群算法的医学图像相关反馈检索方法 (ISAFA)。提取医学图像的颜色、纹理、形状特征,采用相似度量模型得到图像初步检索结果,根据用户的反馈信息,采用改进人工鱼群算法对特征权值进行调整,以获得更加理想的检索结果。检索结果表明,ISAFA提高了医学图像的检索准确率和检索效率,可以找到满足用户需要的医学图像。     

融合傅里叶描述子和尺度不变特征转换特征的商标检索

针对传统商标检索算法中全局特征容易造成误检,而局部特征SIFT对轮廓描述能力不强及算法复杂度高的问题,提出了一种融合图像全局特征和局部特征的商标检索算法。其中全局特征反应了图像的整体信息,这些信息可用来较快地建立候选图像库,而局部特征则可以更准确地与候选图像进行匹配。首先提取图像的傅里叶描述子进行初步检索,并按相似度排序,然后在此结果集的基础上对候选图像通过提取SIFT特征进行精确匹配。实验结果表明,该方法既保持了SIFT特征较高的查全率和查准率,优于傅里叶描述子单一特征,而且检索速度比SIFT单一特征显著提高,能很好地应用于商标图像检索系统中。     

Automatic image–text alignment for large-scale web image indexing and retrieval

In this paper, an automatic image–text alignment algorithm is developed to achieve more effective indexing and retrieval of large-scale web images by aligning web images with their most relevant auxiliary text terms or phrases. First, a large number of cross-media web pages (which contain web images and their auxiliary texts) are crawled and segmented into a set of image–text pairs (informative web images and their associated text terms or phrases). Second, near-duplicate image clustering is used to group large-scale web images into a set of clusters of near-duplicate images according to their visual similarities. The near-duplicate web images in the same cluster share similar semantics and are simultaneously associated with a same or similar set of auxiliary text terms or phrases which co-occur frequently in the relevant text blocks, thus performing near-duplicate image clustering can significantly reduce the uncertainty on the relatedness between the semantics of web images and their auxiliary text terms or phrases. Finally, random walk is performed over a phrase correlation network to achieve more precise image–text alignment by refining the relevance scores between the web images and their auxiliary text terms or phrases. Our experiments on algorithm evaluation have achieved very positive results on large-scale cross-media web pages.     

干扰图像快速检索算法

文章提出了一种适用于大规模数据集的图像检索算法，目的是在有干扰的情况下，准确地找出目标图片。本文采用局部特征算子作为衡量标准，又创造性地在每个视觉词袋后[1]建立图像索引，形成以特征算子为基元的带权视觉词典结构，在保证检索精度的前提下尽可能的提高检索速度，更好的满足了大规模数据对效率的要求。实验证明，该算法具对存在一定干扰的图像效果显著，鲁棒性强，达到了国际一流水准。     

基于感知哈希和视觉词袋模型的图像检索方法

针对移动增强现实中图像检索技术耗时长导致的实时性不高的问题,提出了一种 基于感知哈希和视觉词袋模型结合的图像检索方法。图像检索过程中,在保证一定正确率的基 础上加快了检索速度。首先,对数据集图像使用改进的感知哈希技术处理,选取与查询相似的 图像集合,达到筛选图像数据集的作用;然后,对相似图像集使用视觉词袋模型进行图像检索, 选取和查询图像中目标一致的目标图像。实验结果表明,该方法相比较视觉词袋模型算法检索 的平均正确率提高了 3.2%,检索时间缩短了 102.9 ms,能够满足移动增强现实中图像检索的实 时性要求,为移动增强现实系统提供了有利的条件。     

Scalable search-based image annotation

With the popularity of digital cameras, more and more people have accumulated considerable digital images on their personal devices. As a result, there are increasing needs to effectively search these personal images. Automatic image annotation may serve the goal, for the annotated keywords could facilitate the search processes. Although many image annotation methods have been proposed in recent years, their effectiveness on arbitrary personal images is constrained by their limited scalability, i.e. limited lexicon of small-scale training set. To be scalable, we propose a search-based image annotation algorithm that is analogous to information retrieval. First, content-based image retrieval technology is used to retrieve a set of visually similar images from a large-scale Web image set. Second, a text-based keyword search technique is used to obtain a ranked list of candidate annotations for each retrieved image. Third, a fusion algorithm is used to combine the ranked lists into a final candidate annotation list. Finally, the candidate annotations are re-ranked using Random Walk with Restarts and only the top ones are reserved as the final annotations. The application of both efficient search techniques and Web-scale image set guarantees the scalability of the proposed algorithm. Moreover, we provide an annotation rejection scheme to point out the images that our annotation system cannot handle well. Experimental results on U. Washington dataset show not only the effectiveness and efficiency of the proposed algorithm but also the advantage of image retrieval using annotation results over that using visual features.     

一种基于语义单元的查询扩展方法

查询扩展技术通过向初始查询请求中加入相似或者相关的词,来减少查询请求与相关文献在表达上的不匹配现象,改善检索性能.本文利用语义单元的语义表达能力和语义单元之间的关系,将与初始查询具有密切语义关系的查询词或短语加入到初始查询请求中,更加全面地表示了用户的查询意愿.算法的时间复杂度为O(L),只与搜索请求的长度L有关,与语义单元表示库的规模无关,这对实时性要求较高的搜索引擎来讲是很实用的.     

连续时间区间内的频繁词序列挖掘算法

查询文本中频繁出现的短语可快速掌握文本内容,然而传统频繁词序列挖掘算法面向挖掘任务时的时间复杂度较高,无法满足频繁更换查询条件及快速获得反馈的查询需求。利用基于频率树的快速频繁词序列挖掘算法（TS_Mining）,在保持后缀树线性构造时间的情况下实现文本集合中频繁词序列的查询,并采用树型索引结构避免多次扫描文本集合,降低算法时间复杂度。针对连续时间区间内的频繁词序列查询问题,提出改进的剪枝挖掘算法（TS_Pruning）,通过减少频率树的扫描范围进一步提高挖掘效率。实验结果表明,TS_Mining与TS_Pruning算法的运行时间相比经典Apriori挖掘算法约减少了2个数量级,具有更高的频繁词序列挖掘效率。     

Visual word proximity and linguistics for semantic video indexing and near-duplicate retrieval

Bag-of-visual-words (BoW) has recently become a popular representation to describe video and image content. Most existing approaches, nevertheless, neglect inter-word relatedness and measure similarity by bin-to-bin comparison of visual words in histograms. In this paper, we explore the linguistic and ontological aspects of visual words for video analysis. Two approaches, soft-weighting and constraint-based earth mover’s distance (CEMD), are proposed to model different aspects of visual word linguistics and proximity. In soft-weighting, visual words are cleverly weighted such that the linguistic meaning of words is taken into account for bin-to-bin histogram comparison. In CEMD, a cross-bin matching algorithm is formulated such that the ground distance measure considers the linguistic similarity of words. In particular, a BoW ontology which hierarchically specifies the hyponym relationship of words is constructed to assist the reasoning. We demonstrate soft-weighting and CEMD on two tasks: video semantic indexing and near-duplicate keyframe retrieval. Experimental results indicate that soft-weighting is superior to other popular weighting schemes such as term frequency (TF) weighting in large-scale video database. In addition, CEMD shows excellent performance compared to cosine similarity in near-duplicate retrieval.