结合语义的Web图像检索系统

图像不仅是除文本之外应用最广泛的媒体形式,而且常用来表示其他媒体,是一种直观的表示方式.随着网络的发展以及对多媒体信息的需求增加,在Web上进行图像检索成为研究的热点.但大部分图像检索系统只能支持文本查询或者仅仅依赖视觉特征.我们设计的结合语义和视觉内容的Web图像检索系统,利用HTML文件特殊的结构,从包含图像的HTML中自动获得图像语义信息.并通过分析图像的视觉特征,将语义与视觉特征巧妙地结合在同一个检索模型中,建立一个多索引的查询模型,支持通过语义和图像例子的多种查询方式.     

基于图像-文本语义一致性的文本生成图像方法

近年来，以生成对抗网络（generative adversarial network, GAN）为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域.文本生成图像方法旨在通过提取更具表征力的文本及图像特征，提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模，忽略了初始文本特征的局限性，且没有充分利用具有语义一致性的生成图像对文本特征的指导作用，因而降低了文本生成图像中文本信息的表征性.其次，由于没有考虑到生成目标区域间的动态交互，生成网络只能粗略地划分目标区域，且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题，提出了一种基于图像-文本语义一致性的文本生成图像方法 ITSC-GAN.该模型首先设计了一个文本信息增强模块（text information enhancement module, TEM），利用生成图像对文本信息进行增强，从而提高文本特征的表征能力.另外，该模型提出了一个图像区域注意力模块（image regional attention module, IRAM），通过挖掘图像子区域之间的关系，增强图像特...     

融合图像注意力的多模态机器翻译模型

已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用。基于此,该文提出一种融合图像注意力的多模态机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息。在多模态机器翻译数据集Multi30k上英语—德语翻译对以及人工标注的印尼语—汉语翻译对上的实验结果表明,该文提出的模型相比已有的基于循环神经网络的多模态机器翻译模型效果具有较好的提升,证明了该模型的有效性。     

面向Web图像检索的基于语义迁移的无监督深度哈希

当前主流的Web图像检索方法仅考虑了视觉特征,没有充分利用Web图像附带的文本信息,并忽略了相关文本中涉及的有价值的语义,从而导致其图像表达能力不强。针对这一问题,提出了一种新的无监督图像哈希方法——基于语义迁移的深度图像哈希（semantic transfer deep visual hashing,STDVH）。该方法首先利用谱聚类挖掘训练文本的语义信息;然后构建深度卷积神经网络将文本语义信息迁移到图像哈希码的学习中;最后在统一框架中训练得到图像的哈希码和哈希函数,在低维汉明空间中完成对大规模Web图像数据的有效检索。通过在Wiki和MIR Flickr这两个公开的Web图像集上进行实验,证明了该方法相比其他先进的哈希算法的优越性。     

一种基于本体与描述文本的网络图像语义标注方法

网络图像语义自动标注是实现对互联网中海量图像管理和检索的有效途径,而自动有效地挖掘图像语义是实现自动语义标注的关键。网络图像的语义蕴含于图像自身,但更多的在于对图像语义起不同作用的各种描述文本,而且随着图像和描述知识的变化,描述文本所描述的图像语义也随之变化。提出了一种基于领域本体和不同描述文本语义权重的自适应学习的语义自动标注方法,该方法从图像的文本特征出发考查它们对图像语义的影响,先通过本体进行有效的语义快速发现与语义扩展,再利用一种加权回归模型对图像语义在其不同类型描述文本上的分布进行自适应的建模,进而实现对网络图像的语义标注。在真实的Wcb数据环境中进行的实验中,该方法的有效性得到了验证。     

图像语义分析与理解综述

语义分析是图像理解中高层认知的重点和难点,存在图像文本之间的语义鸿沟和文本描述多义性两大关键问题。以图像本体的语义化为核心,在归纳图像语义特征及上下文表示的基础上,全面阐述生成法、判别法和句法描述法3种图像语义处理策略。总结语义词汇的客观基准和评价方法。最后指出图像语义理解的发展方向。     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

一种基于视觉单词的图像检索方法

基于内容的图像检索技术最主要的问题是图像的低层特征和高层语义之间存在着"语义鸿沟"。受文本内容分析的启发,有研究学者借鉴传统词典中用文本单词组合解释术语的思路,将图像视为视觉单词的组合,利用一系列视觉单词的组合来描述图像的语义内容。为此,利用SIFT进行图像的视觉单词特征提取,然后构建视觉单词库,最后实现了一个基于视觉单词的图像检索系统。实验结果表明,该方法在一定程度上提高了图像检索的查准率。     

深度融合图像文本特征的文本引导图像修复

为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB brid这个带有文本标签的数据集上进行定量和定性实验表明,提出的模型在PSNR（peak signal-to-noise ratio）、SSIM （structural similarity）以及MAE（mean absolute error）度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。     

利用相关反馈技术的图像检索研究

介绍了一种支持语义的图像检索系统—PIcsearch（PICTURE Search），该系统获取图像低层特征（颜色）时采用基于区域的主颜色提取算法．综合考虑了图像的像素统计特征和空间位置信息同时节省存储空间和计算时间。提出了高级视觉特征的语义查询。在图像库上构建一个可扩展的语义网络，利用一种基于用户相关反馈的机器学习策略来改进这种语义网络，以解决低层特征向高层语义特征的过渡问题，使检索能够体现高层次语义属性。实验证明，PICsearch能有效通过人机协同工作，弥补了计算机理解能力的不足，提高了检索效率。     

A Conceptual Model and Rule-Based Query Language for HTML

Most documents available over the Web conform to the HTML specification. Such documents are hierarchically structured in nature. The existing data models for the Web either fail to capture the hierarchical structure within the documents or can only provide a very low level representation of such hierarchical structure. How to represent and query HTML documents at a higher level is an important issue. In this paper, we first propose a novel conceptual model for HTML. This conceptual model has only a few simple constructs but is able to represent the complex hierarchical structure within HTML documents at a level that is close to human conceptualization/visualization of the documents. We also describe how to convert HTML documents based on this conceptual model. Using the conceptual model and conversion method, one can capture the essence (i.e., semistructure) of HTML documents in a natural and simple way. Based on this conceptual model, we then present a rule–based language to query HTML documents over the Internet. This language provides a simple but very powerful way to query both intra–document structures and inter–document structures and allows the query results to be restructured. Being rule–based, it naturally supports negation and recursion and therefore is more expressive than SQL–based languages. A logical semantics is also provided.     

有效地检索HTML文档

ＷＷＷ上的资源大多以ＨＴＭＬ格式的文档存储,同普通文档不同,ＴＨＭＬ文档的标签特性使得它具有一定的结构我们采取了一种检索,它扩展了传统的传统检索,利用ＨＴＭＬ文档结构提高了在ＷＷＷ环境下的检索和率。本文介绍了ＨＴＭＬ的结构以及传统的向量空间信息检索提出了运用聚族方法为标符合分组;最后详细讨论了如何利用文棣结构扩展加权架,使得检索词能更贴切地描述文档,以提高检索的准确性。     

A survey of content-based image retrieval with high-level semantics

In order to improve the retrieval accuracy of content-based image retrieval systems, research focus has been shifted from designing sophisticated low-level feature extraction algorithms to reducing the ‘semantic gap’ between the visual features and the richness of human semantics. This paper attempts to provide a comprehensive survey of the recent technical achievements in high-level semantic-based image retrieval. Major recent publications are included in this survey covering different aspects of the research in this area, including low-level image feature extraction, similarity measurement, and deriving high-level semantic features. We identify five major categories of the state-of-the-art techniques in narrowing down the ‘semantic gap’: (1) using object ontology to define high-level concepts; (2) using machine learning methods to associate low-level features with query concepts; (3) using relevance feedback to learn users’ intention; (4) generating semantic template to support high-level image retrieval; (5) fusing the evidences from HTML text and the visual content of images for WWW image retrieval. In addition, some other related issues such as image test bed and retrieval performance evaluation are also discussed. Finally, based on existing technology and the demand from real-world applications, a few promising future research directions are suggested.     

Automatically Determining Semantics for World Wide Web Multimedia Information Retrieval

Search engines are useful because they allow the user to find information of interest from the World Wide Web (WWW). However, most of the popular search engines today are textual; they do not allow the user to find images from the web. For effective retrieval, determining the semantics of the images is essential. In this paper, we describe the problems in determining the semantics of images on the WWW and the approach of AMORE, a WWW search engine that we have developed. AMORE's techniques can be extended to other media like audio and video. We explain how we assign keywords to the images based on HTML pages and the method to determine similar images based on the assigned text. We also discuss some statistics showing the effectiveness of our technique. Finally, we present the visual interface of AMORE with the help of several retrieval scenarios.     

一种自动提取中国书画作品中印章图像的方法

在分析了中国书画印章图像特点的基础上,针对基于内容的书画作品图像检索领域中存在的"语义鸿沟"问题,提出了一种自动提取中国书画作品中印章图像的方法,并设计实现了该算法.通过对提取效果进行分析,证明该方法有较高提取率,这对书画作品中图像语义和特定图像鉴别的研究有重要意义.     

基于规则的HTML文档元数据提取

提出了一种基于规则提取HTML文档元数据的方法，介绍了规则的语法、语义和规则库的设计，研制了一个原型系统MEDES(MEtaData Extracting System)，实现HTML文档元数据的自动提取。文章的最后给出了实验结果和评价，并指出进一步的工作。     

Web文本挖掘及特征选择

文章介绍了Web挖掘的有关理论，从Web文本挖掘的定义，Web文本挖掘任务的功能等方面加以阐述，然后重点分析了Web文本挖掘，文本的特征表示，特征选择，将多维文本分析与文本挖掘这两种技术有机地结合起来，快速，有效地挖掘Web上的HTML文档，最后，概述了Web文本挖掘的用途和前景。     

Combining intra-image and inter-class semantics for consumer image retrieval

Unconstrained consumer photos pose great challenge for content-based image retrieval. Unlike professional images or domain-specific images, consumer photos vary significantly. More often than not, the objects in the photos are ill-posed, occluded, and cluttered with poor lighting, focus and exposure. In this paper, we propose a cascading framework for combining intra-image and inter-class similarities in image retrieval, motivated from probabilistic Bayesian principles. Support vector machines are employed to learn local view-based semantics based on just-in-time fusion of color and texture features. A new detection-driven block-based segmentation algorithm is designed to extract semantic features from images. The detection-based indexes also serve as input for support vector learning of image classifiers to generate class-relative indexes. During image retrieval, both intra-image and inter-class similarities are combined to rank images. Experiments using query-by-example on 2400 genuine heterogeneous consumer photos with 16 semantic queries show that the combined matching approach is better than matching with single index. It also outperformed the method of combining color and texture features by 55% in average precision.     

ICICLE: A semantic-based retrieval system for WWW images

In this paper, we present ICICLE (Image ChainNet and Incremental Clustering Engine), a prototype system that we have developed to efficiently and effectively retrieve WWW images based on image semantics. ICICLE has two distinguishing features. First, it employs a novel image representation model called Weight ChainNet to capture the semantics of the image content. A new formula, called list space model, for computing semantic similarities is also introduced. Second, to speed up retrieval, ICICLE employs an incremental clustering mechanism, ICC (Incremental Clustering on ChainNet), to cluster images with similar semantics into the same partition. Each cluster has a summary representative and all clusters' representatives are further summarized into a balanced and full binary tree structure. We conducted an extensive performance study to evaluate ICICLE. Compared with some recently proposed methods, our results show that ICICLE provides better recall and precision. Our clustering technique ICC facilitates speedy retrieval of images without sacrificing recall and precision significantly.     

基于Mpeg-7的图像多层次语义知识库的构建

针对当前图像库存在的图像语义内容不完整、缺乏统一描述标准、图像存储独立于DBMS而无法保证数据安全等问题,融合图像颜色、纹理、形状等低层特征、中层对象及高层情感,确定了图像库的内容框架;在修改并扩展Mpeg-7的基础上提出了基于Mpeg-7的图像多层次语义描述框架,并采用ORDB多媒体数据库实现技术在Oracle9i中实现了一个拥有188幅图像的多层语义图像库。理论分析和实验结果表明,该图像库具有自身独特的优越性。