一种基于图像高层语义信息的图像检索方法

由于基于图像高层语义信息的图像检索与传统的图像特征匹配检索相比，在检索的准确性、结果相关性以及降低误检率等方面具有明显的优势，因此高效的图像检索方法应该充分利用图像蕴涵的高层语义信息。为了利用图像的高层语义信息来进行图像检索，在深入研究图像高层语义的低层特征描述的基础上，提出了图像语义的层次划分，并对每个高层语义层提出了语义抽取和检索算法。实验结果表明，该检索算法可以有效地对图像高层语义信息进行提取，并可作为新型高效图像检索系统的一个模型。     

一种图像局部特征的语义提取方法

本文提出了一种基于期望最大化(EM)算法的局部图像特征的语义提取方法。首先提取图像的局部图像特征,统计特征在视觉词汇本中的出现频率,将图像表示成词袋模型;引入文本分析中的潜在语义分析技术建立从低层图像特征到高层图像语义之间的映射模型;然后利用EM算法拟合概率模型,得到图像局部特征的潜在语义概率分布;最后利用该模型提取出的图像在潜在语义上的分布来进行图像分析和理解。与其他基于语义的图像理解方法相比,本文方法不需要手工标注,以无监督的方式直接从图像低层特征中发掘图像的局部潜在语义,既求得了局部语义信息,又获得了局部语义的空间分布特性,因而能更好地对场景建模。为验证本文算法获取语义的有效性,在15类场景图像上进行了实验,实验结果表明,该方法取得了良好的分类准确率。     

一种压缩域特征提取与语义图像检索技术

为了解决“语义鸿沟”问题，通过将隐含语义索引(LSI)技术引入到图像语义提取问题的研究中，试图从图像的视觉特征中抽取出“高层概念”．基于GM(1，1)压缩域中的一种图像特征，提出了一种建立“图像视觉特征”与“语义信息”之间映射的技术方法．实验研究表明，这种基于压缩域特征和LSI技术的图像检索方法能显著改善图像检索的性能，提高图像检索的质量．     

结合深度特征和信息量的三维模型标注方法

针对三维模型语义检索应用,提出一种三维模型语义自动标注方法,建立三维模型内容特征和语义特征之间的映射关系。首先,利用基于深度信息的特征提取方法计算三维模型形状特征描述符,在单位立方体的六个面上正交投影后获取六幅深度缓存图像,提取图像二维傅立叶变换后的270维低频系数作为三维模型内容特征。其次,针对语义词汇之间相似度计算需要,提出一种语义相似度计算方法,采用本体层次结构的深度、宽度、同义词集密度信息计算词汇信息量,定义语义词汇间的信息量关系,得到语义相似度。再次,利用语义排歧策略消除语义词汇二义性,提高语义词汇相似度计算的准确性。最后,融合三维模型内容特征相似度计算和本体语义相似度计算方法,利用样本库中相似模型包含的词汇概率信息和模型内容相似度值,计算待标注模型的语义描述信息。通过模型标注实验,验证了该方法的准确性。     

基于模糊熵的空间语义图像检索模型研究*

根据模糊熵理论和改进的空间信息分布,提出了颜色空间特征语义图像检索模型。阐述基于语法规则的颜色空间特征语义描述方法,构造从低层颜色空间特征到高层语义之间的映射,根据这些模糊语义值进行图像检索。实验结果表明,该模型能够有效地对图像高层语义进行刻画,由此实现的模型不仅能获得高效和稳定的检索结果,获得与人类视觉感知较好的一致性,该算法还能很好地消除低层图像空间特征和高层语义之间的语义鸿沟。     

基于潜语义主题加强的跨媒体检索算法

针对不同模态数据对相同语义主题表达存在差异性,以及传统跨媒体检索算法忽略了不同模态数据能以合作的方式探索数据的内在语义信息等问题,提出了一种新的基于潜语义主题加强的跨媒体检索（LSTR）算法。首先,利用隐狄利克雷分布（LDA）模型构造文本语义空间,然后以词袋（BoW）模型来表达文本对应的图像;其次,使用多分类逻辑回归对图像和文本分类,用得到的基于多分类的后验概率表示文本和图像的潜语义主题;最后,利用文本潜语义主题去正则化图像的潜语义主题,使图像的潜语义主题得到加强,同时使它们之间的语义关联最大化。在Wikipedia数据集上,文本检索图像和图像检索文本的平均查准率为57.0%,比典型相关性分析（CCA）、SM（Semantic Matching）、SCM（Semantic Correlation Matching）算法的平均查准率分别提高了35.1%、34.8%、32.1%。实验结果表明LSTR算法能有效地提高跨媒体检索的平均查准率。     

一种融合语义距离的最近邻图像标注方法

传统的基于最近邻的图像标注方法效果不佳,主要原因在于提取图像视觉特征时,损失了很多有价值的信息.提出了一种改进的最近邻分类模型.首先利用距离测度学习方法,引入图像的语义类别信息进行训练,生成新的语义距离;然后利用该距离对每一类图像进行聚类,生成多个类内的聚类中心;最后通过计算图像到各个聚类中心的语义距离来构建最近邻分类模型.在构建最近邻分类模型的整个过程中,都使用训练得到的语义距离来计算,这可以有效减少相同图像类内的变动和不同图像类之间的相似所造成的语义鸿沟.在ImageCLEF2012图像标注数据库上进行了实验,将本方法与传统分类模型和最新的方法进行了比较,验证了本方法的有效性.     

DICOM数据的语义查询及优化

医学信息领域用DICOM类型的数据存储由各类检查设备产生的医学图像信息。DICOM标准的优点是标准化和语义化,它使各类医学图像设备和医学图像处理系统之间有了统一的数据交换模式。一个DICOM图像包含丰富的语义信息,包括患者相关、检查相关和图像相关的信息,但目前各类系统对其应用得还不够,尤其是数据挖掘方面,大多系统是通过构建关系数据库来存储和描述图像相关的信息。针对DICOM图像本身所携带的语义信息进行的挖掘还不够多,这违背了当初创建DICOM标准的初衷。造成这个应用现状的主要原因是国内系统厂商只利用了DICOM标准信息交换的功能,却对其语义的理解有欠缺。为了解决上述问题,对基于DICOM语义信息的数据检索模型、检索方法及检索优化方法进行了研究。根据目前国内业界的应用偏好,对DICOM标准的语义模型进行了扩展,在扩展模型下应用了文本模糊和数据模糊查询方法,最后提出了DICOM语义查询智能Agent的概念。     

多尺度多阶段特征融合的带噪图像语义分割

在图像的采集过程中,图像往往会带有一定的噪声信息,这些噪声信息会破坏图像的纹理结构,进而干扰语义分割任务.现有基于带噪图像的语义分割方法,大都是采取先去噪再分割的模型.然而,这种方式会导致在去噪任务中丢失语义信息,从而影响分割任务.为了解决该问题,提出了一种多尺度多阶段特征融合的带噪图像语义分割的方法,利用主干网络中各阶段的高级语义信息以及低级图像信息来强化目标轮廓语义信息.通过构建阶段性协同的分割去噪块,迭代协同分割和去噪任务,进而捕获更准确的语义特征.在PASCAL VOC 2012和Cityscapes数据集上进行了定量评估,实验结果表明,在不同方差的噪声干扰下,模型依旧取得了较好的分割结果.     

基于图像-文本语义一致性的文本生成图像方法

近年来,以生成对抗网络（generative adversarial network, GAN）为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域. 文本生成图像方法旨在通过提取更具表征力的文本及图像特征,提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模,忽略了初始文本特征的局限性,且没有充分利用具有语义一致性的生成图像对文本特征的指导作用,因而降低了文本生成图像中文本信息的表征性. 其次,由于没有考虑到生成目标区域间的动态交互,生成网络只能粗略地划分目标区域,且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题,提出了一种基于图像-文本语义一致性的文本生成图像方法ITSC-GAN. 该模型首先设计了一个文本信息增强模块（text information enhancement module, TEM）,利用生成图像对文本信息进行增强,从而提高文本特征的表征能力.另外,该模型提出了一个图像区域注意力模块（image regional attention module, IRAM）,通过挖掘图像子区域之间的关系,增强图像特征的表征能力. 通过联合利用这2个模块,使得图像局部特征与文本语义标签之间具有更高的一致性. 最后,该模型使用生成器与判别器损失函数作为约束,以提升生成图像的质量,促进图像与文本描述的语义一致. 实验结果表明,在CUB数据集上,与当前主流方法AttnGAN模型相比,ITSC-GAN模型的IS（inception score）指标增长了约7.42%,FID（Fréchet inception distance）减少了约28.76%,R-precision增加了约14.95%. 大量实验结果充分验证了ITSC-GAN模型的有效性及优越性.

     

大规模图像集中的代表性图像选取

针对传统图像检索系统通过关键字搜索图像时缺乏语义主题多样性的问题,提出了一种基于互近邻一致性和近邻传播的代表性图像选取算法,为每个查询选取与其相关的不同语义主题的图像集合. 该算法利用互近邻一致性调整图像间的相似度,再进行近邻传播（AP）聚类将图像集分为若干簇,最后通过簇排序选取代表性图像簇并从中选取中心图像为代表性图像. 实验表明,本文方法的性能超过基于K-means的方法和基于Greedy K-means的方法,所选图像能直观有效地概括源图像集的内容,并且在语义上多样化.     

Statistical correlation analysis in image retrieval

A statistical correlation model for image retrieval is proposed. This model captures the semantic relationships among images in a database from simple statistics of user-provided relevance feedback information. It is applied in the post-processing of image retrieval results such that more semantically related images are returned to the user. The algorithm is easy to implement and can be efficiently integrated into an image retrieval system to help improve the retrieval performance. Preliminary experimental results on a database of 100,000 images show that the proposed model could improve image retrieval performance for both content- and text-based queries.     

基于贝叶斯网络和互信息的检索用户模型

个性化信息服务越来越成为信息检索领域研究的热点.将贝叶斯网络和互信息相结合,用于个性化检索的用户建模中,建立了一个能同时表达特征词的统计分布和特征词间的语义相关性的用户模型.模型以贝叶斯网络结构为框架,包含了特征词的概率统计信息和特征词间互信息,并引入了时间机制.实验结果表明,用该模型进行信息检索,在查全率和查准率方面都得到了提高.     

基于语义分析的查询扩展方法

查询扩展是优化信息检索的有效途径。为此,提出一种基于语义分析的查询扩展方法,利用基于互信息的共现模型分析初检文档,并将其作为部分扩展源,用模型的统计结果剪枝由语义词典WordNet生成的语义树,限制扩展范围。从初检文档和语义词典两方面选取扩展词对原查询进行扩展形成新的查询集。对返回结果进行重排序,调整前n篇文档的查准率。实验证明该方法是切实可行的。     

Automatic Annotation and Retrieval of Images

Although a variety of techniques have been developed for content-based image retrieval (CBIR), automatic image retrieval by semantics still remains a challenging problem. We propose a novel approach for semantics-based image annotation and retrieval. Our approach is based on the monotonic tree model. The branches of the monotonic tree of an image, termed as structural elements, are classified and clustered based on their low level features such as color, spatial location, coarseness, and shape. Each cluster corresponds to some semantic feature. The category keywords indicating the semantic features are automatically annotated to the images. Based on the semantic features extracted from images, high-level (semantics-based) querying and browsing of images can be achieved. We apply our scheme to analyze scenery features. Experiments show that semantic features, such as sky, building, trees, water wave, placid water, and ground, can be effectively retrieved and located in images.     

基于语义索引词的语义网信息检索模型

提出了一个基于语义索引词的语义网信息检索模型(Semantic Information Retrieval，SIR)，解决了在传统的基于关键字的信息检索中只能从句法上对关键字进行分析，无法根据信息资源中的语义关系进行检索的问题。     

Image retrieval based on incremental subspace learning

Many problems in information processing involve some form of dimensionality reduction, such as face recognition, image/text retrieval, data visualization, etc. The typical linear dimensionality reduction algorithms include principal component analysis (PCA), random projection, locality-preserving projection (LPP), etc. These techniques are generally unsupervised which allows them to model data in the absence of labels or categories. In this paper, we propose a semi-supervised subspace learning algorithm for image retrieval. In relevance feedback-driven image retrieval system, the user-provided information can be used to better describe the intrinsic semantic relationships between images. Our algorithm is fundamentally based on LPP which can incorporate user's relevance feedbacks. As the user's feedbacks are accumulated, we can ultimately obtain a semantic subspace in which different semantic classes can be best separated and the retrieval performance can be enhanced. We compared our proposed algorithm to PCA and the standard LPP. Experimental results on a large collection of images have shown the effectiveness and efficiency of our proposed algorithm.     

基于本体的林业领域语义查询扩展模型

传统信息检索模型仅考虑考虑关键词本身的匹配程度,在林业领域信息检索时得到的检索结果不全面或不准确.为了改善检索质量,提出了一种基于本体的林业领域语义查询扩展模型.该模型利用了本体的语义推理的能力和语义结构对关键词进行语义查询扩展,最终实现提高检索查全率和查准率的目的,是对传统基于关键词匹配的信息检索模型的语义补充.结果表明该模型在一定程度上改善了林业领域信息检索结果的查准率和查全率.     

低层特征获取高层语义的图像检索

首先采用基于颜色聚类的方法将图像分割成区域,提取每个区域的Gabor小波纹理特征和灰度共生矩阵纹理特征,接着采用信息熵对特征进行选择,使用选择后的特征对图像区域进行聚类,得到每幅图像的语义特征向量;然后提出遗传模糊C均值算法对图像进行聚类。在图像检索时,查询图像和聚类中心比较,在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,提高了检索的精度。