基于判别模型与生成模型的层叠图像自动标注

图像自动标注是模式识别与计算机视觉等领域中重要而又具有挑战性的问题.针对现有模型存在数据利用率低与易受正负样本不平衡影响等问题,提出了基于判别模型与生成模型的新型层叠图像自动标注模型.该模型第一层利用判别模型对未标注图像进行主题标注,获得相应的相关图像集;第二层利用提出的面向关键词的方法建立图像与关键词之间的联系,并使用提出的迭代算法分别对语义关键词与相关图像进行扩展;最后利用生成模型与扩展的相关图像集对未标注图像进行详细标注.该模型综合了判别模型与生成模型的优点,通过利用较少的相关训练图像来获得更好的标注结果.在Corel 5K图像库上进行的实验验证了该模型的有效性.     

基于高斯混合模型的自动图像标注方法

为了进一步完善自动图像标注方法,提出基于高斯混合模型的自动图像标注方法。该方法通过建立每个关键词唯一的高斯混合模型(GMM),准确地描述关键词的语义内容,进而提高自动图像标注的精确性。最后,通过采用COREL图像数据集与不同方法的比较,从平均查准率、平均查全率的实验结果验证了该方法的有效性。     

基于可判别超平面树的生成模型图像标注方法

图像语义的自动标注是一个具有挑战性的研究课题,目前常见的机器学习方法,如统计生成模型(generative model)与判别模型(discriminative model)都被用于该问题的研究中.然而由于语义鸿沟的存在、图像训练数据的不平衡性以及图像标注的多标签特性等问题,使得上述方法的性能都有待进一步提高.提出一种基于可判别超平面树的生成模型图像标注方法.该方法根据待标注目标图像的高生成概率邻域,建立局部超平面分类树,进而利用同层类间可判别信息,按自顶向下的层次分类得到待标注图像的语义相关图像集合.由此得到的相关类信息与新的生成模型框架相结合对待标注图像与语义关键词的联合概率进行估计,实现对目标图像的标注.其特点在于生成模型与判别模型方法得到了有效结合,可判别超平面树对隐含语义聚类的判别分析是对待标注图像的生成"邻域"的逐步求精过程,有效地提高了生成模型标注准确度;而对于判别分析难以解决的多标签分类、训练数据不平衡等问题,此方法通过联合概率估计自然地实现目标图像的多标签分配.在常用的包含5 000幅图像的ECCV2002数据集进行了实验,结果表明,与目前已知的具有较好标注效果的基于生成模型的MBRM模型(采用图像分割方法)以及基于辨别分析的ASVM-MIL相比,此方法的F1因子分别提高了14%和13%.     

图像自动语义标注技术综述

近年来,随着对基于内容图像检索技术研究的深入,图像自动语义标注已成为了该领域的研究热点。针对目前广泛研究的图像语义标注技术,从其分类、关键技术、存在问题及发展方向进行了进行了论述,以期为从事该方向研究的人员提供一定的借鉴意义和参考价值。     

基于HMM的自动图像标注方法

自动图像标注技术已经成为弥补"语义鸿沟"的一种有效途径.提出基于隐马尔科夫模型HMM(Hidden Markov Model)的自动图像标注方法,不仅有效地挖掘关键词的语义视觉特征分布,从而建立图像-关键词的对应关系;而且通过融合关键词的共生关系,高效地获取关键词-关键词的语义关联.为此,建立图像-关键词与关键词-关键词的多视角相关模型,有助于解决自动图像标注任务.最后,在COREL图像数据集上的一系列实验结果,验证了提出方法的有效性.     

基于本体的图像自动标注

提出一种新的图像本体标注的框架,结合领域本体中概念的关系,通过层次概率标注来获得图像高层语义概念的标注,实现待标注图像语义的自动标注。我们将图像的语义可以定义为属性概念和高层抽象概念,采用二次标注方法实现对于图像语义的自动标注。实验证明,本文的方法可以使图像获得丰富的高层抽象语义概念标注,从而缩小"语义鸿沟",有效提高了检索的效率和精确度。     

多模型融合的多标签图像自动标注

为了实现更为准确的复杂语义内容图像理解,提出一种融合多模型的多标签图像自动标注方法.该方法采用3个不同的模型分别对图像语义内容进行分析:在前景语义概念检测中,提出一种基于多特征的视觉显著性分析方法,并利用多Nystrm近似核对前景对象的语义进行判别分析;对于背景概念检测,提出一种区域语义分析的方法;通过构造基于潜语义分析的语义相关矩阵来消除标注错误的标签.根据前景和背景的语义和视觉特征,分别采用不同的模型提取前景和背景标注词,而语义相关分析能够有效地提高标注的准确性.实验结果表明,该多模型融合标注方法在图像的深层语义分析以及多标签标注方面具有较好的效果;与同类算法相比,能够有效地减少错误标注的标签数目,得到更加准确的标注结果.     

基于t混合模型的自动图像标注

图像自动标注的实质是通过对图像视觉特征的分析来提取高层语义关键词用于表示图像的含义,从而使得现有图像检索问题转化为技术已经相当成熟的文本检索问题,在一定程度上解决了基于内容图像检索中存在的语义鸿沟问题.采用t混合模型在已标注好的训练图像集上计算图像区域类与关键字的联合概率分布,在此基础上,对未曾观察过的测试图像集,利用生成的模型根据贝叶斯最小错误概率准则实现自动图像标注.实验结果表明,该方法能有效改善标注结果.     

大规模图像语义相关性自动标注

针对大规模图像集合的自动标注问题,提出一种图像语义相关性自动标注方法.首先提取图像的视觉特征,将每个样本表示为局部邻域样本点的稀疏线性组合;然后采用一种基于最大后验概率准则的多标签学习方法得到每幅图像的单特征标签相关度;最终对单个特征和特定标签的相关度阈值进行无偏估计,并采用无监督组合方法融合多种视觉特征和标签的相关度.互联网数据集测试结果表明,该方法是有效的.     

建模连续视觉特征的图像语义标注方法

针对图像检索中存在的"语义鸿沟"问题,提出一种对连续视觉特征直接建模的图像自动标注方法.首先对概率潜语义分析(PLSA)模型进行改进,使之能处理连续量,并推导对应的期望最大化算法来确定模型参数;然后根据不同模态数据各自的特点,提出一个对不同模态数据分别处理的图像语义标注模型,该模型使用连续PLSA建模视觉特征,使用标准PLSA建模文本关键词,并通过不对称的学习方法学习2种模态之间的关联,从而能较好地对未知图像进行标注.通过在一个包含5000幅图像的标准Corel数据集中进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.     

生成对抗网络在医学图像处理中的应用

生成对抗网络(Generative Adversarial Nets,GANs)模型可以无监督学习到更丰富的数据信息,其包括生成模型与判别模型,凭借二者之间的对抗提高性能.针对传统GANs存在着梯度消失、模式崩溃及无法生成离散数据分布等问题,已经提出了大量的变体模型.介绍了生成对抗网络模型的理论和组成结构;介绍了几种典...     

反馈日志与混合概率模型相结合的图像标注

为提高图像标注质量,提出一种反馈日志与混合概率模型相结合的图像标注方法。利用本体语义网计算标注词之间的相似性度,将相似度应用于日志分析,得到具体应用中的标注词间关系,结合标注词间的关系和图像底层特征,使用混合概率模型进行自动图像标注。实验结果表明,该方法能获得较好的查全率和查准率。     

特征融合生成对抗网络的水下图像增强

针对水下图像对比度低和颜色失真等问题,提出一种特征融合生成对抗网络的水下图像增强算法.首先,对水下退化图像进行颜色校正,并以卷积神经网络提取颜色校正后图像的特征;其次,以基于U-Net的特征提取网络提取水下退化图像特征,并将其与颜色校正图像的特征融合;最后,通过卷积神经网络完成融合特征到增强图像的重构.在Underwa...     

基于权重学习的图像最大权对集胚配模型

在图匹配模型中权重的设置对匹配性能有很大影响,但直接计算的权重往往不符合匹配图像的实际情况。为此,参照二次分配问题的图匹配学习思想,给出一阶和二阶最大权对集模型的权重学习计算方法。一阶最大权对集模型直接采用图像特征点作为图的顶点,而二阶最大权对集模型则采用某些特征点之间的连接边作为顶点,2个模型都可以通过Kuhn—Munkras算法求解。一阶最大权对集模型在本质上等价于二次分配问题的线性情况。在CMUHouse数据库上的图像匹配实验结果表明,二阶最大权对集模型优于一阶最大权对集模型,且两者在学习计算时的性能也优于直接计算的情况。     

Mathematical Analysis of An Extended Mumford-Shah Model for Image Segmentation

Morel and Solimini have established proofs of important properties of segmentations which can be seen as locally optimal for the simplest Mumford-Shah model in the continuous domain. A weakness of the latter is that it is not suitable for handling noisy images. We propose a Bayesian model to overcome these problems. We demonstrate that this Bayesian model indeed generalizes the original Mumford-Shah model, and we prove it has the same desirable properties as shown by Morel and Solimini. Trevor Tao was Born in 1977 in Adelaide, Australia, found to be autistic when he was two years old. He was the first autistic child in Australia to have started normal school at the same age as his peers. He later became interested in music, chess, and mathematics. He has been described as a musical savant, and has represented Australia in the International Chess Olympiad in 1994, and won a bronze medal in the International Mathematical Olympiad in 1995. In 2000 he completed a double degree in B.Sc (Mathematics & Computer Science) and B.Mus. (Performance & Composition) at the University of Adelaide. After a short vacation job at the Defence Science & Technology Organization in Adelaide, he became interested in Image Analysis, and studied for a Ph.D. in Applied Mathematics. He is expected to complete his thesis this year. Dr David J. Crisp graduated from the University of Adelaide (Australia) in 1993 with a Ph.D. in Mathematics. He held several different research positions from 1994 to 1998. In 1999 he joined Australia’s Defence Science & Technology Organisation (DSTO) as a research scientist. His current research at DSTO is focused on the automated detection of targets in synthetic aperture radar imagery. Dr John van der Hoek graduated from University of Adelaide (Australia) in 1975 with a PhD in Pure Mathematics. He is currently a senior lecturer in the Department of Applied Mathematics at University of Adelaide. His research interests are applied functional analysis, partial differential equations and free boundary value problems, stochastic processes, mathematical finance and signal processing.     

基于半监督编码生成对抗网络的图像分类模型

在实际应用中, 为分类模型提供大量的人工标签越来越困难, 因此, 近几年基于半监督的图像分类问题获得了越来越多的关注.而大量实验表明, 在生成对抗网络(Generative adversarial network, GANs)的训练过程中, 引入少量的标签数据能获得更好的分类效果, 但在该类模型的框架中并没有考虑用于提取图像特征的结构, 为了进一步利用其模型的学习能力, 本文提出一种新的半监督分类模型.该模型在原生成对抗网络模型中添加了一个编码器结构, 用于直接提取图像特征, 并构造了一种新的半监督训练方式, 获得了突出的分类效果.本模型分别在标准的手写体识别数据库MNIST、街牌号数据库SVHN和自然图像数据库CIFAR-10上完成了数值实验, 并与其他半监督模型进行了对比, 结果表明本文所提模型在使用少量带标数据情况下得到了更高的分类精度.     

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.     

一种基于生成式对抗网络的图像描述方法

近年来,深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进行特征提取,递归神经网络对特征拼接生成语句.然而,当图像较为复杂时,特征提取不准确且语句生成模型模式固定,部分语句不具备连贯性.基于此,提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法——CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征,与COCO图像集进行近似特征比对,选择排序靠前的图像特征作为生成式对抗网络的输入,通过生成器与鉴别器之间的博弈过程,训练句法多样、语句通顺、词汇丰富的语句生成器模型.在实际数据集上的实验结果表明,CACNN-GAN能够有效地对图像进行语义描述,相比其他主流算法,显示出了更高的准确率.     

基于梯度核特征及N-gram模型的商品图像句子标注

提出为商品图像标注句子,以便更准确地刻画图像内容。首先,执行图像特征学习,选出标注性能最优的梯度核特征完成图像分类和图像检索,该特征能客观描绘商品图像中形状和纹理这两类关键视觉特性。然后,基于语义相关度计算结果从训练图像的文本描述中摘取关键单词,并采用N-gram模型把单词组装为蕴涵丰富语义信息且满足句法模式兼容性的修饰性短语,基于句子模板和修饰性短语生成句子。最后,构建Boosting模型,从若干标注结果中选取BLEU-3评分最优的句子标注商品图像。结果表明,Boosting模型的标注性能优于各基线。