基于互信息约束聚类的图像语义标注

提出一种基于互信息约束聚类的图像标注算法。采用语义约束对信息瓶颈算法进行改进,并用改进的信息瓶颈算法对分割后的图像区域进行聚类,建立图像语义概念和聚类区域之间的相互关系;对未标注的图像,提出一种计算语义概念的条件概率的方法,同时考虑训练图像的先验知识和区域的低层特征,最后使用条件概率最大的语义关键字对图像区域语义自动标注。对一个包含500幅图像的图像库进行实验,结果表明,该方法比其他方法更有效。     

一种新的基于语义聚类和图算法的自动图像标注方法

针对图像检索中的语义鸿沟问题,提出了一种新颖的自动图像标注方法。该方法首先采用了一种基于软约束的半监督图像聚类算法(SHMRF-Kmeans)对已标注图像的区域进行语义聚类,这种聚类方法可以同时考虑图像的视觉信息和语义信息。并利用图算法——Manifold排序学习算法充分发掘语义概念与区域聚类中心的关系,得到两者的联合概率关系表。然后利用此概率关系表标注未知标注的图像。该方法与以前的方法相比可以更加充分地结合图像的视觉特征和高层语义。通过在通用图像集上的实验结果表明,本文提出的自动图像标注方法是有效的。     

基于遗传算法和 FCM 的图像自动标注*

为了缩减图像底层视觉特征与高层语义之间的“语义鸿沟”及减少聚类的不稳定性,论文提出了一种基于遗传算法和FCM的图像自动标注方法。该方法首先提取图像的颜色和纹理特征,然后运用遗传算法和FCM 相结合的方法对图像进行聚类。最后通过支持向量机学习训练库的图像特征构造简单的多类支持向量机模型实现图像的自动标注。实验表明,该方法具有很好的图像标注性能。     

基于学习聚类的图像语义检索算法

本文利用聚类理论提出了一种基于学习的聚类图像语义检索算法,建立了底层特征和高层语义的映射,实现了语义的快速提取和图像的精确检索。它由聚类构造算法、聚类构造学习和图象检索算法组成。实验结果表明,本算法是比较稳定和有效的。     

利用小波和分层聚类进行彩色图像分割

提出了一种有效的基于颜色和位置相关信息的图像分割方法。图像以块为单位进行划分，在YUV空间，提取块的颜色特征，并对每小块进行小波变换，获得其小波能量特征。将颜色特征和能量特征作为每小块的特征向量，采用分层聚类的方法进行区域的合并。该方法在聚类过程中考虑了小块的位置关系，并能最终自动确定聚类的类别数。     

基于目标区域的语义图像检索

提出了一种基于高层语义的图像检索方法,该方法首先将图像分割成区域,提取每个区域的颜色、形状、位置特征,然后使用这些特征对图像对象进行聚类,得到每幅图像的语义特征向量;采用模糊C均值算法对图像进行聚类,在图像检索时,查询图像和聚类中心比较,然后在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,缩小低层特征和高层语义之间的"语义鸿沟"。     

基于K均值聚类和粒子群优化的多核SVM图像分割

图像分割是图像理解和计算机视觉的重要内容.针对单核SVM在进行图像分割过程中不能兼顾分割精度高和泛化性能好的问题,提出一种基于K均值聚类和优化多核SVM的图像分割算法.该算法首先运用K均值聚类算法自动选取训练样本,然后提取其颜色特征和纹理特征作为训练样本的特征属性,并使用其对构造的多核SVM分割模型进行训练,最后用粒子群优化算法对多核核参数、惩罚因子以及核权重系数联合寻优,使生成的多核SVM具有更好的分割性能.实验结果表明,本文方法在有效提取图像目标细节的同时,获得了更高的分割精度,与基于单核的SVM分割模型相比,具有更强的泛化能力.     

基于SVM算法的图像自动标注

伴随着存储技术以及网络技术的飞速发展,以图像形式来表现大量有效信息成为有效手段。这样一来,怎样实现对海量图像库的有效检索和管理已经非常重要,而其中语义清晰又是重中之重。在图像自动标注技术中,基于图像底层视觉特征的标注技术能够完成,利用图像的底层特征中提取出高级语义信息来标注待标注图像。通过SVM(Support Vector Machine)支持向量机学习方法来自动获取图像高级语义信息关键字,来完成图像的自动标注具有深远的研究意义。     

采用上下文金字塔特征的场景分类

为了能有效地表述场景图像的语义特性,提出一种基于图像块上下文信息的场景图像分类框架.首先用规则网格将图像分块,并提取每个块的SIFT特征;然后用K均值算法对训练图像的块特征聚类,形成块类型的码本;再根据此码本对图像块进行量化,得到图像的视觉词汇表示,形成视觉词汇图,并在其上建立2类视觉词汇模型:相邻共现的不同视觉词汇对模型和连续共现的相同视觉词汇群模型;最后应用空间金字塔匹配建立视觉词汇的上下文金字塔特征,并采用SVM分类器进行分类.实验结果证明,在常用的场景图像库上,文中方法比已有的典型方法具有更好的场景分类性能.     

基于概念索引的图像自动标注

在基于内容的图像检索中,建立图像底层视觉特征与高层语义的联系是个难题.一个新的解决方法是按照图像的语义内容进行自动标注.为了缩小语义差距,采用基于支持向量机(SVM)的多类分类器为空间映射方法,将图像的底层特征映射为具有一定高层语义的模型特征以实现概念索引,使用的模型特征为多类分类的结果以概率形式组合而成.在模型特征组成的空间中,再使用核函数方法对关键词进行了概率估计,从而提供概念化的图像标注以用于检索.实验表明,与底层特征相比,使用模型特征进行自动标注的结果F度量相对提高14%.     

融合区域和边缘特征的水平集水下图像分割

目的 水平集模型是图像分割中的一种先进方法,在陆地环境图像分割中展现出较好效果。特征融合策略被广泛引入到该模型框架,以拉伸目标-背景对比度,进而提高对高噪声、杂乱纹理等多类复杂图像的处理性能。然而,在水下环境中,由于水体高散射、强衰减等多因素的共同作用,使得现有图像特征及水平集模型难以适用于对水下图像的分割任务,分割结果与目标形态间存在较大差异。鉴于此,提出一种适用于水下图像分割的区域-边缘水平集模型,以提高水下图像目标分割的准确性。方法 综合应用图像的区域特征及边缘特征对水下目标进行辨识。对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。所提方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。结果 基于YouTube和Bubblevision的水下数据集的实验结果表明,所提方法不仅对高散射强衰减的低对比度水下图像实现较好的分割效果,同时对处理强背景噪声图像也有较好的鲁棒性,与水平集分割方法（local pre-fitting,LPF）相比,分割精确度至少提高11.5%,与显著性检测方法（hierarchical co-salient detection via color names,HCN）相比,精确度提高6.7%左右。结论 实验表明区域-边缘特征融合以及其基础上的水平集模型能够较好地克服水下图像分割中的部分难点,所提方法能够较好分割水下目标区域并拟合目标轮廓,与现有方法对比获得了较好的分割结果。     

基于区域分割的红外和可见光图像融合方法

针对红外和可见光图像融合在场景监控中的应用,提出了一种基于区域分割的图像融合方法。首先采用改进的区域生长法对源图像进行区域分割,得到用于融合图像的联合区域表示,然后综合考虑目标灰度和面积的特点将区域划分为目标区域和背景区域,分别采取基于区域能量和区域平均梯度的融合规则得到融合图像。通过对两组不同场景下的图像进行实验,结果表明该方法能够有效地保持源图像特征,融合结果有利于人眼感知和机器视觉。     

一种基于区域综合特征的图像检索方法

提出一种基于目标区域的图像检索方法,首先采用颜色聚类的分割方法将图像分割成不同的区域,提取每个区域的颜色、位置、形状等低层特征,然后提出一种相似度计算方法实现图像的相似性度量。为了提高图像检索的准确度,最后采用支持向量机(SVM)的相关反馈算法。实验结果表明,基于目标区域的图像检索效果比基于全局图像特征的检索效果有较好的改善。     

Content-based image retrieval by using tree-structured features and multi-layer self-organizing map

A new approach for content-based image retrieval (CBIR) is described. In this study, a tree-structured image representation together with a multi-layer self-organizing map (MLSOM) is proposed for efficient image retrieval. In the proposed tree-structured image representation, a root node contains the global features, while child nodes contain the local region-based features. This approach hierarchically integrates more information of image contents to achieve better retrieval accuracy compared with global and region features individually. MLSOM in the proposed method provides effective compression and organization of tree-structured image data. This enables the retrieval system to operate at a much faster rate than that of directly comparing query images with all images in databases. The proposed method also adopts a relevance feedback scheme to improve the retrieval accuracy by a respectable level. Our obtained results indicate that the proposed image retrieval system is robust against different types of image alterations. Comparative results corroborate that the proposed CBIR system is promising in terms of accuracy, speed and robustness.     

明显区域块和空间分布特征的图像检索

基于小波变换理论提出了一种明显区域块检测方法,改进了环型分割算法,使对视觉有意义的区域特征提取更加快捷、方便。该算法不仅考虑到区域内的图像特征,而且还考虑到明显区域块的空间分布信息,把环型区域的颜色矩和在明显区域块附近的Gabor特点,作为索引图像的特征向量。使用Corel图像库测试了提出的方法。实验表明,该方法切实可行。     

基于综合几何关系稀疏自注意力机制的图像标注方法研究

针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。     

两阶段特征提取策略的图像去雾

目的 传统以先验知识为基础的去雾算法,如最大化饱和度、暗通道等,在某些特定场景下效果非常不稳定,会出现色彩扭曲和光晕等现象。由于标注好的训练数据严重不足、特征的冗余性等原因,传统基于学习的去雾算法容易导致模型过拟合。为克服这些问题,本文提出一种基于两阶段特征提取的场景透射率回归去雾方法。方法 在第1阶段,提取图像在颜色空间上的饱和度、最小通道、最大通道以及灰度图的盖博响应等43维特征作为初始雾的特征,并在提取的特征图像局部窗口内,进一步提取最小值、最大值、均值、方差、偏度、峰度、高斯均值等7维特征。在第2阶段,将提取的43×7=301个维度特征组成表征雾的二阶段特征向量。最后采用支持向量机进行训练,得到雾的特征向量和场景透射率的回归模型。结果 实验结果表明,本文算法取得了非常好的去雾效果。平均梯度值为4.475,高于所有对比算法;峰值信噪比为18.150 dB,仅次于多尺度卷积神经网络去雾算法;结构相似性为0.867,处于较高水平;去雾后的亮度和对比度,也均排于前列。本文算法的去雾测试性能接近甚至超过了已有的基于深度学习的去雾算法,表明本文提出的两阶段特征能够很好地对雾进行表征,实现了小样本学习的高效去雾。结论 本文通过两阶段的特征提取策略,极大提升了算法的鲁棒性,仅需要极少量样本就能训练得到性能很好的去雾模型,具有很好的泛化性能。     

图像整体与局部区域嵌入的视觉情感分析

目前多数图像视觉情感分析方法主要从图像整体构建视觉情感特征表示，然而图像中包含对象的局部区域往往更能突显情感色彩。针对视觉图像情感分析中忽略局部区域情感表示的问题，提出一种嵌入图像整体特征与局部对象特征的视觉情感分析方法。该方法结合整体图像和局部区域以挖掘图像中的情感表示，首先利用对象探测模型定位图像中包含对象的局部区域，然后通过深度神经网络抽取局部区域的情感特征，最后用图像整体抽取的深层特征和局部区域特征来共同训练图像情感分类器并预测图像的情感极性。实验结果表明，所提方法在真实数据集TwitterⅠ和TwitterⅡ上的情感分类准确率分别达到了75.81%和78.90%，高于仅从图像整体特征和仅从局部区域特征分析情感的方法。