基于局部连接度和差异度算子的水平集纹理图像分割

目的 复杂纹理的图像分割一直是图像分割的难题,现有的一些纹理图像分割方法主要通过提取图像确定方向的灰度变化特征或者提取图像的局部灰度相似性特征得到特征图像,从而进行纹理图像的分割,然而,自然纹理中普遍存在局部形态相似和方向不确定的现象,导致现有方法不能准确地分割纹理图像。方法 本文提出局部连接算子和局部差异算子来描述局部纹理的形态相似性和局部纹理的差异度。一方面,通过设定一定阈值,将局部区域的灰度差异分为两类,分析两类差异的分布特征,从而提取图像的形态特性及局部连接度算子;另一方面,设置一种无方向性的灰度差异分析算子,提取图像局部的灰度差异值从而得到局部差异度算子。两个算子结合以更好地提取纹理图像的局部特征,然后通过融合局部相似度特征、局部差异度特征和灰度信息,构造水平集能量泛函,进而通过最小化能量泛函实现纹理图像分割。结果 相比基于Gabor变换、结构张量、局部相似度因子的纹理分割方法,提出的局部算子能够更好地区分自然图像的不同纹理区域,且对实验图像的平均分割准确率高达97%,远高于其他方法。因此,提出的模型对于自然纹理图像具有更好的分割效果。结论 本文提出了两种新颖的纹理特征局部描述子：局部连接度算子和局部差异度算子,能够有效地提取纹理特征,且有一定的互补性。实验表明,提出的方法对于复杂自然纹理图像具有良好的分割效果。     

基于目标区域的语义图像检索

提出了一种基于高层语义的图像检索方法,该方法首先将图像分割成区域,提取每个区域的颜色、形状、位置特征,然后使用这些特征对图像对象进行聚类,得到每幅图像的语义特征向量;采用模糊C均值算法对图像进行聚类,在图像检索时,查询图像和聚类中心比较,然后在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,缩小低层特征和高层语义之间的“语义鸿沟”。     

低层特征获取高层语义的图像检索

首先采用基于颜色聚类的方法将图像分割成区域,提取每个区域的Gabor小波纹理特征和灰度共生矩阵纹理特征,接着采用信息熵对特征进行选择,使用选择后的特征对图像区域进行聚类,得到每幅图像的语义特征向量;然后提出遗传模糊C均值算法对图像进行聚类。在图像检索时,查询图像和聚类中心比较,在距离最小的类中进行检索。实验表明,提出的方法可以明显提高检索效率,提高了检索的精度。     

基于多核学习和AP聚类的图像摘要选取方法*

针对交互式图像检索系统在特征空间中选取摘要图像时,遇到多种特征难以融合及聚类效果不佳等问题,提出了一种基于多核学习和AP(Affinity Propagation)聚类的图像摘要选取方法：先利用多核函数融合多种特征计算图像间的相似度,再进行AP聚类,并选取聚类中心图像作为整个图像集的摘要。实验表明,所选摘要图像能直观有效地反映原图像集的内容梗概,据此对原图像集的查询拥有较高的查全率和查准率。     

结合相关反馈日志与语义网络的图像标注

连接高层语义和低层视觉特征的图像语义标注技术能够很好地表示图像的语义,提出并实现了一种结合相关反馈日志与语义网络的图像标注方法。该方法以收集的用户相关反馈日志为基础获得图像的语义信息,通过计算图像间的语义相似度进行语义聚类并采用语义传播的方式实现图像的语义标注。实验结果表明,随着相关反馈日志库的不断扩充,图像库中越来越多的图像会在反馈的过程中得到标注且标注的准确率会随着反馈次数的增加而趋于稳定。     

利用模糊认知度从图像纹理中提取情感语义

图像的低层视觉特征（颜色、纹理和形状等）中包含着大量人类可感知的情感语义信息。利用纹理特征,提出一种新的索引方法-FRD（Fuzzy Recognize Degree,模糊认识度）聚类法,用来描述与情感相关联的语义图像。FRD聚类法使用三个感性的纹理特征：方向性、对比度和粗糙度,生成FRD值。从高层的情感概念进行图像检索。实验图像采用自然景观图片,验证了新方法的良好性能。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于FRD的图像纹理情感语义提取

图像的低层视觉特征(颜色、纹理和形状)中包含大量人类可感知的情感语义信息。利用纹理特征,提出一种新的索引方法——模糊认识度(FRD)聚类法,用来描述与情感相关联的语义图像。FRD聚类法能从高层的情感概念出发进行图像检索。索引使用3个感性的纹理特征：方向性,对比度和粗糙度生成FRD值。实验采用室内装饰图片,结果表明,该方法性能较好。     

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。     

基于图半监督学习的医学图像检索

针对医学图像检索中底层特征不能完整地描述图像的高层语义的问题,提出一种基于图的半监督学习框架的医学图像检索算法.首先根据图像之间的距离关系构建图模型,并在标记传播过程中加入密度相似性约束,得到查询图像的类别归属度,即图像的视觉语义表示;然后提取图像分块SIFT特征,用词袋进行描述,以获取图像的局部特征;最后设计了结合视觉语义和局部特征的相似性度量准则.在ImageCLEFmed上的实验结果表明,该算法能够有效地表达图像的视觉语义,检索效率优于单一底层特征检索.