图像语义分割方法在高分辨率遥感影像解译中的研究综述

快速获取遥感信息对图像语义分割方法在遥感影像解译应用发展具有重要的研究意义。随着卫星遥感影像记录的数据种类越来越多,特征信息越来越复杂,精确有效地提取遥感影像中的信息,成为图像语义分割方法解译遥感图像的关键。为了探索快速高效解译遥感影像的图像语义分割方法,对大量关于遥感影像的图像语义分割方法进行了总结。首先,综述了传统的图像语义分割方法,并将其划分为基于边缘检测的分割方法、基于区域的分割方法、基于阈值的分割方法和结合特定理论的分割方法,同时分析了传统图像语义分割方法的局限性。其次,详细阐述了基于深度学习的语义分割方法,并以每种方法的基本思想和技术特点作为划分标准,将其分为基于FCN的方法、基于编解码器的方法、基于空洞卷积的方法和基于注意力机制的方法四类,概述了每类方法中包含的子方法,并对比分析了这些方法的优缺点。然后,简单介绍了遥感图像语义分割常用数据集和性能评价指标,给出了经典网络模型在不同数据集上的实验结果,同时对不同模型的性能进行了评估。最后,分析了图像语义分割方法在高分辨率遥感图像解译上面临的挑战,并对未来的发展趋势进行了展望。     

低级特征和语义特征相结合的医学图像检索方法

提出了一种将图像本身的低级特征和语义特征描述相结合的医学图像检索方法。首先提取图像的灰度特征、矩特征和纹理特征，进一步采用遗传算法进行最优特征的选择，由于这些低层特征对图像的描述与人类对图像的描述存在较大差异，直接利用这些特征作为检索依据常得不到满意的结果，因此需要进一步提取语义特征，将影像报告中医生给出的关于图像的描述作为语义内容进行相似性检索。实验结果表明，综合低级特征和语义特征的检索比仅利用低级特征的检索更接近于人的视觉理解。     

基于GIS语义的遥感图像检索

语义图像检索为填补图像低层视觉特征和用户高层语义之间的鸿沟而产生,图像语义描述和提取是其关键。提出了一种基于G IS语义的遥感图像检索(G IS sem antics-based remote sensing im age retrieval,简称G ISSB IR)方法,主要涉及空间对象的语义表达和语义匹配两方面内容。利用面向对象G IS语义模型和概念语义网络共同表达空间对象的语义,设计了语义调解器处理用户与系统之间的语义不一致。通过对G IS原子查询结果进行布尔运算得到矢量查询结果,在此基础上得到与G IS数据具有统一坐标框架的遥感图像检索结果。实验结果表明G ISSB IR方法是有效的。     

一种图像局部特征的语义提取方法

本文提出了一种基于期望最大化(EM)算法的局部图像特征的语义提取方法。首先提取图像的局部图像特征,统计特征在视觉词汇本中的出现频率,将图像表示成词袋模型;引入文本分析中的潜在语义分析技术建立从低层图像特征到高层图像语义之间的映射模型;然后利用EM算法拟合概率模型,得到图像局部特征的潜在语义概率分布;最后利用该模型提取出的图像在潜在语义上的分布来进行图像分析和理解。与其他基于语义的图像理解方法相比,本文方法不需要手工标注,以无监督的方式直接从图像低层特征中发掘图像的局部潜在语义,既求得了局部语义信息,又获得了局部语义的空间分布特性,因而能更好地对场景建模。为验证本文算法获取语义的有效性,在15类场景图像上进行了实验,实验结果表明,该方法取得了良好的分类准确率。     

基于多特征融合与PLSA-GMM的图像自动标注

为减少图像检索中图像信息的缺失与语义鸿沟的影响,提出了一种基于多特征融合与PLSA-GMM的图像自动标注方法.首先,提取图像的颜色特征、形状特征和纹理特征,三者融合作为图像的底层特征;然后,基于概率潜在语义分析(PLSA)与高斯混合模型(GMM)建立图像底层特征、视觉语义主题与标注关键词间的联系,并基于该模型实现对图像的自动标注.采用Corel 5k数据库进行验证,实验结果证明了本文方法的有效性.     

基于最小熵和遗传算法的遥感图像特征选择

在分析遥感红外图像特点的基础上,提取了灰度共生矩阵的能量、惯性、熵等14个特征量用于红外图像纹理分析.以最小判别熵可分性判据作为准则,利用遗传算法搜索最优特征子集,实现了遥感红外图像的特征选择.为了验证此算法特征选择的有效性,设计了RBF网络分类器,对遥感红外图像进行分类识别,其结果证明,基于最小熵和遗传算法所得到的特征子集可以简化网络结构,减少训练时间,提高样本的识别概率.     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

基于深度注意力的融合全局和语义特征的图像描述模型

现有的图像描述模型使用全局特征时受限于感受野大小相同,而基于对象区域的图像特征缺少背景信息。为此,提出了一种新的语义提取模块提取图像中的语义特征,使用多特征融合模块将全局特征与语义特征进行融合,使得模型同时关注图像的关键对象内容信息和背景信息。并提出基于深度注意力的解码模块,对齐视觉和文本特征以生成更高质量的图像描述语句。所提模型在Microsoft COCO数据集上进行了实验评估,分析结果表明该方法能够明显提升描述的性能,相较于其他先进模型具有竞争力。     

基于Deeplabv3+与CRF的遥感影像典型要素提取方法

为提取高分辨率遥感影像的典型要素(建筑物及道路),基于深度学习,提出一种语义分割与全连接条件随机场(CRF)相结合的提取方法。以Deeplabv3+作为语义分割模型,提取较完整图像分割信息,并将其作为全连接CRF的一元能量函数的输入,利用平均场近似方法进行推理,实现对分割信息边界的优化。通过分析Deeplabv3+模型在噪声样本集数据的训练效果验证其鲁棒性,并基于公开影像及矢量数据源设计大规模遥感训练样本集智能采集系统。采集罗德岛2 000平方公里遥感影像及相对应典型要素标记数据作为样本进行实验,结果表明,该方法分割精度MIoU值达到80.32%,结合形态学滤波处理,要素边界轮廓明显优于初始分割结果。     

基于本体的多模式融合语义提取模型

基于语义的视频检索要处理的两项关键技术就是解决视频低层特征和高层语义概念间的语义鸿沟以及有效的语义提取模型。文中通过对视频进行多层次语义分析,采用有效的语义对象分割方法提取视频中的语义对象,以语义对象为中间层,并融合图像、声音、文本的多模式视频特征,从而缩小语义鸿沟。其次,视频语义概念具有多粒度性,由于本体在表示概念及概念间联系时的优越性,文中提出基于本体的语义提取模型,在从图像、声音、文本中提取出的原子概念中,推理出更高层次的复合概念。最终运用该模型提取的视频语义就具有更丰富的语义层次和语义粒度,从而更接近人类思维中的高层语义概念。     

具有Fisher判据约束的非负稀疏编码模型?

在标准非负稀疏编码(NNSC)的基础上,引入Fisher线性判据约束,提出一种改进NNSC模型。该模型能够提高稀疏系数的空间可分性和特征分类能力。通过测试掌纹自然图像可知,提取的图像特征具有方向性、空间性和选择性,利用掌纹特征基可实现图像重构,采用距离分类器可得到较好的识别效果。仿真结果验证了该模型在可视神经元建模、图像特征提取和模式分类中的有效性。     

综合颜色和纹理特征的图像检索算法

基于内容的图像检索是当前多媒体信息检索的热点之一。基于内容的图像检索技术是根据对图像内容(特征)的描述和提取,在图像库中找到具有指定内容(特征)的图像。本文对图像颜色特征和纹理特征的提取、相似性度量等基于内容的图像检索的关键技术进行了分析和研究,并在此基础上,提出了一个基于颜色特征和纹理特征的图像检索算法并验证了其有效性。该算法采用HSV颜色空间的直方图作为颜色特征向量,采用灰度共生矩阵的四个纹理特征:能量、熵、惯性矩和相关性构成纹理特征向量,采用欧氏距离进行相似性度量。实验结果表明,该算法实现的系统具有良好的图像检索功能。     

基于局部特征的非负稀疏编码神经网络模型

在非负稀疏编码(NNSC)的基础上,考虑特征基向量的稀疏度约束和特征基的局部性,提出一种基于局部特征的NNSC神经网络模型。该模型利用梯度和倍增因子相结合的优化算法实现特征系数的学习;利用倍增算法实现特征基的学习。对掌纹图像进行特征提取测试,结果表明,与传统NNSC模型和局部非负矩阵分解(LNMF)方法相比,该模型能有效提取图像的局部特征,收敛速度较快,可模拟初级视觉系统处理自然界信息的稀疏编码策略。     

自然图像中的感兴趣目标检测技术

基于显著图的目标检测方法不能精确地找到感兴趣目标的位置,或在同一感兴趣目标上检测出多个感兴趣区域。为此,提出一种视觉注意机制和模糊支持向量机(FSVM)相结合的算法。根据显著度和角点分布信息,从图像中获得包括单个目标的视觉窗口,并在窗口中采用FSVM算法分割目标和背景。实验结果表明,该方法符合生物的视觉注意机制,分割效果较好。     

噪声和U型判别网络的真实世界图像超分辨率

以往基于卷积神经网络的图像超分辨率算法往往是在理想的合成数据进行训练,当应用在真实世界（RealWorld）场景时性能就会严重下降。为更好地提取出Real-World图像中的原有特征信息,为其降质过程建模,提出一种噪声和U型判别网络的Real-World图像超分辨率算法。利用直接收集到的Real-World图像原有的复杂噪声信息,结合合成的降质图像,达到降质后图像与源图像保持特征分布相似的目的,以恢复更多的细节信息和更好的观感。此外,提出使用频谱归一正则化的U型判别网络,以提高判别网络的能力和稳定训练,抑制图像重建中伪影的出现。在三个基准数据集上的实验结果表明,与最新的方法相比,该模型在三个评价指标（峰值信噪比、结构相似度和感知图像块相似度）上均取得了最好的结果,且有着更好的观感效果。     

双线性内卷神经网络用于眼底疾病图像分类

由于眼底图像具有复杂程度高、个体差异弱、类间距离短等特点,纯卷积神经网络（CNN）和基于注意力的网络并不能在眼底疾病图像分类任务上达到令人满意的精度。因此,采用involution算子实现了注意力双线性内卷神经网络（ABINN）模型用于眼底疾病图像分类。ABINN模型的参数量仅是传统双线性卷积神经网络（BCNN）模型的11%,并提取了眼底图像的底层语义信息和空间结构信息进行二阶特征融合,是CNN和注意力方法的有效并联。此外,提出了两种基于involution算子实现注意力计算的实例化方法：基于图块的注意力子网络（AST）和基于像素的注意力子网络（ASX）,这两种方法可以在CNN的基础结构内完成注意力的计算,从而使双线性子网络能在同一个架构下训练并进行特征融合。在公开眼底图像数据集OIA-ODIR上进行实验,结果显示ABINN模型的精度为85%,比通用BCNN模型提高了15.8个百分点,比TransEye模型提高了0.9个百分点。     

视觉相似性计算的艺术图像自组织方法

为解决大量数字化艺术图像常规组织和管理复杂低效问题,提出一种基于图像相似性计算的自组织方法,对艺术图像提取了颜色、纹理、空间布局和SIFT等用于相似性计算的视觉特征表示,并根据艺术图像空间布局特点设计计算模型,试验了特征的聚类效果。采用多层版本近邻传播聚类（MLAP）算法为基础,对实验图像库进行层次化聚类,构建图像的层次化浏览结构。实验结果表明,该方法在艺术图像的管理和使用上都有着良好的性能。     

融合空间位置与结构信息的压缩感知图像重建方法

针对低采样率下分块压缩感知重建图像视觉效果不佳的问题,提出一种融合空间位置与结构信息的压缩感知图像重建方法(SLSI).首先,对观测值进行线性映射得到图像块的初步估计值;然后,基于块分组重建支路和全图重建支路对图像的空间位置信息和结构信息进行提取、增强和融合;最后,通过加权策略融合双支路的输出得到最终重建全图.在块分组...     

基于人眼视觉特性的云雾图像增强方法

针对云雾图像对比度低、照度低、色彩失真、边缘模糊的问题,提出一种基于人眼视觉特性的云雾图像增强方法。采用二维经验模式分解方法,得到多个不同尺度的内蕴模式函数图像和一个趋势图像,根据视觉适应模型对分解所得的内蕴模式函数图像和趋势图像进行调整,将人眼视觉特性融入其中。实验结果表明,增强后的图像照度、对比度适中,更适合人眼观察。