特征融合型卷积神经网络的语义分割

语义分割是对图像中的不同目标进行像素级的分割和分类,是图像处理领域中的一项重要研究,应用十分广泛。深度卷积神经网络在近几年的机器视觉研究中取得了显著成效。针对密集预测的语义分割任务,提出了一种基于VGGNet网络的方法。该方法在深层特征图像中融合了浅层信息,且采用并行的不同采样率的空洞卷积进行特征提取与融合,更有效地提取不同层的特征和上下文信息,从而提高语义分割精度。采用全连接条件随机场优化图像边界,进一步提高语义分割的精度。该方法在PASCAL VOC 2012语义分割任务测试集中取得了71.3% mIOU的结果,优于之前基于VGGNet的主要经典方法。     

一种融合多级特征信息的图像语义分割方法

卷积神经网络因为其强大的学习能力,已经在语义分割任务中取得了显著的效果,但是如何有效地利用网络在浅层次的视觉特征和深层次的语义特征一直是研究的热点,以此为出发点,提出了一种融合多级特征信息的图像语义分割方法。通过空洞卷积提取各层级的特征,并不断迭代深层特征来丰富低级视觉信息,最后与高级语义特征合并融合,得到精细的语义分割结果。实验在PASCAL VOC 2012数据集上与主流的五种方法进行了比较,在GTX1080Ti的环境下该方法与其中性能第二的模型mIoU（mean intersection-over-union）值相比提高了2.1%,与其中性能第一的模型mIoU值仅相差0.4%,表明该方法能有效利用多层级的特征信息,实现了图像语义分割的目的。     

基于深度特征融合的空间植物图像分割算法

空间植物培养实验作为空间科学的一项重要研究,通常会获得大量的植物序列图像,传统的处理方法多采用人工观察,以供后续的进一步分析。本文提出一种基于多尺度深度特征融合的空间植物分割算法。该方法应用全卷积深度神经网络来提取多尺度特征,并分层次地融合由深层到浅层的特征,以达到对植物进行像素级的识别。分层次的特征融合了语义信息、中间层信息和几何特征,提高了分割的准确性。实验表明该方法在分割准确性方面表现良好,能够自动提取空间植物实验中的有效信息。     

基于分水岭修正与U-Net的肝脏图像分割算法

在利用卷积神经网络分割肝脏边界较模糊的影像数据时容易丢失位置信息,导致分割精度较低。针对该问题,提出一种基于分水岭修正与U-Net模型相结合的肝脏图像自动分割算法。利用U-Net分层学习图像特征的优势,将浅层特征与深层语义特征相融合,避免丢失目标位置等细节信息,得到肝脏初始分割结果。在此基础上,通过分水岭算法形成的区域块对肝脏初始分割结果的边界进行修正,以获得边界平滑精确的分割结果。实验结果表明,与传统的图割算法和全卷积神经网络算法相比,该算法能够实现更为精准的肝脏图像分割。     

基于多重感受野UNet的仪表图像分割方法

为解决现有深度学习图像分割算法不能有效分割指针仪表图像中密集小目标的问题,提出基于多重感受野UNet的仪表图像分割方法.将自编码器结构和空洞卷积结构结合,使多尺度浅层特征和深层语义信息融合;以多种光照强度下采集的指针仪表数据训练模型,充分提升神经网络的泛化能力;并行调节空洞卷积参数,使神经网络学习到最优模型.实验结果表...     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度.为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法.该方法采用基于U-Net模型的编码器-译码器结构,在特征提取部分沿用U-Net模型的编码器结构,提取多个层级的特征信息;在特征融合部分保留U-Net的跳跃连接结构,同时使用提出的特征融合优化策略,实现了高层语义特征与底层位置特征的融合-优化-再融合.此外特征融合优化策略还使用空洞卷积获取了更多的全局特征,并采用Sub-Pixel卷积层代替传统转置卷积,实现了自适应上采样.所提方法在ISPRS的Potsdam数据集和Vaihingen数据集上得到了验证,其总体分割精度、Kappa系数和平均交并比mIoU 3个评价指标在Potsdam数据集上分别为86.2％,0.82,0.77,在Vaihingen数据集上分别为84.5％,0.79,0.69;相比传统的U-Net模型,所提方法的3个评价指标在Potsdam数据集上分别提高了5.8％,8％,8％,在Vaihingen数据集上分别提高了3.5％,4％,11％.实验结果表明,基于U-Net特征融合优化策略的遥感影像语义分割方法,在Potsdam数据集和Vaihingen数据集上都能达到很好的语义分割效果,提高了遥感影像的语义分割精度.     

改进的基于通道注意力反馈网络的遥感图像融合算法

针对前馈卷积神经网络（CNN）感受野较小、获取上下文信息不足、其特征提取卷积层只能提取到浅层特征的问题,提出改进的基于通道注意力反馈网络的遥感图像融合算法。首先,通过两层卷积层分别初步提取全色（PAN）图像的细节特征和低分辨率多光谱（LMS）图像的光谱特征;其次,将提取的特征和网络反馈的深层特征相结合,并将其输入到通道注意力机制模块中以得到初步精细化特征;然后,经过反馈模块生成表征能力更强的深层特征;最后,将生成的深层特征经过含有反卷积的重建层,从而得到高分辨率多光谱（HMS）图像。在三个不同卫星图像数据集上的实验结果表明：所提算法能很好地提取PAN图像的细节特征和LMS图像的光谱特征,同时其恢复出来的HMS图像在主观视觉上更加清晰,并且在客观评价指标上优于对比算法,同时在均方根误差（RMSE）指标上,所提算法比传统算法降低了50%以上,比前馈卷积神经网络算法降低了10%以上。     

融合多尺度特征的遥感影像道路提取方法

针对遥感影像中由于道路信息错综复杂,导致道路提取不完整、精确度低等问题,提出一种新型遥感影像道路提取方法。融合多尺度特征改善道路提取的整体效果,基于深度残差网络设计混合空洞卷积,并通过定义卷积核各值的间距增大特征提取感受野,从而丰富多尺度特征融合模块中的浅层道路语义信息。在编码端提取特征后,利用权重分布的方法匹配感受野尺度,使用不同层级间的特征对全局先验信息进行表征,提高多尺度融合特征获取浅层道路语义信息的准确性,并将改进的多孔空间金字塔池化模块融入到深度残差网络中,挖掘并深度聚合道路浅层次和深层次的语义信息。在两种高分辨率遥感数据集Cheng_Data_Roads和Zimbabwe_Data_Roads上的实验结果表明,所提方法的F1值和MIoU值分别为91.16%和83.63%,准确率、召回率等评价指标均明显优于U-net、ResUnet、D-Linknet等语义分割方法。     

基于场景理解与改进型BUG算法的移动机器人避障

针对现有移动机器人在视觉避障上存在的局限,将深度学习算法和路径规划技术相结合,提出了一种基于深层卷积神经网络和改进Bug算法的机器人避障方法;该方法采用多任务深度卷积神经网络提取道路图像特征,实现图像分类和语义分割任务;其次,基于语义分割结果构建栅格地图,并将图像分类结果与改进的Bug算法相结合,搜索出最优避障路径;同时,为降低冗余计算,设计了特征对比结构来对避免对重复计算的特征信息,保障机器人在实际应用中实时性;通过实验结果表明,所提方法有效的平衡了多视觉任务的精度与效率,并能准确规划出安全的避障路径,辅助机器人完成导航避障。     

基于特征感知和更新的显著物体检测

为了解决显著物体检测方法中浅层特征未能有效利用深层语义信息的目标定位优势进行细节特征定位和学习问题，提出一种基于特征感知和更新的显著物体检测模型。采用卷积组提升不同层级侧输出特征性能和降低特征维度，设计全局信息感知模块提取和融合多尺度的全局特征，在每侧直接融合深层的语义特征和浅层的细节特征，并通过计算空间注意力进行显著性特征更新。通过在4个公开基准数据集上与12种近3年发表的具有代表性的主流模型对比，实验结果表明，所提模型面对各种复杂场景均具有较强的鲁棒性，得到具有均匀内部和清晰边界的检测结果。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

双层残差语义分割网络及交通场景应用

针对图像语义分割过程中特征提取网络的深度问题以及下采样池化层降低特征图分辨率等问题,提出了一种基于双层残差网络特征提取的图像语义分割网络,称为DResnet。首先提出一种双层残差网络,对训练集各目标的细节进行特征提取,提高网络对部分细节目标的感知能力;其次在Layer1层开始跳跃特征融合,并持续以2倍反卷积方法进行上采样操作,融合底层特征与高层特征,降低部分细节信息丢失对分割精度的影响;最后使用网络分支训练法,先训练图像上各目标的大致轮廓特征,在此基础上再训练各目标的细节特征。结果表明:该网络的平均交并比较全卷积网络相比,在CamVid上由49.72%提升至59.44%,在Cityscapes上由44.35%提高到47.77%,该网络得到准确率更高、分割物体边缘更加完整的图像分割结果。     

基于特征互补率矩阵的图像分类方法

在基于内容的图像检索和分类系统中,图像的底层特征和高层语义之间存在着语义鸿沟,有效减小语义鸿沟是一个需要广泛研究的问题。为此,提出一种基于特征互补率矩阵的图像分类方法,该方法通过计算视觉特征互补率矩阵进而指导融合特征集的选择,利用测度学习算法得到一个合适的距离测度以反映图像高层语义的相似度。实验结果表明,该方法能有效提高图像分类精度。     

多尺度多阶段特征融合的带噪图像语义分割

在图像的采集过程中,图像往往会带有一定的噪声信息,这些噪声信息会破坏图像的纹理结构,进而干扰语义分割任务.现有基于带噪图像的语义分割方法,大都是采取先去噪再分割的模型.然而,这种方式会导致在去噪任务中丢失语义信息,从而影响分割任务.为了解决该问题,提出了一种多尺度多阶段特征融合的带噪图像语义分割的方法,利用主干网络中各阶段的高级语义信息以及低级图像信息来强化目标轮廓语义信息.通过构建阶段性协同的分割去噪块,迭代协同分割和去噪任务,进而捕获更准确的语义特征.在PASCAL VOC 2012和Cityscapes数据集上进行了定量评估,实验结果表明,在不同方差的噪声干扰下,模型依旧取得了较好的分割结果.     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。