基于语义分割与深度估计的行车环境实时解析

道路行车环境的实时解析是智能驾驶的关键技术,尽管神经网络在实现语义分割和深度估计上能取得不错的精度,但由于模型参数多、计算量大等问题,导致难以实现实时计算。针对该问题,提出了一个轻量化、高效的特征提取模块和一个综合考虑语义信息和深度信息的特征解码模块,在一个网络中同时完成语义分割和深度估计两个任务。在CityScapes数据集中,语义分割预测结果的mIOU为65.0%、深度估计结果的误差为0.21,并且在单个GPU上推断速度达到了65FPS,满足实时性要求。     

深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。     

一种基于智能场景分析的2D转3D视频时分算法

2D转3D视频的快速实现算法主要有时分法和位移法。对时分法的原理和缺陷进行了分析,在此基础上提出了一种新的基于场景特征的时分算法,它能更好地3D化平面视频。该算法利用了基于视频帧图像的颜色信息和运动矢量信息对视频进行自动分割的方法,根据视频段场景特征自适应选择左右眼最佳配对帧方法,以及通过视频段运动矢量信息来调整左右眼对应帧和补帧的方法来改进处理和立体化视频。对合成立体视频的立体显示实验分析证明改进方法有效地改善了合成立体视频的质量。     

基于深度学习的视频语义分割综述

目前对视频语义分割的研究主要分为两方面,一是如何利用视频帧之间的时序信息提高图像分割的精度;二是如何利用视频帧之间的相似性确定关键帧,减少计算量,提升模型的运行速度.在提升分割精度方面一般设计新的模块,将新模块与现有的CNNs结合;在减少计算量方面,利用帧序列的低层特征相关性选择关键帧,同时减少操作时间.本文首先介绍视频语义分割的发展背景与操作数据集Cityscapes、CamVid;其次,介绍现有的视频语义分割方法;最后总结当前视频语义分割的发展情况,并对未来的发展给出一些展望和建议.     

基于深度学习的无监督领域自适应语义分割算法综述

随着现代生活逐步智能化,越来越多的应用需要从图像中推断相应的语义信息再进行后续的处理,如虚拟现实、自动驾驶和视频监控等应用。目前的语义分割模型利用大量标注数据进行有监督训练能达到理想的性能,但模型对与训练数据不同分布的数据进行推理时,其性能严重下降。这意味着一旦应用场景发生变化,就需对新场景的数据进行标注。模型重新利用新数据进行训练,才能达到正常的性能。这无疑是耗时的、代价昂贵的。为此,领域自适应语义分割算法提供了解决模型在分布不一致数据上语义分割性能下降问题的思路。总结了领域自适应语义分割算法的前沿进展,并对未来研究方向进行展望。     

基于深度学习的图像语义分割算法综述

随着自动驾驶及虚拟现实技术等领域的发展,图像语义分割方法受到越来越多的计算机视觉和机器学习研究人员的关注。首先介绍了图像语义分割领域的常用术语以及需要了解的背景概念,并介绍语义分割问题中几种经典的深度学习算法,如全卷积神经网络(FCN)、Deeplab等。最后针对当前图像语义分割算法的应用,总结展望未来研究方向。     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

深度指导的无监督领域自适应语义分割

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为46.7%和73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

深度学习实时语义分割算法研究综述

语义分割是从像素的角度分割出图片中的不同对象,并对原始图片中的每个像素进行标注的一种技术。但由于无人机导航、遥感图像、医疗诊断等应用领域需要实时地进行语义分割处理。所以,基于深度学习的实时语义分割技术得到了迅速的发展。实时语义分割技术发展至今已有许多的技术与模型。基于此,在对相关文献进行研究的基础上,由语义分割技术引出了实时语义分割技术,并简单叙述了实时语义分割的优点。随后,研讨出目前实时语义分割存在的重难点。根据重难点进而对已存在的相关技术与模型进行阐述,并总结技术与模型的优缺点。最后,展望实时语义分割所面临的挑战,并对实时语义分割进行了总结与归纳,为后续的研讨提供了一些理论参考。     

基于深度学习的图像语义分割技术研究进展

自FCN网络在2014年提出后,SegNet、DeepLab等一系列关于图像语义分割的深度学习架构被相继提出。与传统方法相比,这些架构效果更好、运算速度更快,已经能够运用于自然图像的分割处理。围绕图像语义分割技术,对常用的数据集和典型网络架构进行了梳理分析,对2017年以来的新进展进行了综合研究,利用主流评价指标对主要模型的语义分割效果进行了比较和分析。对语义分割技术面临的挑战以及可能的发展趋势进行了展望。     

联合语义分割的自监督单目深度估计方法

研究深度估计和语义分割的图像之间的互利关系,提出了一种联合语义分割的自监督单目深度估计方法 USegDepth.语义分割和深度估计任务通过共享编码器,实现语义引导.为了进一步提高编码器的跨多任务性能,设计了多任务特征提取模块,堆叠该模块构成共享编码器,解决有限感受野和缺乏跨通道交互导致的模型特征表示能力欠佳问题,进一步提升模型精度.同时,提出跨任务交互模块,通过双向的跨域信息交互细化特征表示,提升深度估计表现,特别是光度一致性监督有限的弱纹理区域和物体边界.通过在KITTI数据集上的训练和全面评估,实验结果显示所提的USegDepth模型方法的均方相对误差相比于SGDepth降低了0.176个百分点,在阈值为1.25³的阈值精度达到了98.4%,证明了USegDepth在深度预测上具有较高的准确率.     

基于邻域扩展的半自动2D转3D方法*

半自动2D转3D是解决当前3D影视内容匮乏的重要途径,其核心是将用户分配的稀疏深度转换成稠密深度。现有方法大多借助局部邻域进行深度插值,忽略了图像的全局约束关系,因而难以准确恢复深度图的对象边界。针对该问题,提出邻域扩展的最优化深度插值方法。首先引入邻域的邻域,建立邻域扩展的最优化深度插值能量模型;其次在相似的像素点与其邻域加权深度平均值的差异近似相等的假设条件下,将深度插值能量模型的最优化问题转换成一个稀疏线性方程组的求解问题。实验结果表明,与当前流行的半自动2D转3D方法相比,本文方法估计的深度图PSNR更高,同时增强了深度图的对象边界质量。     

面向Web图像检索的基于语义迁移的无监督深度哈希

当前主流的Web图像检索方法仅考虑了视觉特征,没有充分利用Web图像附带的文本信息,并忽略了相关文本中涉及的有价值的语义,从而导致其图像表达能力不强。针对这一问题,提出了一种新的无监督图像哈希方法——基于语义迁移的深度图像哈希（semantic transfer deep visual hashing,STDVH）。该方法首先利用谱聚类挖掘训练文本的语义信息;然后构建深度卷积神经网络将文本语义信息迁移到图像哈希码的学习中;最后在统一框架中训练得到图像的哈希码和哈希函数,在低维汉明空间中完成对大规模Web图像数据的有效检索。通过在Wiki和MIR Flickr这两个公开的Web图像集上进行实验,证明了该方法相比其他先进的哈希算法的优越性。     

深度学习实时语义分割研究进展和挑战

语义分割作为计算机视觉领域的重要研究方向之一,应用十分广泛。其目的是根据预先定义好的类别对输入图像进行像素级别的分类。实时语义分割则在一般语义分割的基础上又增加了对速度的要求,广泛应用于如无人驾驶、医学图像分析、视频监控与航拍图像等领域。其要求分割方法不仅要取得较高的分割精度,且分割速度也要快。随着深度学习和神经网络的快速发展,实时语义分割也取得了一定的研究成果。本文在前人已有工作的基础上对基于深度学习的实时语义分割算法进行系统的归纳总结,包括基于Transformer和剪枝的方法等,全面介绍实时语义分割方法在各领域中的应用。首先介绍实时语义分割的概念,再根据标签的数量和质量,将现有的基于深度学习的实时语义分割方法分为强监督学习、弱监督学习和无监督学习3个类别。在分类的基础上,结合各个类别中最具有代表性的方法,对其优缺点展开分析,并从多个角度进行比较。随后介绍目前实时语义分割常用的数据集和评价指标,并对比分析各算法在各数据集上的实验效果,阐述现阶段实时语义分割的应用场景。最后,讨论了基于深度学习的实时语义分割存在的挑战,并对实时语义分割未来值得研究的方向进行展望,为研究者们解决存在的问题提供便利。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet.首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化(GN)方法,从而在减少模...     

深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

基于深度学习的无人机图像语义分割算法研究

已有关于无人机视觉的图像语义分割算法多数是对遥感图像进行分割,无法表现地面细节信息,导致无人机在低空飞行任务中的实时自主环境感知存在障碍。针对该问题,提出一种低空无人机实时图像语义分割方法。设计一种新型的超网络体系结构,在编码器的最后一层加入一个上下文头权重生成模块,在编码器编码结束前生成解码器中每个块的权重,以减少预测时网络的参数量和计算量,达到实时分割的效果。在解码器中,利用局部连接层机制设计一种动态分片卷积算法,在面对跨越多个分片的大型分割对象时充分考虑上下文语义信息,使解码器中每个卷积核的权重随输入特征图的空间位置而变化,同时利用动态权重针对性地分割不同物体,最大程度地提高网络的自适应性。在低空无人机视觉图像数据集上的实验结果表明,该方法对于建筑、道路、静态车等类别图像的平均交并比为66.3%,预测速度达到37.9帧/s,与MSD、ABCNet算法相比,其分割精度分别提升9.3和2.5个百分点。