基于实例分割的车道线检测方法

针对自动驾驶汽车在复杂环境下车道线难以识别的问题,将车道线检测视为实例分割任务,利用一种改进的双边分割网络,能识别任意数量的车道线,并直接提取分割图感兴趣行上最大概率值坐标作为车道线候选坐标点,使用最小二乘算法拟合车道曲线。使用了注意力机制和金字塔池化结构增强网络结构的特征提取能力。在数据集Tusimple和自制数据集MiniLane实验结果表明,改进的双边分割网络在检测精度和实时性上得到明显提高,能够很好地应用于自动驾驶汽车。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

实例分割方法研究综述

近年来,随着计算水平的不断提高,基于深度学习的实例分割方法的研究取得了巨大的突破。图像实例分割可以区分图像中同一类的不同实例,是计算机视觉领域的重要研究方向,具有十分广阔的研究前景,在场景理解、医学图像分析、机器视觉、增强现实、图像压缩和视频监控等方面取得了巨大的实际应用价值。近年来,实例分割方法的更新频率越来越高,但目前很少有文献全面系统地分析实例分割相关研究背景。对基于深度学习的图像实例分割方法进行了全面系统的分析与总结,首先,介绍目前实例分割中常用的公共数据集与评价指标,并对现有数据集面临的挑战进行了分析;其次,分别从两阶段分割方法与单阶段分割方法的特性上对实例分割算法进行梳理与总结,阐述其核心思想与设计思路,并对这两类方法的优势与不足进行总结;然后,在公共数据集上评估这些模型的分割精度和速度;最后,总结目前实例分割面临的困难与挑战,以及面对挑战的解决思路,并对未来的研究方向进行展望。     

基于网格切分的单阶段实例分割方法

近年来,与二阶段实例分割方法相比,单阶段实例分割方法由于实时性强,已在实际应用中取得了初步进展,但目前仍然存在以下两个主要缺点.（1）精度较低：单阶段方法缺少多轮优化环节,因此其精度离实际应用仍存在差距;（2）不够灵活：目前大多数单阶段方法是独立设计的,难以兼容实际应用中不同类型的物体检测框架,因此适用范围相对有限.提出了一种精确且灵活的单阶段实例分割框架——网格实例分割方法（GridMask）,其中两个关键步骤如下：（1）为了提高实例分割精度,提出了一种网格切分二值化算法,将物体边界框内的区域划分为多个独立的网格,然后在每个网格上进行实例分割.该步骤将物体分割任务简化成了多个网格切片的分割,有效降低了特征表示的复杂程度,进而提高了实例分割的精度;（2）为了兼容不同的物体检测方法,设计了一个可以即插即用的子网络模块.该模块可以无缝地接入到目前大多数主流物体检测框架中,以增强这些方法的分割性能.所提方法在公共数据集MS COCO上取得了出色的性能,优于现有的大部分单阶段方法,甚至一些二阶段方法.     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义.实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例...     

基于实例分割的车道线检测及自适应拟合算法

车道线检测是智能驾驶系统的重要组成部分。传统车道线检测方法高度依赖手动选取特征,工作量大,在受到物体遮挡、光照变化和磨损等复杂场景的干扰时精度不高,因此设计一个鲁棒的检测算法面临着很大挑战。为了克服这些缺点,提出了一种基于深度学习实例分割方法的车道线检测模型。该模型基于改进的Mask R-CNN模型,首先利用实例分割模型对道路图像进行分割,提高车道特征信息的检测能力;然后使用聚类模型提取离散的车道线特征信息点;最后提出一种自适应拟合的方法,结合直线和多项式两种拟合方法对不同视野内的特征点进行拟合,生成最优车道线参数方程。实验结果表明,该方法提高了检测速度,在不同场景下都具有较好的检测精度,能够实现对各种复杂实际条件下的车道线信息的鲁棒提取。     

不完整实例引导的航空发动机叶片实例分割

当前基于深度学习的实例检测方法在进行发动机叶片分割时,由于缺少带标注的发动机叶片数据,导致无法充分训练网络模型,仅得到次优的分割结果。为了提升航空发动机叶片实例分割精度,提出了不完整实例引导的航空发动机叶片实例分割方法,通过结合已有的实例分割方法和交互式分割方法,可得到较好的发动机叶片分割结果。首先,使用少量标注数据训练实例分割网络,得到发动机叶片的初步分割结果;其次,将检测到的单个叶片分为前景和背景两部分,通过选择前景种子点和背景种子点,利用交互式分割方法的思想,产生完整的单个叶片的分割结果;依次处理完所有的叶片后,将结果合并得到最终的发动机叶片实例分割结果。使用72张图像训练基于稀疏实例激活图的实时实例分割方法（SparseInst）产生初始的实例分割结果,在56张图像上进行测试。所提方法的全类平均准确率（mAP）比SparseInst的全类平均准确率高5.1个百分点;且它的mAP结果均优于当前流行的实例分割方法MASK R-CNN(MASK Region based Convolutional Neural Network)、YOLACT (You Only Look At Co...     

深度卷积神经网络图像实例分割方法研究进展

图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展.实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务.实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标...     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

基于视频实例分割的猪只监测算法

随着人工智能的蓬勃发展,智慧养殖业成为了新的发展前景。针对猪场监控视频监测自动化、智能化程度过低的问题,提出了一种基于视频实例分割的猪只监测算法框架,并将其命名为Track-YOLACT。该框架由分割器和跟踪器两部分构成,首先基于基于经典单阶段实例分割网络的分割器进行分割,然后使用跟踪器进行跟踪,从而实现对视频中所有猪只的分割和跟踪。论文为养殖场自动化、智能化监测提供了一种实用的框架。     

引入深度补全与实例分割的三维目标检测

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境.以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声的同时将稀疏雷达点云补全成稠密深度图;采用降维原理,结合Mask R-CNN在RGB...     

基于DMN的跨模态目标实例分割方法

在DMN的基础上提出一种跨模态目标实例分割方法,旨在结合自然语言表达,利用不同模态信息从图像中分割所描述对象。在视觉特征提取网络DPN92中引入CBAM注意力机制,关注空间和通道上的有用信息;将BN层替换为联合BN和FRN的正则化,减少批次量和通道数对提取特征网络性能的影响,提高网络的泛化能力;在三个通用数据集ReferIt、GRef和UNC上进行仿真实验。实验结果显示,提出的引入CBAM注意力机制和联合正则化改进模型在mIou评价指标上,ReferIt和GRef上分别提升了1.85和0.52个百分点,在UNC三个验证集上分别提升了1.98、2.22和2.75个百分点。表明改进模型在预测准确度方面优于已有模型。     

基于图像实例分割的机器人箱体拆垛方法

为了解决工业箱体包裹拆垛任务中传统特征提取方法依赖于箱体形状,难适用于规格多变、混箱垛型的问题,提出一种基于图像实例分割的机器人拆垛方法。为获得准确箱体拣选中心,首先利用Mask R-CNN进行实例分割获得箱体掩膜和分类信息,并在特征提取后添加空间变换网络（spatial transformation network,STN）模块,优化对旋转目标的识别;然后求解掩膜最小外接矩形并后处理获得待拣选箱体像素中心和水平旋转角度,并结合一种拆垛策略进行先行后列排序以确定拣选顺序;最后利用标定方法完成箱体定位,并对规格多变、混箱垛型进行分割和机器人拆垛实验,结果表明,待拆箱体像素中心平均像素距离约4个像素点,空间定位平均误差约1 cm,定位精度满足工业拆垛实际需求。     

基于密集分割网络的车道线检测方法

传统车道线检测算法大多数依赖手工制作特征和启发式算法的组合,容易受车辆遮挡和地面污损等因素的影响。针对影响车道线检测的复杂问题,将车道线检测视为连续细长区域实例分割问题,提出了一种基于密集分割网络的车道线检测方法。为此,使用稠密块构建了一个密集分割网络DSNet,该网络能够利用特征重复使用的特性提高提取车道线实例特征和恢复特征图分辨率的性能。同时,还引入了邻近AND运算和Meanshift聚类算法对DSNet网络的输出进行处理,减小了非车道线像素的影响,使得检测结果的边界线更为清晰。实验表明,本文方法能很好地解决车辆遮挡和地面污损问题,并且还能确定车道线的数量,具有较好的鲁棒性和实时性。     

基于无锚框分割网络改进的实例分割方法

在无人驾驶应用场景中,现有无锚框实例分割方法存在大目标特征覆盖小目标特征、缺少两阶段检测器中的感兴趣区域对齐操作、忽略类别分支对掩膜分支提供的位置和空间信息等问题,导致特征提取不充分且无法准确获取目标区域。提出一种改进的无锚框实例分割方法。结合可变形卷积,设计编码-解码特征提取网络提取高分辨率特征,以增强对小目标特征的提取能力,并采用空洞卷积和合并连接的方式,在不增加计算量的前提下有效融合多种分辨率的特征。在此基础上,将注意力机制引入到类别分支中,同时设计结合空间信息和通道信息的信息增强模块,以提高目标检测能力。实验结果表明,该方法在COCO 2017和Cityscapes数据集上平均精度和平均交并比分别为41.1%和83.3%,相比Mask R-CNN、SOLO、Yolact等方法,能够有效改进实例分割效果并具有较优的鲁棒性。     

基于SOLOV2改进的实例分割算法研究

实例分割在图像分类的基础上为每一个物体生成像素级别的分割掩码,是当前计算机视觉领域热门研究课题,也是极具挑战性的任务之一。针对当前算法存在的分割精度和鲁棒性不高等问题,提出了一种改进的SOLOV2算法。首先,以FCN(Fully Convolutional Networks for Semantic Segmentation)算法为整体框架,采用ResNext作为骨干网络,在不增加网络参数量和计算量的前提下可以有效提升网络的精度;其次,采用改进的NAS-FPN(Neural Architecture Search Feature Pyramid Network)作为特征金字塔网络结构,这是一种可以在FPN中进行特征图的搜索和组合结构,使网络可以重新搜索并融合已经提取的特征图,以此来解决网络不能充分感知特征图从而导致网络精度不高的问题;最后,通过调整超参数得到整个分割网络模型。通过在COCO2017数据集上与BDD100K数据集上进行实验分析比较可知,改进的基于SOLOV2实例分割算法精度达到41.8%,在兼顾实时性的同时网络精度提升了2.1%。通过实验证明改进的算法可以适应多种交通场景...     

基于空频域联合闭值分割的轮廓检测方法

传统的边缘检测算子仅在空域上对梯度图像进行阈值分割来计算二值边缘图像,当应用在自然场景图像中时,检测结果中往往含有大量的干扰边缘。为了消除干扰边缘,提高传统边缘算子的轮廓检测性能,提出了基于空频域联合阈值分割的轮廓检测方法:首先对梯度图像进行频域阈值分割消除干扰边缘,然后进行空域阈值分割得到最终的二值边缘图。结合Canny算子,利用自然场景图像对该方法进行了性能评估,结果表明,该方法大大减少了干扰边缘,有效提高了Canny算子在复杂自然场景图像中的轮廓检测性能。     

基于图像分割的目标检测方法对比研究

奶牛行为识别过程中,奶牛目标精准检测是重要前提。一般的奶牛目标检测采用纹理和颜色信息进行识别,对于长时间静止和复杂背景干扰的目标存在目标丢失和检测不精准问题。针对上述问题,文章将图像分割方法和区域面积剔除方法相结合,实现复杂环境下的静止奶牛目标检测。实验结果表明,该方法达到97.4%的识别率。