基于改进SOLOv2的转炉炼钢钢液检测

转炉炼钢是冶金工业生产中的重要工艺过程,在转炉炼钢中连续实时检测钢液有助于提升炼钢的出钢产品质量和冶炼效率,针对转炉炼钢过程中炉口采集的图像相似性高、背景干扰大导致难以检测钢液的问题,提出了一种基于深度学习的实例分割方法。在SOLOv2的骨干网络中加入通道注意力机制,并对输入的图像进行去雾的预处理操作,从而获得具有高准确率的转炉炼钢钢液检测在线模型SA-SOLOv2。在转炉炼钢测试集上进行测试,结果表明,与原SOLOv2模型相比,该模型的交并比（IoU）提升了1.4%,漏检率降低了9.8%,且改进的SA-SOLOv2模型的检测时间明显少于其他基于深度学习的检测网络,提升了检测效率。     

基于无锚框分割网络改进的实例分割方法

在无人驾驶应用场景中,现有无锚框实例分割方法存在大目标特征覆盖小目标特征、缺少两阶段检测器中的感兴趣区域对齐操作、忽略类别分支对掩膜分支提供的位置和空间信息等问题,导致特征提取不充分且无法准确获取目标区域。提出一种改进的无锚框实例分割方法。结合可变形卷积,设计编码-解码特征提取网络提取高分辨率特征,以增强对小目标特征的提取能力,并采用空洞卷积和合并连接的方式,在不增加计算量的前提下有效融合多种分辨率的特征。在此基础上,将注意力机制引入到类别分支中,同时设计结合空间信息和通道信息的信息增强模块,以提高目标检测能力。实验结果表明,该方法在COCO 2017和Cityscapes数据集上平均精度和平均交并比分别为41.1%和83.3%,相比Mask R-CNN、SOLO、Yolact等方法,能够有效改进实例分割效果并具有较优的鲁棒性。     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义.实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例...     

实例分割方法研究综述

近年来,随着计算水平的不断提高,基于深度学习的实例分割方法的研究取得了巨大的突破。图像实例分割可以区分图像中同一类的不同实例,是计算机视觉领域的重要研究方向,具有十分广阔的研究前景,在场景理解、医学图像分析、机器视觉、增强现实、图像压缩和视频监控等方面取得了巨大的实际应用价值。近年来,实例分割方法的更新频率越来越高,但目前很少有文献全面系统地分析实例分割相关研究背景。对基于深度学习的图像实例分割方法进行了全面系统的分析与总结,首先,介绍目前实例分割中常用的公共数据集与评价指标,并对现有数据集面临的挑战进行了分析;其次,分别从两阶段分割方法与单阶段分割方法的特性上对实例分割算法进行梳理与总结,阐述其核心思想与设计思路,并对这两类方法的优势与不足进行总结;然后,在公共数据集上评估这些模型的分割精度和速度;最后,总结目前实例分割面临的困难与挑战,以及面对挑战的解决思路,并对未来的研究方向进行展望。     

基于SOLOV2改进的实例分割算法研究

实例分割在图像分类的基础上为每一个物体生成像素级别的分割掩码,是当前计算机视觉领域热门研究课题,也是极具挑战性的任务之一。针对当前算法存在的分割精度和鲁棒性不高等问题,提出了一种改进的SOLOV2算法。首先,以FCN(Fully Convolutional Networks for Semantic Segmentation)算法为整体框架,采用ResNext作为骨干网络,在不增加网络参数量和计算量的前提下可以有效提升网络的精度;其次,采用改进的NAS-FPN(Neural Architecture Search Feature Pyramid Network)作为特征金字塔网络结构,这是一种可以在FPN中进行特征图的搜索和组合结构,使网络可以重新搜索并融合已经提取的特征图,以此来解决网络不能充分感知特征图从而导致网络精度不高的问题;最后,通过调整超参数得到整个分割网络模型。通过在COCO2017数据集上与BDD100K数据集上进行实验分析比较可知,改进的基于SOLOV2实例分割算法精度达到41.8%,在兼顾实时性的同时网络精度提升了2.1%。通过实验证明改进的算法可以适应多种交通场景...     

基于改进U-Net的卫星图像分割算法

为解决传统模型与算法对遥感卫星图像小目标的分割精度低、泛化能力差等问题,提出一种基于改进U-Net的图像分割算法。将骨干网络改为ResNet18并加入优化后的空洞卷积池化金字塔与卷积注意力机制模块,充分提取小目标边缘特征。该算法在中国南部某地区的公开卫星图像数据集上的平均交并比与分割总精度分别达到了75.8%与95.6%,均超过U-Net、DeepLabV3+、SegNet、W-Net等主流语义分割网络。实验结果表明,该算法能有效改善网络的预测精度与小目标的分割结果。     

卷积神经网络低层特征辅助的图像实例分割方法

流行的实例分割网络Mask R-CNN在进行实例分割时,存在目标分割边界和分割轮廓粗糙的问题,导致分割精度低。针对此问题,提出在Mask R-CNN分割分支中引入网络的低层卷积特征进行高精度的实例分割方法。首先从特征提取网络中选择特征,通过插值算法将其缩放至固定尺度(输入图像的1/8)作为低层特征;然后通过RoI对齐操作提取当前待分割目标的特征后与原始的Mask R-CNN的分割分支对应目标的特征进行拼接,并将其作为精细化目标分割的特征。低层网络特征引入了更多的低级纹理和轮廓信息,可以有效地提高物体的分割精度。在COCO2017数据集上,所提方法使用ResNet-101-FPN作为特征提取网络得到的分割结果的平均准确度(AP)相对于Mask R-CNN提高了1.2%。实验结果表明,所提方法在使用不同特征提取网络时具有较好的鲁棒性和有效性。     

深度卷积神经网络图像实例分割方法研究进展

图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展.实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务.实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标...     

基于类别不平衡数据集的图像实例分割方法

随着深度学习在计算机视觉领域取得重大进展,包含多种类别的数据集不断被提出,但由于自然采集的数据集往往存在类别不平衡并呈现长尾分布的情况,导致稀有类的数据特征被频繁类的数据特征所抑制,从而严重影响模型的检测性能。为解决上述问题,提出一种新的图像实例分割方法。采用长尾实例分割数据集进行研究实验,使用基于目标尺度的数据增广方法对数据集进行处理,以达到扩充训练样本的目的,增加稀有类的目标数量,同时对稀有类数据进行重采样,解决稀有类的类别数据量过小的问题,提升模型在长尾数据集的鲁棒性。在此基础上,将均等化损失函数融入Mask R-CNN实例分割网络,以降低频繁类的数据特征对稀有类数据特征的抑制性。实验结果表明,该方法在LVIS实例分割数据集上的检测精度提升了4.9%,达到了25.7%,同时AP_r、AP_c、AP_f分别达到了16.2%、26.1%、30.4%,相比Baseline方法均有明显提升,在消融实验上的结果也表明该方法能有效解决长尾类问题。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

基于通道注意力机制和U-net的医学图像分割方法

随着人工智能和医学大数据的发展,基于深度学习的医学图像分割技术因具有重要的应用价值和前景,已经成为目前的研究热点.为了增强特征图的语义信息,在U-net网络的基础上引入通道注意力机制,对U-net生成的特征逐通道进行压缩,将压缩后的特征逐通道计算权重,然后将该权重与原始特征相乘得出最终的特征.通过在两个不同器官的医学图像数据集上进行实验,Dice系数相较于原始U-net网络分别提高了2.7％和1.8％,验证了该方法的可行性和有效性.     

基于视频实例分割的猪只监测算法

随着人工智能的蓬勃发展,智慧养殖业成为了新的发展前景。针对猪场监控视频监测自动化、智能化程度过低的问题,提出了一种基于视频实例分割的猪只监测算法框架,并将其命名为Track-YOLACT。该框架由分割器和跟踪器两部分构成,首先基于基于经典单阶段实例分割网络的分割器进行分割,然后使用跟踪器进行跟踪,从而实现对视频中所有猪只的分割和跟踪。论文为养殖场自动化、智能化监测提供了一种实用的框架。     

基于改进FPCC的实例分割算法

3D点云实例分割是工业自动化中关键的预处理步骤.然而,在工业抓取场景中存在大量遮挡时, 3D点云的实例分割网络通常难以区分相似对象.针对这一问题,本文提出了一种基于FPCC的改进算法.本算法有两个分支:中心点分支,用于推断实例的中心点,以及嵌入式特征分支,用于描述点的特征.分割结果是使用聚类算法获得的.特征增强(FEH)模块对中心点预测的准确性起着至关重要的作用.该模块使用特征增强方法来提高预测的准确性,并且进一步地针对中心点预测而进行了损失函数的修改.实验结果表明,改进后的算法相比于FPCC算法在Precision值和Recall值上分别提高了10%、15%.     

基于DMN的跨模态目标实例分割方法

在DMN的基础上提出一种跨模态目标实例分割方法,旨在结合自然语言表达,利用不同模态信息从图像中分割所描述对象。在视觉特征提取网络DPN92中引入CBAM注意力机制,关注空间和通道上的有用信息;将BN层替换为联合BN和FRN的正则化,减少批次量和通道数对提取特征网络性能的影响,提高网络的泛化能力;在三个通用数据集ReferIt、GRef和UNC上进行仿真实验。实验结果显示,提出的引入CBAM注意力机制和联合正则化改进模型在mIou评价指标上,ReferIt和GRef上分别提升了1.85和0.52个百分点,在UNC三个验证集上分别提升了1.98、2.22和2.75个百分点。表明改进模型在预测准确度方面优于已有模型。     

基于注意力机制的SOLOA船舶实例分割算法北大核心CSCD

目前,可见光船舶图像的实例分割仍然是较有挑战性的工作。由于船舶图像场景复杂多变,多数实例分割算法无法对复杂场景下的船舶图像进行有效分割。本文提出了基于注意力机制的依靠位置分割目标(attention based segmenting objects by locations,SOLOA)船舶实例分割算法,针对网络特征图里实例信息不完善、背景干扰较多的问题,使用空间注意力机制来充分利用分类特征中的实例信息,建模图像实例间的相互关系并与分割特征相融合。实验结果表明,在新构建的船舶图像数据集上进行训练和测试,改进的网络模型能有效地增强网络特征中的实例信息、减弱背景的干扰。SOLOA算法的船舶实例分割准确率高于其他算法,可以很好地适应复杂场景下的船舶分割需求。     

名词引导局部特征提取的基于文本的实例分割方法

局部特征信息在图像分割中扮演着重要角色,然而基于文本的实例分割任务具有对输入文本表达式的依赖性,无法直接从原始的输入图像中提取局部特征信息。针对这一问题,提出了一种具体的名词引导局部特征提取的深度神经网络模型(NgLFNet),NgLFNet模型可根据输入文本表达式中的关键名词来自动挖掘待分割对象的局部特征信息。具体地,该模型首先通过语句分析得到关键名词;其次通过文本和图像编码器提取相应特征,并利用关键名词通过多头注意力机制获取高关注区域局部特征;然后逐步融合多模态特征;最后在解码修正模块利用得到的局部特征对预测掩膜进行更细致的修正,从而得到最终结果。将该方法与多种主流基于文本的实例分割方法进行对比,实验结果表明该方法提升了分割效果。     

基于GAN–UNet的矿石图像分割方法

在选矿生产过程中,磨机给矿粒度对磨矿分级效率影响重大,是一个关键的控制参数.由于矿石表面不规则、棱线较多,同时存在矿石间堆叠的问题,给基于图像的矿石粒度检测带来极大困难.本文提出一种基于GAN–UNet的矿石图像分割方法,针对矿石图像棱线易引起矿石边缘错误识别的问题,采用生成对抗网络进行图像分割,将U–Net作为图像分...     

一种改进U型神经网络的医学细胞核图像分割方法

在细胞核分割任务中,存在细胞核的边缘轮廓信息模糊以及细胞核和背景的对比度低造成难以分割的问题.针对此问题,常规的U-Net模型通过跳跃连接在降采样和上采样过程中结合高低层次的信息,具有较好的分割效果.但是,在细胞核边界的分割上仍旧存在着一定程度的过分割、欠分割等缺陷.由此本文提出一种改进的U-Net网络模型.首先,该模型采用深度特征聚合结构和高级监督的学习方法,巧妙融合不同层级的信息,达到对目标的精准分割;其次在其架构上创新性的加入层次交融模块,该模块学习各个不同层次的重要性,将学到的权重加载到分割图上;同时在嵌套的卷积块中加入注意力机制,抑制冗余特征,使得细胞核和背景更好的分割开来;最后使用改进的混合损失函数解决类不平衡的问题.在dsb2018数据集上进行测试,本方法得到Dice系数为0.8719,交并比达到0.8853.结果表明本方法能够对细胞核进行更好的分割.