基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%,比直接正向融合 2 种特征平均精度提高 4.5%。     

基于图像实例分割的机器人箱体拆垛方法

为了解决工业箱体包裹拆垛任务中传统特征提取方法依赖于箱体形状,难适用于规格多变、混箱垛型的问题,提出一种基于图像实例分割的机器人拆垛方法。为获得准确箱体拣选中心,首先利用Mask R-CNN进行实例分割获得箱体掩膜和分类信息,并在特征提取后添加空间变换网络（spatial transformation network,STN）模块,优化对旋转目标的识别;然后求解掩膜最小外接矩形并后处理获得待拣选箱体像素中心和水平旋转角度,并结合一种拆垛策略进行先行后列排序以确定拣选顺序;最后利用标定方法完成箱体定位,并对规格多变、混箱垛型进行分割和机器人拆垛实验,结果表明,待拆箱体像素中心平均像素距离约4个像素点,空间定位平均误差约1?cm,定位精度满足工业拆垛实际需求。     

融合区域和边缘特征的水平集水下图像分割

目的 水平集模型是图像分割中的一种先进方法,在陆地环境图像分割中展现出较好效果。特征融合策略被广泛引入到该模型框架,以拉伸目标-背景对比度,进而提高对高噪声、杂乱纹理等多类复杂图像的处理性能。然而,在水下环境中,由于水体高散射、强衰减等多因素的共同作用,使得现有图像特征及水平集模型难以适用于对水下图像的分割任务,分割结果与目标形态间存在较大差异。鉴于此,提出一种适用于水下图像分割的区域-边缘水平集模型,以提高水下图像目标分割的准确性。方法 综合应用图像的区域特征及边缘特征对水下目标进行辨识。对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。所提方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。结果 基于YouTube和Bubblevision的水下数据集的实验结果表明,所提方法不仅对高散射强衰减的低对比度水下图像实现较好的分割效果,同时对处理强背景噪声图像也有较好的鲁棒性,与水平集分割方法（local pre-fitting,LPF）相比,分割精确度至少提高11.5%,与显著性检测方法（hierarchical co-salient detection via color names,HCN）相比,精确度提高6.7%左右。结论 实验表明区域-边缘特征融合以及其基础上的水平集模型能够较好地克服水下图像分割中的部分难点,所提方法能够较好分割水下目标区域并拟合目标轮廓,与现有方法对比获得了较好的分割结果。     

基于边缘检测的图像分割算法的研究

本次课题所研究的图像检测主要采用边缘检测的方法来进行的。本文对这次课题中所使用的四种检测方法--Sobel边缘检测算子,Prewitt边缘检测算子,Canny边缘检测算子和Roberts边缘检测算子进行了详细的介绍和具体的算法设计,并对整个系统结构做了说明。然后对四种检测方法编写MATLAB程序。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

基于边缘检测算法的图像分割技术研究

基于边缘检测算法的图像分割技术是图像分析基础算法之一,在讨论边缘检测算法基本原理的基础上,在Matlab中实现了边缘检测算法,并对Sobel算子、Prewitt算子和Roberts算子在边缘检测中的效果进行了对比分析。     

基于相对熵和边缘检测的图象分割算法

利用相对熵选择阈值和检测提出一种图象分割算法。其主要思想是通过相对熵来选择最佳阈值，然后用任何一种边缘检测对图象进行分割。将所提出的算法和基于局部熵的算法分别用于现场颗粒物料图象的分割，实验结果表明，该算法优于基于局部熵的图象分割算法。     

基于SUSAN边缘信息的阈值分割算法

基于边缘信息的阈值分割方法因为在保持目标轮廓和分割低对比度图像方面具有良好性能,特别适用于对工业生产图片的分割,但是传统方法普遍存在对噪声敏感和阈值难以选取的问题,针对这些问题,提出一种基于SUSAN边缘信息的自适应图像阈值分割算法,使用SUSAN特征响应描述像素的边缘信息,以有效抑制噪声和弱边界的影响。基于图谱理论的最小最大割阈值分割算法相比于其他分割算法时空复杂度大大降低,且获取的阈值全局最优。实验结果表明,该算法能够准确分割出目标,保留丰富的细节内容,对低对比度图像和噪声图像也有很好的分割效果,获取的阈值相比于传统算法更优。     

基于边缘检测与分裂合并的图像分割算法

针对传统分裂合并算法容易产生方块效应与过分割的缺点,提出了一种结合边缘检测和分裂合并的图像分割算法.该算法直接利用图像的边缘信息进行分裂,不断将图像分裂为一些不规则形状的一致性区域,然后根据一定规则将相似的区域合并.实验表明,该算法能大幅减少分裂次数,并有效克服方块效应和过分割等缺点,图像分割效果较好.     

实例分割方法研究综述

近年来,随着计算水平的不断提高,基于深度学习的实例分割方法的研究取得了巨大的突破。图像实例分割可以区分图像中同一类的不同实例,是计算机视觉领域的重要研究方向,具有十分广阔的研究前景,在场景理解、医学图像分析、机器视觉、增强现实、图像压缩和视频监控等方面取得了巨大的实际应用价值。近年来,实例分割方法的更新频率越来越高,但目前很少有文献全面系统地分析实例分割相关研究背景。对基于深度学习的图像实例分割方法进行了全面系统的分析与总结,首先,介绍目前实例分割中常用的公共数据集与评价指标,并对现有数据集面临的挑战进行了分析;其次,分别从两阶段分割方法与单阶段分割方法的特性上对实例分割算法进行梳理与总结,阐述其核心思想与设计思路,并对这两类方法的优势与不足进行总结;然后,在公共数据集上评估这些模型的分割精度和速度;最后,总结目前实例分割面临的困难与挑战,以及面对挑战的解决思路,并对未来的研究方向进行展望。     

基于Mask R-CNN的电力设备锈迹检测

电力设备锈迹目标的识别在电力安全方面具有极高的应用价值,但是锈迹具有大小、形状不规则等特点,利用传统的机器学习算法检测效率和准确率不高.针对这一问题,研究分析锈迹特点,提出基于Mask R-CNN的电力设备锈迹检测识别方法.使用Faster R-CNN完成目标检测的功能, FCN精准的完成语义分割的功能,实现像素级别的分类识别,较好地解决了不规则锈迹的检测问题.实验结果表明,基于Mask R-CNN的电力设备锈迹检测结果准确率高.     

Mask R-CNN模型在茄花花期识别中的应用研究

将Mask R-CNN实例分割模型应用于茄子花期识别研究,针对Mask R-CNN模型对大目标物存在误检和漏检的情况,提出使用混合空洞卷积融合普通卷积的方法,在ResNet50的残差块中进行参数修改,通过堆叠残差块完成对整个特征提取网络的改进,扩大了特征图感受野,增强了全局信息关联性;针对出现的过拟合问题,运用迁移学习方法将预训练的ResNet50特征提取网络作为茄花识别模型的初始参数,提高了模型在测试集泛化能力的同时提升了模型训练速度。运用改进的模型在测试集上的mAP为0.962,mIOU为0.715。通过定性分析并与其他模型进行对比,证明改进的模型能有效提高大目标物分割能力,对茄子花期识别具有良好效果。该研究为茄花自动授粉与花期管理提供了技术支持,对保证授粉质量,提升经济效益具有重要意义。     

基于Mask R-CNN的动态物体剔除方法在RGB-D视觉SLAM中的应用

运行的场景中没有运动物体是大多数SLAM算法的前提,这个假设过于理想化,导致大多数视觉SLAM算法在动态环境下无法使用,因此也就限制了其在服务型机器人和自动驾驶等中的应用。提出了一种动态物体检测及剔除方法并将其整合到ORB-SLAM2[1]算法中,提升了其在动态场景中使用RGB-D摄像头时的稳定性。基于Mask R0CNN获得动态物体的检测和移除能力从而剔除从动态物体上提取到的ORB特征。在公共的RGB-D数据集上评估了加入动态物体剔除方法后的ORB-SLAM2系统,对比了在动态场景下和原系统的差异。改造后的系统在动态场景下的定位和建图精度提升较为明显。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

基于卷积神经网络的改进机械臂抓取方法

为了提高机械臂抓取的精度,提出一种基于Mask R-CNN的机械臂抓取最佳位置检测框架.基于RGB-D图像,所提框架通过精确的实例分割确定抓取对象的类别、位置和掩码信息,由反距离加权法在去噪后的深度图上获取中心点的加权深度坐标,构成目标对象的三维目标位置,经坐标系转换得到最终的最优抓取位置.建议的框架考虑到目标对象的姿...     

结合Sobel算子和Mask R-CNN的肺结节分割

肺癌不断威胁着人类健康,计算机辅助诊断对肺癌诊断将发挥重要的作用.卷积神经网络(CNNs)在对图像的处理上表现出有目共睹的优秀性能,医学Computed Tomography(CT)图像是用来诊断肺癌的主要检查方式,用深度学习分割病灶的方法可以实现端对端的辅助诊断,这将节省医生的诊断时间,为患者争取最佳治疗时间.LIDC-IDRI(The Lung Image Database Consortium)数据集影像中的癌症部分与其他组织部分的放射密度十分接近,而且往往癌症部分非常小,背景具有非常强的相似性.本文使用传统的Sobel算子对图像中放射密度高的部分进行边缘锐化处理,用强化边缘特征的方法解决前景与背景灰度相似的问题,然后在使用传统的分割方法--阈值分割进一步强化.本文减小Regions of Interest(RoIs)的大小以适应肺结节的特征,减少RoIs的个数以避免过多的负类样例训练产生退化的模型;在传统图像增强处理方法和深度学习的结合下,获得了一个优化的Mask R-CNN模型,在LIDC-IDRI数据集上的测试结果中,基于Intersection over Union(IoU)=0.5的标准下的肺结节平均精度mAP达到72.2%,在FPR为0.226时的TPR达到0.915.     

融合改进Transformer的车辆部件检测方法

为有效解决车辆部件检测中模型由于特征提取不充分以及候选框未能充分利用导致的错检、漏检等问题,提出了融合改进Transformer的车辆部件检测方法。首先将多头自注意力和双层路由注意力结合,提出了关键区域多头自注意力(KR-MHSA);然后将基线模型(Mask R-CNN)中ResNet的最后一层与KR-MHSA进行残差融合,提升了模型的基础特征提取能力;最后通过改进的Swin Transformer对模型生成的候选框进行特征学习,使模型更好地理解不同候选框之间的差异和相似性。实验在构建的59类车辆部件数据集上进行,对比实验结果证明,本文模型在检测和分割效果上均优于其他先进实例分割模型。相较于基线模型,检测准确率提高了4.47%,分割准确率提高了4.4%,有效地解决了车辆部件检测中特征提取不足和候选框未充分利用导致的错检、漏检和实例分割精度较低的问题,使保险公司能够更准确、更高效地更换损坏的部件,提高索赔效率。