基于改进Mask RCNN和Kinect的服务机器人物品识别系统

服务机器人在近年来得到了快速的发展,其应用的算法也在不断地更迭,目标检测算法便是其中之一。在保证目标检测精度的前提下,目标检测速度决定着机器人目标物抓取的效率。因此将远距离小目标场景作为测试场景,改进现有网络模型,目的是在保证检测精度的前提下提升检测速度。掩码区域卷积神经网络(Mask RCNN)是目前目标检测领域应用较广的算法,通过对其网络结构研究发现,掩码分支和过多的全连接层会占用大量网络检测时间;同时,Mask RCNN提取到的特征图具有较高的维度,其会占用大量的计算内存,产生大量的计算任务。为此,Mask RCNN进行改进,如去掉掩码分支和多余的全链接层;将头部轻量化区域卷积神经网络(LH-RCNN)引入到Mask RCNN中;调整区域建议网络(RPN)中锚点(Anchor)的比例。最后,本文在带有KinectⅡ的家庭服务机器人平台上对改进的Mask RCNN进行测试,测试结果表明,与原始的Mask RCNN相比,改进的Mask RCNN在保证检测精度的同时,可以大幅提高算法运行的速度,检测时间缩短2倍以上,提高服务机器人目标抓取任务的效率。     

深度学习在焊缝缺陷检测的应用研究综述

焊缝缺陷的检测在石油化工等领域是极其关键的环节,焊接质量的好坏直接影响到结构的使用性能.对于X射线焊缝图像评定,目前采用的人工评片受到多种主观因素的影响,导致漏检或错检情况相对较高.近年来,随着工业智能检测技术的发展,深度学习在图像特征学习中的独特优势使其在缺陷自动检测中具备重要的实用价值.综述了以神经网络技术为代表的深度学习模型在焊缝缺陷检测方面的研究进展,详细分析了基于卷积神经网络和Faster R-CNN网络的工业设备焊缝缺陷自动检测的理论模型及其优缺点,并对焊缝缺陷自动检测技术的发展进行了展望.     

基于特征调和筛选的焊缝缺陷语义分割研究

提出了一种基于特征调和筛选的X射线不锈钢焊缝缺陷语义分割模型。通过池化与特征调和筛选块对输入图像进行下采样,利用特征注意模块为相同层级的特征图进行通道与空间重新赋权,并且使用反卷积逐步恢复特征图大小。实验表明：在X射线不锈钢焊缝缺陷数据集上进行语义分割识别性能时,本方法MIoU指数达到了53.87%,相较于其他方法,本方法具有更高的识别准确度与图像处理速度,具有一定的工程应用价值。     

基于支持向量机的X射线焊缝缺陷检测

为提高对焊缝缺陷的检测精度,提出采用支持向量机(Support Vector Machine,SVM)分类的方法对X射线焊缝图像进行分割.选择训练样本图像的灰度、形态学梯度作为训练向量的特征分量对SVM进行训练,得到SVM分割模型后,将测试样本输入分割模型进行分割处理.以气孔缺陷为例,证明了该方法能实现焊缝气孔缺陷的准确分割,与其他分割方法相比,可提高缺陷检测的精度.     

改进深度学习优化电力设备缺陷图像识别

红外图像特征对具有发热特征的电力特设缺陷具有较好的表达能力,随着电力企业设备红外图像的积累,传统检测方法遇到效率和准确率瓶颈,为此,提出了基于改进Faster RCNN的缺陷识别算法,算法通过模型中RPN网络卷积核的优化,减少RPN网络的计算量,通过多分辨率特征融合提高网络对缺陷特征语义信息和细节定位信息的应用,最后通过自适应训练数据抽样提高正负训练样本抽取的有效性,从而提高算法缺陷识别准确率.实测数据实验表明,改进模型的目标函数可以在较少的迭代次数下实现稳定实收,在准确率、召回率和运行时间等评价指标上优于传统Faster RCNN模型、SIFT算子模型等已有模型,从而验证了算法的有效性和对不同背景干扰的有效性.     

基于全卷积神经网络的焊缝识别方法

在机器人自动化焊接中，精准高效的焊缝识别是实现高质量焊接的关键。针对现有视觉检测方法效率低、精度差的问题，提出了一种基于全卷积神经网络的焊缝识别方法。该方法首先采集数据对全卷积神经网络进行训练，得到最佳的网络参数；然后采用训练好的全卷积神经网络和最佳网络参数对焊缝图片进行语义分割，将焊缝所在区域与背景进行分离；然后对分割出的焊缝区域，进行骨架提取，得到接近单像素宽度的焊缝；之后根据自定义的直线度参数对焊缝形状进行判定，确定该焊缝是否为直线，用最小二乘法进行直线或曲线拟合，得到最终的焊缝轨迹。实验结果表明，所提方法能够快速准确地识别出焊缝位置和形状，可以作为自动焊接机器人轨迹自主规划和控制的技术基础。     

基于Mask R-CNN的铸件X射线DR图像缺陷检测研究

针对传统的铸件缺陷检测不能对缺陷进行分类分级等问题,提出了一种基于Mask R-CNN的铸件X射线DR图像缺陷检测算法。首先对原始图像进行预处理,采用引导滤波进行图像平滑,平滑图像与原图像进行差分得到差分图像,将差分图像与平滑图像相加运算使图像增强,再利用Labelme进行图像标注,形成训练数据集。送入Mask R-CNN深度学习网络,通过特征提取网络生成建议区域,分类、回归网络生成边界框和掩码,经多次参数调节后得到训练网络模型,最后测试数据集。实验数据结果表明,气泡1～5级的检测率分别为:66.7%,71.4%,77.4%,88.9%,87.5%;疏松1～5级检测率为:62.5%,72.2%,77.1%,83.3%,81.1%。检测结果证明应用Mask R-CNN结合引导滤波增强方法的缺陷检测方法可以较好的实现对铸件X射线DR图像的缺陷检测的分级分类,为工业铸件缺陷检测提供了应用深度学习方法的解决方案。     

基于改进U-Net的球栅阵列气泡缺陷检测方法

针对现有基于深度学习的图像分割算法在球栅阵列(BGA)焊点气泡检测中检测效率较低,无法满足工业生产中实时性的检测需求,提出了一种基于改进U-Net的球栅阵列缺陷识别方法。该方法在现有的U-Net经典网络的基础上提出用深度可分离卷积与密集连接结合的轻量密集连接单元替换常规的卷积单元,同时添加多尺度跳跃连接减少编解码特征之间的差异,实现针对BGA焊点气泡的精确分割和提取。采用自建数据集对该方法的有效性进行实验,结果表明,改进的U-Net模型网络在减少U-Net网络计算复杂度的同时提升了网络性能,能够增加BGA焊点气泡的检测效率。     

基于X射线图像和卷积神经网络的石油钢管焊缝缺陷检测与识别

研究了基于X射线图像和卷积神经网络(CNN)的石油钢管焊缝缺陷检测与识别问题。首先采用数字图像处理技术拟合提取出焊缝区域,验证了咬边缺陷的存在不影响焊缝边缘的提取;针对常用阈值分割方法不适于小面积区域缺陷分割的局限,采用基于排序点的聚类算法(OPTICS)对区域内任意形状大小的缺陷和噪声干扰点进行分割,然后对缺陷、噪声和无缺陷的正常图像进行提取并进行数据增强及尺寸归一化操作,从而完成焊缝图像的预处理以构建出样本图库。最后采用CNN与Softmax分类器相结合的算法,以缺陷和噪声为输入样本训练CNN并进行了实际应用实验,实验结果验证了方法的有效性。     

Peleg-ε毯子法在焊缝图像缺陷边缘检测上应用的研究

分形几何中分形维数可用来度量、分析和评价纹理和形状,笔者利用分形维数来区分焊缝X射线图像中缺陷的纹理和形状.分形维数的计算方法有很多种,采用Peleg-ε毯子法计算图像的分形维数和图像的面积度量(即截距特征),利用图像的两个特征对焊缝X射线图像缺陷进行检测.从实验结果看出,用Peleg-ε毯子法检测焊缝图像缺陷边缘可行,特别对直线边缘检测效果较好.但要用于进一步分割的焊缝缺陷边缘,需要将分形方法与其它方法相结合.     

改进 Mask R-CNN 的交通场景多目标快速检测与分割

针对智能驾驶中出现的交通场景多目标检测与分割效率低、鲁棒性差等问题,提出一种改进的Mask R-CNN交通场景多目标快速检测与分割方法。首先采用轻量级MobileNet作为骨干网络,有效减少网络参数并压缩模型体积,提升后续嵌入式端的算法移植能力,其次通过优化FPN与骨干网络卷积结构,保证高底层之间特征信息的完整传递,通过调整超参数得到交通场景多目标检测与分割改进网络模型。设计不同交通场景下的对比实验,改进网络能够准确实现多目标的检测与分割,平均检测精度可达85.2%。在ApolloScape和NuScence数据集上进行迁移实验,改进网络展示出良好的泛化能力。本文所提出的改进骨干网络与网络结构优化,能够适应多种复杂交通场景,完成交通场景多目标的快速检测与分割,为智能驾驶提供了理论依据与技术方案。     

基于改进Res-UNet的视网膜图像血管分割

精准的视网膜血管分割可以辅助诊疗如糖尿病、高血压等疾病。眼睛血管结构和病理特征的复杂性导致血管分割的精度和速度都存在很多局限。为了克服这一问题，提出了一种改进的U-net分割方法，该方法将U-net网络解码器和编码器中的卷积模块改为残差模块，使用非局部注意模块连接编码器和解码器。网络模型在不增加参数量的情况下，通过添加残差模块和注意力机制提高了像素之间的信息相关性以及模型提取特征的能力。最后，采用DRIVE数据集对所提模型与原U-net网络进行对比评价，新模型在测试集上的特征检测准确率、特异性、灵敏度和Dice系数分别达到了0.9679、0.9896、0.8245和0.8281。实验结果证明，所提网络模型可对视网膜进行精确地血管分割。     

改进U-Net网络的高纹理表面缺陷检测方法

缺陷检测是生产实践中非常重要的一个环节。产品表面往往存在丰富的纹理信息,纹理信息很容易导致缺陷误判。针对传统算法在缺陷检测中的局限性,提出了一种改进的U-Net模型来进行高纹理表面缺陷检测。该模型在下采样采用特征融合策略,以减少细节的丢失;在上采样采用多尺度融合策略,获取不同感受野下的丰富信息;用空洞卷积代替部分普通卷积,增加感受野来防止边缘细节的丢失。同时,模型中还采用联合损失函数进行训练,并通过参数优化提高收敛速度。最终,通过对高纹理表面缺陷数据集上进行实验,验证改进的U-Net模型与原始U-Net模型以及SegNet模型、基于滑动窗口的CNN等同类方法进行客观比较,并对实验结果进行可行性分析,提出的模型表现出更精确的检测精度和更好的性能。实验结果表明改进的U-Net模型可以更好的适用于实际生产过程的缺陷检测中。     

基于 Mask R CNN 的铸件X射线DR图像缺陷检测研究* .txt

摘要：针对传统的铸件缺陷检测不能对缺陷进行分类分级等问题，提出了一种基于Mask R CNN的铸件X射线DR图像缺陷检测算法。首先对原始图像进行预处理，采用引导滤波进行图像平滑，平滑图像与原图像进行差分得到差分图像，将差分图像与平滑图像相加运算使图像增强，再利用Labelme进行图像标注，形成训练数据集。送入Mask R CNN深度学习网络，通过特征提取网络生成建议区域，分类、回归网络生成边界框和掩码，经多次参数调节后得到训练网络模型，最后测试数据集。实验数据结果表明，气泡1～5级的检测率分别为：667%，714%，774%，889%，875%；疏松1～5级检测率为：625%，722%，771%，833%，811%。检测结果证明应用Mask R CNN结合引导滤波增强方法的缺陷检测方法可以较好的实现对铸件X射线DR图像的缺陷检测的分级分类，为工业铸件缺陷检测提供了应用深度学习方法的解决方案。 .txt     

主从特征融合驱动的铝型材表面缺陷检测

针对因仅考虑纹理特征而造成铝型材表面缺陷检测精度较低的问题,提出一种主从特征融合驱动的表面缺陷检测模型。该模型的构建主要包括3个部分：首先采用经Focal-Loss损失函数优化的UNet模型完成缺陷分布不均匀的样本分割与定位;然后集合卷积神经网络(CNN)与反向传播神经网络(BPNN)构建融合图像纹理特征、梯度信息和缺陷形状特征的主从特征预分类层;最后通过级联特定模糊规则的模糊神经网络完成缺陷的最终分类。利用阿里天池比赛的铝型材数据集中的5类缺陷样本对模型进行了实验验证,平均分类检测精度达到97.2%,为铝型材表面缺陷检测提供了新方法。     

埋弧焊X射线焊缝图像缺陷分割检测技术

针对在埋弧焊X射线焊缝图像的强噪声和弱对比度特点下常规图像分割算法成功率低的现状,通过综合的分析和实验有针对性地给出了系统、实用的缺陷分割方法.首先通过实验给出了一种提取焊缝图像感兴趣区域(the region of interest,ROI)的方法.该方法通过中值滤波,基于sin函数的图像增强、大津法分割、Sobel算子边缘检测和Hough变换可以定量计算出X射线焊缝图像的ROI区域.进一步通过实验给出基于大津法的焊缝缺陷分割算法,实验表明在无人工设定初始分割阈值情况下这一分割算法具有较高的分割成功率.为进一步提高分割成功率,针对焊缝缺陷相对面积较小的特点,提出将缺陷视为噪声,将平均局部平均灰度视为密度,利用密度聚类方法进行缺陷分割.该方法在78张有缺陷的焊缝图像中,成功地分割出74张图像中的缺陷.最后在所研究算法基础上给出了一个综合考虑到各种因素的分割算法,即可节约计算时间,又可以保证分割的成功率.     

基于深度学习的焊缝视觉跟踪方法研究

针对爬罐机器人在球罐上对焊缝的识别和跟踪困难导致焊缝检测效率低的问题,自制了罐体表面焊缝数据集,并提出了一种基于深度学习的焊缝视觉跟踪方法。首先,以Patch Expanding替换双线性插值作为上采样方法,减少上采样带来的精度损失;然后,在掩码分割前嵌入了递归空洞自注意力机制,提高模型的表征能力,从而获得更好的分割精度;最后,在罐体表面焊缝数据集上进行实验,实验结果表明,对比原始模型,改进SegFormer图像语义分割模型的平均交并比提高了2.41%。在改进算法分割焊缝的基础上,利用分割出的焊缝掩码图像提取中心线作为焊缝路径,用于引导爬罐机器人运动,以实现焊缝视觉跟踪。     

改进轻量化VTG-YOLOv7-tiny的钢材表面缺陷检测

针对钢材表面缺陷形态多样、结构复杂且存在检测目标漏检现象和算法参数量过大等问题,提出一种轻量化VTG-YOLOv7-tiny的钢材缺陷检测算法。该方法一是设计VoVGA-FPN网络,以减少信息传递过程中的丢失,增强网络特征融合能力;二是构建三重坐标注意力机制,提升模型对空间和通道信息的特征提取能力;三是引入鬼影混洗卷积,在提高精度的同时降低模型参数量和计算量;四是增加大目标检测层,改善特征图中部分缺陷占比较大,导致检测精度低的问题。在NEU-DET和Severstal钢材缺陷数据集进行实验验证,改进后算法与原模型相比,mAP分别提升5.7%和8.5%;参数量和计算量分别降低0.61 M和4.2 G;精确度和召回率分别提升7.1%,1.8%和8.9%,7.0%。实验结果表明,改进后的算法更好地平衡了检测精度和轻量化,为边缘终端设备提供了参考。     

利用卷积神经网络的自动驾驶场景语义分割

图像语义分割是现代自动驾驶系统的一个必要部分,因为对汽车周围场景的准确理解是导航和动作规划的关键。为提高自动驾驶场景的图像语义分割准确率,且考虑到当下流行的基于卷积神经网络的语义分割模型(DeepLab v3+)无法有效地利用注意力信息,导致分割边界粗糙等问题,提出一种融合底层像素信息与通道、空间信息的语义分割神经网络。在卷积神经网络中插入注意力模块,提取出图像语义级别的信息,通过学习图像的位置信息和通道信息得到更加丰富的特征;从卷积神经网络输出的各类别得分值计算出单点势能,且从初步分割图和原图得到成对势能,以便全连接条件随机场对图像的全部像素进行建模,并且优化图像的局部细节;全连接条件随机场通过迭代得到语义分割的最终结果。在CityScapes数据集上进行了测试,与DeepLab v3+相比较,改进后的模型分别提高了均交并比和均像素精度等关键指标1.07%和3.34%。它能够更加精细地分割目标,较好地解决分割边界粗糙,有效地抑制边界区域分割的过度平滑和不合理孤岛等问题。     

基于改进YOLOv8的交通标志检测算法

目前交通标志检测在自动驾驶和辅助驾驶等智能驾驶中扮演着重要的角色,其性能的好坏影响着车辆行驶的安全。针对交通标志图像背景复杂和检测目标小等问题,提出了一种基于改进YOLOv8的交通标志检测算法。首先使用全局注意力模块,通过引入空间注意力和通道注意力机制,对输入特征图进行全局关注,有效捕捉输入特征图的全局上下文信息,对特征图在通道和空间维度上进行加权,使模型能够更加关注图像中的交通标志,避免干扰信息的影响,提高网络检测精度;其次引入幻影卷积替换原网络中的普通卷积,减小网络模型体积的同时提高模型的检测速度;最后增加一个小目标检测层,保留特征图更多浅层细节信息,提高网络对小尺寸交通标志的检测能力。实验结果表明,改进后的算法在精确率、召回率和平均精确率上相比于原算法分别提升2.6%、1.1%和1.5%,检测速度满足实时性要求。