基于深度学习的零件实例分割识别研究

针对传统零件识别方法图像特征提取鲁棒性不足,零件识别准确率较低、不能对图像进行实例分割的问题,文章提出了一种基于Mask R-CNN的零件识别方法。该方法利用卷积神经网络对零件图像进行特征提取,选取数据集中标注好的图像微调Mask R-CNN网络,以保证零件识别的准确性,并生成Mask分割掩码,对零件进行实例分割。同时,对数据集进行数据增强和划分K折交叉验证来提高模型的鲁棒性。最后通过搭建实验平台对零件进行识别,证明了该方法的有效性。     

基于卷积神经网络与虚拟训练集的零件识别

针对工业环境中零件识别效率低,准确率不高以及难以获取大量训练集的问题,对基于深度学习的零件识别进行了研究,提出一种基于卷积神经网络与虚拟训练集的零件识别方法。首先,通过OpenSceneGraph(OSG)在虚拟场景内渲染大量深度图像训练集;然后,构建了两种不同深度与结构的卷积神经网络模型并使用虚拟深度图像进行训练;最后,使用深度相机采集零件真实深度图像对网络模型进行测试并选择适合的零件分类模型。结果表明,该方法使用虚拟训练集训练,实现了对真实零件的精准识别,使用深度图像对于零件反光和少纹理情况具有一定的鲁棒性,为工业自动化分拣装配提供稳定的信息基础。     

基于机器视觉和深度神经网络的零件装配检测

针对工业生产中存在着大量的零件识别定位以及装配检测等,传统人工检测效率低、劳动强度大、识别不准确。文章提出了一种基于深度神经网络的零件装配检测方法。首先该方法对零件图像和装配图像进行采集,选择Mask-RCNN网络进行训练,对装配零件进行分类以及定位,通过已识别的零件类型判定装配件是否存在漏装;然后将分割后的零件图像进行二值化处理,利用Canny算子提取零件图像轮廓;最后利用图像的Hu矩特征与正确的零件图像轮廓进行对比,判断装配是否正确。通过实验验证可得,该方法在零件装配中的漏装和换装检测中效果较好,并表现出较高的鲁棒性。     

基于深度学习的子弹缺陷检测方法

针对子弹的表面缺陷检测使用常规的图像处理效果并不理想,文章提出使用改进的卷积神经网络和Faster RCNN网络相结合的方法,首先采集子弹不同类型的缺陷图像作为数据集,然后使用改进后的VGG16和ResNet50两种卷积神经网络分别处理数据集图像,再经过RPN网络和Fast RCNN网络的训练,对图像进行分类与缺陷特征提取,获取比较准确的缺陷区域的框图。实验结果表明,使用改进后的卷积神经网络与Faster RCNN网络相结合的方法可以提高子弹缺陷检测的准确率、召回率和m AP,准确率、召回率和m AP均可达到90%。     

一种基于改进Faster RCNN的金属材料工件表面缺陷检测与实现研究

目的 针对传统检测算法在工件表面缺陷检测上的局限性，以及检测精度不高、准确率较低、检测过程繁琐等问题，提出了一种基于改进RCNN的金属材料工件表面缺陷检测算法。方法 图像预处理过程中，运用了图像缺陷定位标注与图像数据的增强处理的方法。模型训练时为了避免某些分类数据不足，防止因数据集过小导致系统测试模型出现过拟合现象，使用了对原图像进行数据扩增处理。检测网络模型设计时，采用非极大值抑制算法对缺陷图像进行候选区域筛选，构建了区域建议网络，实现网络多层特征的复用和融合，在减少候选区域冗余的基础上提高系统的检测精度。引入多级ROI池化层结构设计算法，消除ROI池化取整而产生的系统偏差，实现高效并准确检测零件表面缺陷的目的。基于ROI-Align算法的原图位置坐标改进，利用双线性插值法获得原图的位置坐标，克服了基于最近邻插值法的ROI-Pooling设计算法带来的像素位置偏移和检测不匹配（misalignment）的问题。结果 设计的检测方法在测试集上，金属材料工件表面目标缺陷检测速度达22 帧/s，准确率达97.36%，召回率达 95.62%。结论 与传统的工件表面检测方法相比，改进的FasterRCNN方法对目标识别与定位处理具有较快的速度与较高的准确度，能在复杂场景条件下，提升工件表面缺陷的检测性能。     

视觉引导下机器人拆垛场景识别定位抓取方法

针对2D图像识别缺乏3D姿态信息，而传统的3D视觉需要处理大量点云，运算时间较长等问题，提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进，在其ROIAlign结构之后加入空间变换网络模块，提升识别准确率；利用改进的Mask R-CNN网络对目标进行实例分割，结合场景点云分割得到物体感兴趣区(ROI)场景局部点云；采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准，最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题，实验结果表明：利用改进的Mask R-CNN网络提升了目标识别的准确率，使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数，提高了工业机器人的拆垛、分拣及码垛效率。     

基于3D视觉的机械零件位姿分析

针对工业制造领域中存在的弱纹理或无纹理的机械零件位姿估计问题，以DenseFusion网络为基础，提出了一种基于3D视觉的机械零件位姿估计方法。首先，依照工业制造场景构建了用于网络训练和测试的机械零件仿真数据集；其次，使用目标零件分割出的深度图像构建点云，对其进行曲率下采样处理，提高关键点的质量；最后，将颜色特征、点云特征和法线特征融合，使用融合特征回归目标零件的6D位姿。在构建的机械零件仿真数据集和LineMod公共数据集进行了实验和比较，其结果表明了所提出的方法相较于同类其他方法具有更高的准确率，更好的收敛性能，对于弱纹理或无纹理的机械零件有较好的位姿估计效果。     

基于区域的快速卷积神经网络的焊缝TOFD检测缺陷识别

受扫查图像效果和检测人员能力与主观因素的影响,检测人员在使用超声衍射时差法(TOFD)的D扫描图像判断焊缝缺陷类型时,存在可靠性低、争议大、速度慢的问题。为了提高缺陷类型识别的准确性及效率,分析了焊缝缺陷的TOFD-D扫描图像特征,构建了一种基于区域的卷积神经网络(Faster RCNN),对焊缝缺陷D扫描图像中的缺陷类型进行自动识别;在网络训练过程中,提出了采用样本扩展及建议框优化方法以提高网络训练的稳定性及效率。结果表明:缺陷的TOFD-D扫描图像的轮廓与缺陷几何形状密切相关,可用于判断缺陷类型;Faster RCNN网络虽然可能对界面波及噪声造成误判,但对缺陷类型的识别率可达到97%以上,可实现缺陷类型的自动识别,并具有高识别率、鲁棒性和抗干扰能力。     

基于DSnet网络的零件边缘轮廓提取北大核心

针对传统边缘轮廓提取算法极易受到光照强度等因素的影响,出现噪声点和零件边缘轮廓点缺失问题,提出一种基于DSnet分割网络及最外围约束算法结合的零件边缘轮廓提取算法。首先,利用DSnet分割网络对零件原始图像进行分割操作,避免影响因素干扰的同时,获得分割边界明显的零件分割图像,再根据零件分割边界像素点的特点,采用最外围约束算法进行边缘轮廓提取,得到零件边缘轮廓图像。实验结果表明:提出的方法能在光照强度不均匀等因素的干扰下准确提取出完整的、单像素的零件边缘轮廓,而且提取精度的各项指标,RMSE达到了11.18,PSNR达到了27.76,SSIM达到了0.989 3,满足边缘轮廓提取精度的要求。     

基于深度学习的固结磨料研磨垫表面形态表征

固结磨料研磨垫的表面形态与其加工性能有着密切关系,为更好地了解固结磨料研磨垫表面形态,尤其是研磨垫中的金刚石、孔隙、金刚石脱落坑等的分布特征,提出一种基于深度学习的固结磨料研磨垫表面形态分析方法。首先,利用徕卡DVM6数字显微镜及其配套软件获取固结磨料研磨垫表面图像;然后,采用python3+OpenCV对图像进行预处理,并利用标注软件Labelme对图像进行标注,用于后续的训练和测试;最后,运用深度学习框架Tensorflow搭建Mask R-CNN模型。结果表明:Mask R-CNN模型能对单一固结磨料垫表面图像中的多目标进行有效分割与识别,其主要评价指标平均准确率达到78.9%,达到了图像识别的主流水平。      

基于残差网络的钢丝绳损伤图像定量识别

目前基于机器视觉的钢丝绳表面损伤检测基本均采用定性检测的方法，在定量检测方面的研究极少，而断丝数量是钢丝绳报废的重要标准，因此，提出一种基于机器视觉和残差网络的钢丝绳表面损伤定量识别方法。将采集到的钢丝绳损伤图像进行批量裁剪，以消去背景噪声；对训练集中的图像利用数据增强技术，进行随机裁剪和随机水平翻转，扩充训练集大小；然后，对数据集中的图像进行归一化和标准化，提高模型的收敛速度；最后将训练集和验证集输入到使用SGD算法优化的残差网络中进行训练，训练结束后再使用测试集对模型进行验证。实验结果表明：经过迭代训练后，模型在测试集上对钢丝绳损伤的定量识别准确率为93.5%。     

路面裂缝检测融合分割方法

为同时获取路面裂缝的位置信息与分布路径，以及形状延展和密度信息等，对目标检测算法与图像分割算法的融合进行了研究，在分析了目标检测算法与图像分割算法的网络结构与特征融合方式后提出了一种基于YOLO V5与PSPnet的PSP-YOLO裂缝检测分割算法。同时针对裂缝图像采集困难、样本不足的问题提出一种基于GAN网络的数据扩增网络，生成以假乱真的裂缝图像对裂缝样本进行扩增。试验结果表明，PSP-YOLO检测分割算法能够同时获取裂缝的位置与形状延展等信息，在该数据集下，其路面裂缝检测的平均精度为93.18%,分割模块的平均交并比为74.68%。在相同的试验条件下，所提方法比原YOLO V5的平均精度提高了2.69%,分割模块的平均交并比比原PSPnet的提高了1.54%。     

基于BP神经网络的注射器针头缺陷检测方法

为了实现倒装和弯钩次品针头的自动检测,提出了一种基于BP神经网络的注射器针头合格性检测方法。该方法首先对针头图像进行去噪、目标分割和针头轮廓提取等预处理,其次采用边界区域不变矩法和针头边缘曲率法提取针头特征,然后用合格针头、弯钩针头和倒装针头样本的特征对设计好的BP神经网络进行训练,最后利用训练好的BP神经网络实现注射器针头的合格性检测。通过大量真实针头的合格性检测实验,验证了本研究所提出方法的有效性,可用于实际生产中。     

精密零件的工业CT图像测量方法

利用工业CT实现精密零件内部尺寸的高精度测量已逐渐成为产品质量控制的重要技术手段,而CT图像分割和数据拟合是工业CT图像测量的重要环节和难点问题。基于此,采用联合小波变换和RSF模型的图像分割方法对精密零件CT图像轮廓进行精确分割,得到感兴趣轮廓数据,接着采用最小二乘拟合方法得到圆和直线方程,进而测量得到感兴趣对象的直径和角度;同时,对于零件壁厚的测量,采用最小距离搜索法获取壁厚值。多组精密零件的CT图像测量结果表明,该方法测量精度总体优于通用测量软件VG Studio Max的精度,具有一定工程应用价值。     

基于有监督过渡区的焊缝X射线图像分割

针对X射线焊缝检测图像中存在大量背景冗余信息,焊缝和缺陷难于准确检测提取的问题,提出一种基于先验知识的有监督过渡区域提取及阈值分割方法.根据焊接图像本身的特点,通过先验知识对样本图像进行训练,确定某个区间来估算图像过渡区域的灰度范围,按照模糊子集理论,给出一种新的加权算子来描述局部窗口内灰度级的变化,从而能充分考虑到局部窗口内灰度级变化的频率和幅度,通过计算过渡区域像素的灰度均值,将其作为阈值对图像进行分割.结果表明,该方法能准确地将目标缺陷从焊缝X射线图像中分割出来,具有良好的适应性.     

基于稀疏优化的织物缺陷检测方法

针对传统织物检测算法存在严重的误检、漏检现象且微小缺陷不易检测等问题,提出一种基于稀疏优化的织物缺陷检测方法。对织物图像进行预处理,加强图像的对比度;将一些无缺陷织物样本图像分块,采用K-means算法将图像块聚类成簇,每个类簇训练一个子字典,选择合适的子字典并利用优化的稀疏表示模型对待测图像进行重构;最后生成残差图像,利用最大熵阈值法对残差图像进行分割,从而检测出织物的疵点。实验结果表明:该方法可以有效检测织物的各种缺陷以及微小缺陷,与其他算法相比,该算法也具有较高的检测精度。     

基于迁移学习的滚动轴承复合故障诊断研究

针对现有故障诊断方法多是面向单一故障进行研究,对于实际工况下的复合故障缺乏相应的诊断方法,提出一种基于有监督学习的ConvNeXt滚动轴承多工况复合故障诊断模型（TConvNeXt）。通过合成少数类过采样技术将滚动轴承数据集重构为平衡数据集,以提高复合故障样本的利用率;利用迁移学习使TConvNeXt网络模型掌握判别滚动轴承复合故障信息所需的部分权重,通过格拉姆角场将一维信号转换为RGB图像输入模型,训练模型剩余权重;最后将训练后的TConvNeXt网络模型用于滚动轴承故障诊断并且利用Grad-CAM方法进行可视化,分析网络诊断错误起因并对网络进行调整;将训练准确率最高的模型用于滚动轴承故障实测,检验其实际工况下的诊断能力。实验结果表明：TConvNeXt网络模型具有高诊断精度,它不仅在混叠故障诊断中表现突出,在单一故障诊断中也具有优势,能够很好地适应多工况下不同故障类型的滚动轴承故障诊断要求。     

基于空洞卷积神经网络的金刚石图像语义分割

为准确分割金刚石颗粒图像,基于空洞卷积网络构建图像语义分割模型。以自建的小型金刚石颗粒图像数据集为基础,对所建模型的批处理规模、卷积层过滤器数量和膨胀系数等超参数进行调优。对比调优后的空洞卷积网络与传统的全局阈值法、自适应阈值法对金刚石颗粒图像的分割能力。研究结果表明:批处理规模、卷积层过滤器数量和膨胀系数等参数对网络的分割能力有重要影响;空洞卷积网络在0.965的精确度下可达到0.966的召回率,性能明显高于传统方法的,尤其是较好地解决了金刚石颗粒上亮斑的归类问题。      

基于Transformer的陶瓷轴承表面缺陷检测方法

针对传统机器视觉检测方法中,由于陶瓷轴承滚动体表面曲率大、对比度低,表面成像模糊导致后续缺陷检测精度低的问题,提出一种基于Transformer的超分辨率残差网络。首先,网络使用残差学习策略,通过预测模糊图像与清晰图像之间的差值,实现超分辨率任务;其次,在网络上前端插入通道注意力模块和空间注意力模块并改进L2多头自注意力模块,以增强图像纹理、改善梯度爆炸问题;最后,针对超分辨率重建任务,提出一种两阶段训练策略优化训练过程。自建陶瓷轴承表面缺陷数据集上的大量实验结果表明,所提出网络模型在客观指标与主观评价上均优于MSESRGAN、VSDR等超分辨率算法,重建图像SSIM为0.939,PSNR为36.51 dB。     

基于深度学习的大规模图像高效识别算法研究（英文）

面对规模较大的图像识别任务时,基于卷积神经网络的深度学习方法存在训练时间过长的问题,导致识别效率不高。因此,提出一种基于局部特征深度信念网络的大规模图像高效识别算法。首先,该方法从原始图像中提取多个局部特征,并根据分配给图像的标签将每个局部特征分类。然后利用分类后的图像局部特征训练深度信念网络,获得网络的相关参数。最后利用深度信念网络进行图像识别。在CAS-PEAL-R1大规模图像数据集上进行了图像识别实验,结果显示:提出的算法优于其他深度学习方法,具有较好的准确性和高效性。