视觉引导下机器人拆垛场景识别定位抓取方法

针对2D图像识别缺乏3D姿态信息，而传统的3D视觉需要处理大量点云，运算时间较长等问题，提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进，在其ROIAlign结构之后加入空间变换网络模块，提升识别准确率；利用改进的Mask R-CNN网络对目标进行实例分割，结合场景点云分割得到物体感兴趣区(ROI)场景局部点云；采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准，最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题，实验结果表明：利用改进的Mask R-CNN网络提升了目标识别的准确率，使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数，提高了工业机器人的拆垛、分拣及码垛效率。     

基于深度学习的杂乱场景下零件实例分割

为了检测和分割箱盒内杂乱摆放的零件,同时针对卷积神经网络需要大量和高质量图像进行训练的问题,提出了一种基于零件合成训练集对Mask RCNN网络进行训练的方法。首先,利用三维仿真技术,通过OpenSceneGraph(OSG)和Bullet建立了杂乱场景零件训练集合成系统,生成大量的合成图像;其次,建立了三种不同的训练集,分别对Mask RCNN网络训练;最后,利用Kinect视觉传感器采集真实图像进行测试。实验证明,该方法的准确率为97%,可以对杂乱场景下的零件有效地进行检测和分割。     

基于机器视觉和深度神经网络的零件装配检测

针对工业生产中存在着大量的零件识别定位以及装配检测等,传统人工检测效率低、劳动强度大、识别不准确。文章提出了一种基于深度神经网络的零件装配检测方法。首先该方法对零件图像和装配图像进行采集,选择Mask-RCNN网络进行训练,对装配零件进行分类以及定位,通过已识别的零件类型判定装配件是否存在漏装;然后将分割后的零件图像进行二值化处理,利用Canny算子提取零件图像轮廓;最后利用图像的Hu矩特征与正确的零件图像轮廓进行对比,判断装配是否正确。通过实验验证可得,该方法在零件装配中的漏装和换装检测中效果较好,并表现出较高的鲁棒性。     

基于R-CNN的智能电表数值识别方法

针对传统抄表方式存在的识别精度低、识别效果差的问题,提出基于区域卷积神经网络（Region-based Convolutional Neural Network, R-CNN）的智能电表数值识别方法。该方法首先使用摄像头采集电表数字码盘的图像信息,然后对采集到的图像进行预处理,最后通过R-CNN网络对预处理后的图像进行自动识别。试验结果表明:所提方法利用R-CNN网络可以同时自动识别表盘位置信息和表盘读数信息,很大程度上减少了人工识表的压力,提高了表计识别精度。     

基于R-CNN的智能电表数值识别方法（英文）

针对传统抄表方式存在的识别精度低、识别效果差的问题,提出基于区域卷积神经网络(Region-based Convolutional Neural Network,R-CNN)的智能电表数值识别方法。该方法首先使用摄像头采集电表数字码盘的图像信息,然后对采集到的图像进行预处理,最后通过R-CNN网络对预处理后的图像进行自动识别。试验结果表明:所提方法利用R-CNN网络可以同时自动识别表盘位置信息和表盘读数信息,很大程度上减少了人工识表的压力,提高了表计识别精度。     

基于深度学习的固结磨料研磨垫表面形态表征

固结磨料研磨垫的表面形态与其加工性能有着密切关系,为更好地了解固结磨料研磨垫表面形态,尤其是研磨垫中的金刚石、孔隙、金刚石脱落坑等的分布特征,提出一种基于深度学习的固结磨料研磨垫表面形态分析方法。首先,利用徕卡DVM6数字显微镜及其配套软件获取固结磨料研磨垫表面图像;然后,采用python3+OpenCV对图像进行预处理,并利用标注软件Labelme对图像进行标注,用于后续的训练和测试;最后,运用深度学习框架Tensorflow搭建Mask R-CNN模型。结果表明：Mask R-CNN模型能对单一固结磨料垫表面图像中的多目标进行有效分割与识别,其主要评价指标平均准确率达到78.9%,达到了图像识别的主流水平。     

基于卷积神经网络与虚拟训练集的零件识别

针对工业环境中零件识别效率低,准确率不高以及难以获取大量训练集的问题,对基于深度学习的零件识别进行了研究,提出一种基于卷积神经网络与虚拟训练集的零件识别方法。首先,通过OpenSceneGraph(OSG)在虚拟场景内渲染大量深度图像训练集;然后,构建了两种不同深度与结构的卷积神经网络模型并使用虚拟深度图像进行训练;最后,使用深度相机采集零件真实深度图像对网络模型进行测试并选择适合的零件分类模型。结果表明,该方法使用虚拟训练集训练,实现了对真实零件的精准识别,使用深度图像对于零件反光和少纹理情况具有一定的鲁棒性,为工业自动化分拣装配提供稳定的信息基础。     

基于改进MF-DFA的零件特征提取与缺陷识别

针对现代工业制造背景下的个性化机械零件,通常具有不规则和一定自相似性的分形特性,提出一种基于改进多重分形去趋势波动分析(MF-DFA)法的零件特征提取与缺陷识别方法。首先,选用三角形覆盖模块替代传统MF-DFA法中的正方形覆盖模块,解决传统MF-DFA法存在过度覆盖的问题,为零件图像缺陷识别提供更精准的数据;其次,利用改进MF-DFA法计算零件图像的多重分形谱;再利用核主成分分析(KPCA)方法提取零件图像的缺陷特征值;最后通过支持向量机(SVM)对零件缺陷进行识别。实验结果表明,三角覆盖二维MF-DFA算法能够准确提取零件特征,提高零件缺陷识别的准确率。     

基于群体智能算法的排球高鲁棒性目标识别研究（英文）

基于小波变换和人工神经网络的目标识别是图像处理的一个重要研究方向。但是,此类方法采用的梯度下降规则容易产生局部极小值。为了解决该问题,提出了一种基于群体智能算法的高鲁棒性目标识别算法,可有效应用于各种图像识别任务,如排球目标识别等。首先对图像进行预处理并变换成HSV空间进行背景分割,并通过小波不变矩对图像进行特征提取。然后采用新兴的群智能算法-狼群算法,对基于小波神经网络的目标图像识别进行优化,以便提升全局收敛性和鲁棒性。仿真实验结果显示:相比原有的方法,提出优化方法具有更高的识别精度和稳定性。     

基于群体智能算法的排球高鲁棒性目标识别研究

基于小波变换和人工神经网络的目标识别是图像处理的一个重要研究方向。但是,此类方法采用的梯度下降规则容易产生局部极小值。为了解决该问题,提出了一种基于群体智能算法的高鲁棒性目标识别算法,可有效应用于各种图像识别任务,如排球目标识别等。首先对图像进行预处理并变换成HSV空间进行背景分割,并通过小波不变矩对图像进行特征提取。然后采用新兴的群智能算法-狼群算法,对基于小波神经网络的目标图像识别进行优化,以便提升全局收敛性和鲁棒性。仿真实验结果显示:相比原有的方法,提出优化方法具有更高的识别精度和稳定性。     

基于机器视觉的集成电路板焊点缺陷识别方法

现有的集成电路板焊点缺陷识别方法未对集成电路板二值图像进行边界跟踪,导致集成电路板焊点缺陷特征提取效果不佳,严重影响了集成电路板焊点缺陷识别效果。为此,文中提出一种基于机器视觉的集成电路板焊点缺陷识别方法。获取集成电路板焊点图像,通过傅里叶变换对集成电路板焊点图像缺陷数据进行空间数据转换,得到空间域的复数图像。引用Rician噪声的期望值对集成电路板焊点图像噪声偏差校正,通过高阶奇异值分解方法获取集成电路板焊点图像块硬阈值;对焊点图像进行阈值分割,利用连通链码对二值图像展开边界跟踪,提取集成电路板焊点缺陷特征,通过Adaboost分类算法构建分类器,将提取的特征输入到分类器内,最终实现集成电路板焊点缺陷识别。试验结果表明,所提方法能够准确识别全部焊接缺陷,缺陷识别耗时仅为103 s,焊点缺陷识别效果较好。     

基于Faster R-CNN的刨花板表面缺陷检测研究

为了克服刨花板表面缺陷人工目视检测的局限性,实现对多种缺陷准确、实时检测,提出一种基于Faster R-CNN的检测方法。运用从工厂生产现场获取的各种表面缺陷图,制作成一个包含3566张刨花板表面缺陷图像数据集,其中主要包括胶块、水印、砂痕、杂物、粗刨花5种缺陷类型。通过用该数据集对Faster R-CNN在ZF、VGG16和ResNet101不同特征提取网络下的不同锚点(Anchor)设置模型分别进行训练、验证和测试,并对比了不同参数对检测精度的影响。结果显示,该方法能有效检测刨花板表面缺陷,且模型在ResNet101作为特征提取网络时准确率最高。在对训练好的Faster R-CNN模型的鲁棒性进行评估和验证中,模型对122张新图像的5种缺陷类型进行检测,测试的5种缺陷类型识别率分别为92.31%、91.84%、90.57%、96.88%和95.24%,平均检测率为93.37%,测试结果表明该方法能为基于机器视觉刨花板表面缺陷检测系统提供良好支撑。     

零件识别图像预处理算法研究北大核心

图像预处理是零件特征提取与识别的基础,处理质量直接决定后期识别的效果。提出了基于灰色关联分析的图像分割新算法,该算法通过分析像素点序列与代表目标的参考序列的灰色关联度来进行区域分割。通过测量实验,证明其对于在较复杂背景图像中较模糊的目标边缘具有较好的检测效果。可完整的提取出目标区域,并得到连续封闭的目标边缘,为后续的零件目标识别打下了良好的基础。     

机械仪表的机器视觉数据自动获取技术

提出了一种新的仪表识别方法,并应用该识别方法实现了基于机器视觉的高精度自动采集方法。该自动采集方法通过工业相机对机械仪表指针和表盘进行图像采集,经过分割、膨胀、细化等预处理后得到表盘构成要素轮廓;根据直线型指针图像的灰度梯度方向一致特性,应用改进Hough变换定位指针轮廓,提高了识别的准确率;通过识别指针轮廓指向及判断指针轮廓在仪表表盘中所在象限,得到指针指向,依靠计算指针角度变化,实现仪表读数的识别,经计算机采集实现数据自动获取。以杠杆千分表测量高精度位移量为例,通过自搭建的试验平台,在人工识别及激光干涉仪测量结果的对比下,对数据采集试验进行了实验研究。实验结果表明,应用该识别方法的机器视觉自动获取技术采集仪表数据,精度可达0.4μm。     

基于灰度的螺旋缝焊管X光焊缝识别

焊缝识别是螺旋缝焊管X光缺陷识别的基础。以MATLAB软件图像处理工具箱IPT为基础,根据螺旋缝焊管X光图像的特征,通过中值滤波、屏蔽等预处理,利用图像梯度及概率求取焊缝中心线,并进一步精化,从而实现焊缝分割。通过实例给出识别算法,并分析该X光焊缝识别方法的适用性。     

基于振动图像特征提取的机械故障诊断与识别

为诊断出机械设备元件的故障表现类型，并针对该类型故障行为进行准确识别，提出基于振动图像故障特征提取的机械故障诊断与识别方法。分析图像数据说明条件，联合相关数据信息参量，求解故障特征集合表达式，实现对机械设备振动图像故障特征的提取与处理；按照故障信号样本熵空间的赋值范围，推导机械设备故障的振幅分解公式，再根据ICA识别系数的计算结果，判断奇异值指标的合理性，实现对振动型机械设备故障的诊断与识别。结果表明，振动图像故障特征提取算法能够准确诊断出机械设备的振动型故障，对于磨损型、过劳型故障行为来说，也能够获得83%以上的准确率。     

基于改进卷积神经网络的管焊缝X射线图像缺陷识别方法

针对卷积神经网络(CNN)应用于焊缝探伤图像识别时,目标区域占比小,局部信息冗余,激活函数小于零时出现硬饱和区导致模型对输入变化较敏感、网络参数难以训练的问题,采用超像素分割算法(SLIC)和改进的ELU激活函数构建CNN模型进行焊缝探伤图像缺陷识别. 首先,在CNN模型中使用ELU激活函数,在缓解梯度消失时对输入噪声产生更好的鲁棒性,同时,利用SLIC算法对图像像素进行像素块处理的特点,增大焊缝探伤图像中感兴趣区域的占比,降低局部冗余信息,提高模型在训练过程中的特征提取能力. 通过对焊缝探伤图像感兴趣区域提取并与所述CNN模型进行对比试验. 结果表明,该方法在焊缝探伤图像特征提取、训练耗时及识别准确率方面较传统卷积神经网络有更好的表现.     

精密零件的工业CT图像测量方法

利用工业CT实现精密零件内部尺寸的高精度测量已逐渐成为产品质量控制的重要技术手段,而CT图像分割和数据拟合是工业CT图像测量的重要环节和难点问题。基于此,采用联合小波变换和RSF模型的图像分割方法对精密零件CT图像轮廓进行精确分割,得到感兴趣轮廓数据,接着采用最小二乘拟合方法得到圆和直线方程,进而测量得到感兴趣对象的直径和角度;同时,对于零件壁厚的测量,采用最小距离搜索法获取壁厚值。多组精密零件的CT图像测量结果表明,该方法测量精度总体优于通用测量软件VG Studio Max的精度,具有一定工程应用价值。     

基于视觉的零件识别和定位

针对装配线上的零件识别和抓取的需要,文章围绕零件图像识别的关键技术,从识别和定位抓取两个方面进行深入研究。文中提出了一种基于多轮廓的零件快速识别方法,从零件的轮廓数、各个轮廓的几何特征和形状特征三个方面,将待测零件图像与零件库中的模板零件图像比较和识别。对于零件的定位,文中提出了根据零件的最小外接矩形进行零件抓取的方法。实验结果表明了方法的可行性,能够应用于零件台上的零件识别与定位。     

电动汽车充电站钢结构停车棚焊接节点裂纹识别

钢结构停车棚焊接区域图像噪声影响到了裂纹识别精度,所以提出了电动汽车充电站钢结构停车棚焊接节点裂纹识别方法。通过磁光成像法获得钢结构焊接区域图像,对采集到的焊区分段图像进行灰度处理。经过灰度处理后,使用双边滤波器去除焊接区域图像所有噪声,结合局部阈值的多目标分割与卷积神经网络,得到裂纹判断阈值,利用该值识别焊接节点裂纹。试验结果表明,该方法在缺陷类别识别和检测效果上均优于其他方法,能够识别出各种钢结构焊接细小裂纹,应用价值较高。