零部件光学影像精准定位的轻量化深度学习网络

光学影像精准定位是提高工业生产效率和质量的重要环节。传统图像处理定位方法由于光照、噪声等环境因素的影响,在复杂场景下定位精度低、易受干扰;而经典深度学习网络虽然在自然场景目标检测、工业安检、抓取、缺陷检测等得到了广泛应用,但是其海量数据的训练需求、复杂系统的深度学习大模型、检测框的冗余及不精确等问题,导致它不能直接应用于工业零部件像素级精准定位。针对以上问题,构建了一种零部件光学影像像素级精准定位的轻量化深度学习网络方法。网络总体选用Encoder-Decoder架构,Encoder使用三级bottleneck级联,在降低特征提取参变量的同时充分提升了网络的非线性;Encoder与Decoder对应特征层实施融合拼接,促使Encoder在上采样卷积后可以获得更多的高分辨率信息,进而更完备地重建出原始图像细节信息;最后,利用加权的Hausdorff距离构建了Decoder输出层与定位坐标点的关系。实验结果表明：轻量化深度学习定位网络模型参数为57.4 kB,定位精度小于等于5 pixel的识别率大于等于99.5%,基本满足工业零部件定位精度高、准确率高和抗干扰能力强等要求。     

基于深度学习的人脸检测算法研究

随着计算机视觉之深度学习的兴起与人脸识别技术在智能化产品的广泛应用,基于深度卷积神经网络的人脸检测相关技术成为计算机视觉领域的热门研究。基于RetinaFace结构,提出一种改进的人脸检测模型。该模型采用Resnet34作为特征提取层,利用特征金字塔网络(FPN)进行上下文分辨率信息融合,结合Inception网络适应多尺度的人脸。基于人脸边界框回归损失和分类损失,额外增加人脸五点关键点训练损失。通过IoU大于0.5非极大抑制处理在Wider Face的Easy、Medium、Hard数据集的检测边界框,训练的卷积模型在测试集准确率分别是93.79%、91.92%、55.75%。在人脸密集、遮挡严重、背景复杂的场景下检测的效果并不是很理想,而在人脸稀疏的情况下取得较好的结果。     

基于深度学习的电梯平层精度检测系统研究

电梯是日常生活中必不可少的一种交通工具,电梯平层精度的测量可以有效减少电梯事故的发生,为了实现对电梯平层精度的快速准确检测,开发了一套基于深度学习的电梯平层精度检测系统。系统将刻度尺安装在电梯停留时电梯井道的相应位置,在每个楼层安装一个刻度尺并进行校准,在电梯轿厢底部安装激光传感器、工业相机和光源,通过激光传感器对电梯轿厢位置在刻度尺上进行精准定位,通过在电梯轿厢底部安装光源以获取高质量的图像,通过工业相机获取实时获取激光线所在位置的图像信息。实验过程中共采集500张图像数据,通过随机旋转、镜像、裁剪、添加噪声等数据增强方式将图像样本数据扩充至5000张,通过开源软件LabelImg辅助标注工具对每张图像中的激光线和激光线最临近的刻度值进行标注,对标注的图像进行转化为可用于训练的电梯平层精度检测数据集,再将数据集按照4∶1划分为训练集和测试集,最后利用YOLOv3目标检测算法对刻度线图像数据集进行训练并测试,实现对激光线和激光线最邻近位置数字的检测和识别。在测试集中随机选取10组图像进行测试,采用该检测方法对电梯平层精度进行检测,对实验结果进行分析准确率高达90%。该系统的研究实现了电...     

基于深度学习的道路表面裂缝检测研究

针对目前道路表面裂缝缺陷检测方法普遍存在识别率低、实时性差以及多尺度特征下检测效果不好等问题,提出一种改进的YOLOv5s算法模型。该算法引入Sim AM三维带权注意力机制且不引入额外参数,在模型中融入加权双向特征金字塔进行多尺度特征融合;同时改进预测框损失函数,使得损失函数收敛更快。经过对比实验,改进后模型的裂缝检测均值平均精度提高了2.2%,准确率为90.5%,表明了模型的有效性。     

结合深度卷积网络与加速鲁棒特征配准的图像精准定位

针对在大图像中定位小块区域图像的需求,本文提出一种结合深度卷积网络与加速鲁棒特征(SURF)配准的精准定位方法。将标准大区域图像分割成若干个小参考图像,利用深度卷积网络和类局部敏感哈希降维法提取参考图像集的特征并形成特征库;基于特征库,提出了先检索多个相似参考图像后再进行SURF精确配准的两阶段方法,实现目标小图像在标准大图像中的定位。针对电子工业过程中高密度柔性电路板(FPC)及精确末制导中的图像定位数据进行实验,实验结果表明,该方法避免了传统SURF算法大量的特征提取与配对过程,SURF特征提取数减少近90%;与直接根据图像特征进行配准的传统定位方法相比,在保证定位准确率的基础上,耗时可缩小一个数量级以上。     

基于改进YOLOv4的柱形锂电池缺陷检测研究

为了实现柱形锂电池缺陷检测的实时性与高精度,提出一种基于改进YOLOv4的柱形锂电池表面缺陷检测算法。将主干网络由CSPDarkNet53替换为轻量化网络Mobile Netv1,使用K-means++算法对锂电池缺陷数据集先验框进行重新聚类,同时构建新的注意力机制ECSA模块关注重要信息。改进后的模型检测精度与检测速度均得到提升。     

基于深度学习的协作机械臂目标定位与抓取研究

针对协作机械臂在工业应用场景中目标定位困难、抓取精度不高等问题,提出一种基于ROS (Robot Operating System)和深度学习的协作机械臂目标定位与抓取方法。首先搭建了一种视触觉融合的机械臂智能抓取实验平台,该平台由Kinect v2视觉系统、Moveit控制系统及AUBO i5机械臂执行系统组成;以Kinect v2视觉系统为基础设计了一种改进YOLOv8轻量化模型的目标检测识别定位方法实现目标定位;采用GSConv和VoV-GSCSP网络结构改进特征融合Neck端解决了参数量大、算力要求高的问题;控制系统订阅tf广播的目标物体坐标信息实现抓取任务。实验结果表明,模型改进后的计算量GSConv和VoV-GSCSP减少6.9%,GFLOPs减少7.3 (9.8%),且提高了检测精度;螺丝和螺母两种目标物抓取的成功率分别为99%和97%。     

基于深度学习的偏光片检测技术研究

偏光片外观缺陷的在线检测一直以来就是业界难题,深度学习工具的出现有助于改善这一现状。实验中,对含有缺陷的偏光片进行图像采集,并将采集到的图像分成训练集和验证集。在训练集中利用深度学习工具学习到了缺陷的特征阈值,将阈值应用到验证集中进行缺陷检测,得到很好的检测效果。然而,打痕缺陷由于图像采集的原因并不能完全检出。此外,偏光片自身的翘曲对检测也有一定程度的影响。     

基于光滑整形的钢包快速精准定位研究

针对铸造起重机吊运钢水包过程中钢水与吊摆产生的双向流固耦合现象,文中采用一系列质量弹簧阻尼器来等效钢水晃动对钢水包容器产生的影响,基于等效力学原理建立了钢水包吊运系统的等效力学模型,推导出了其运动方程,在验证了其系统的稳定性、客观性和可控性之后,采用级联光滑整形器对钢包吊运系统进行安全快速精准定位控制。结果表明：级联光滑整形控制器既可抑制钢包吊运系统的钢丝绳残余摆动和钢水残余晃动,还可使其钢丝绳摆角和钢水的晃动在整个吊运过程都保持相对稳定。     

基于改进YOLOv4算法的结构用锯材表面缺陷检测研究

针对木结构用锯材表面缺陷人工检测效率低下、精度低等问题。提出了一种改进的YOLOv4算法用于结构用锯材表面缺陷检测研究,在原YOLOv4算法基础上加入了自适应特征融合模块（AdaptivelySpatial FeatureFusion,ASFF）,解决了不同特征尺度间的不一致性。为了验证算法的有效性,论文分别采用YOLOv3、YOLOv4及改进的YOLOv4算法对1052张结构用锯材表面缺陷样本图像进行对比测试。结果表明,与YOLOv3、YOLOv4算法相比,改进的YOLOv4算法平均测试精度均值分别提高了2.36%和19.9%,对单张含有不同大小目标的图片检测结果提高了13%。     

基于YOLOv4及其变体的白车身焊点外观检测

白车身焊点的质量直接影响汽车的牢固度和安全性,而其检测目前以人工目测为主,其检测效率和检测质量都不足以满足汽车产业发展的要求.基于YOLOv4网络模型对白车身焊点的外观分类做深度学习并成功实现了焊点的识别与分类.并针对焊点图像的特点对YOLOv4模型进行了变体开发,提出一种针对小目标的、快速运算的YOLOv4变体.首先...     

基于深度学习的实时集装箱箱号识别算法

集装箱站场装卸作业时,主要依靠起重机司机手工录入集装箱箱号,自动化程度低.站场的多样化环境容易造成识别模型的复杂度较高,导致计算耗时较长;同时由于集装箱表面纹理复杂、磨损腐蚀严重、箱号字体及排列方式多样等问题使得其字符特征难以提取且识别精度不高,现有的算法往往无法同时满足准确性和实时性两个要求,难以在实际场景中应用.因...     

基于SURF的变电检测仪器面板数据精准定位方法

提出了一种基于尺度不变性特征变换的检测仪器面板关键数据精准定位方法,针对变电检测常用仪器在分辨率变化、角度变化、光线变化、雨水/积灰/泥土杂质干扰等状态下共1020张图片进行了关键数据定位测试。结果表明,该方法对以上干扰均具有良好的特征定位鲁棒性,对拍摄角度不超过45°的整体随机样本的特征定位准确率达96%以上,可用于复杂现场环境下变电检测仪器面板数据精准定位及提取辅助。     

基于深度学习的飞机蒙皮缺陷检测研究

在飞机的飞行过程中,蒙皮表面会出现裂纹、撞击和腐蚀的问题,不仅降低了飞机的使用寿命,而且还对飞行人员造成安全威胁.为了准确实时检测表面缺陷,提出了基于深度学习的飞机蒙皮缺陷检测的方法.首先利用对抗生成网络DCGAN对预处理后的缺陷图像进行增强训练,得到庞大的样本集,接着使用基于Faster R-CNN的深度学习算法进行...     

基于深度学习特征匹配的铸件微小缺陷自动定位方法

针对射线实时成像检测中精密铸件微小缺陷自动定位的需要,提出一种基于深度学习特征匹配的铸件缺陷三维定位方法。模拟选择注意机制的中央-周边差算法,提出以视觉显著度为尺度,从射线图像复杂背景中检测出微小缺陷及其区域,以定义的区域中央点为待匹配点;然后,提出构造深度卷积神经网络自动提取微小缺陷区域的深度学习特征,通过深度学习特征矢量的相似度,实现在不同视角下投影图像中的同一微小缺陷点的自动匹配;最后,基于平移视差测距原理计算缺陷匹配点的三维空间坐标。实验表明,基于深度学习特征匹配的方法能够正确搜索平移前后投影图像中的同一缺陷点,以此为基础,利用视差测距原理实现了微小缺陷匹配点的自动准确定位,深度定位误差小于5.52%,能够满足对精密铸件微小缺陷智能评判的需要。     

基于深度学习的煤矿机电设备检测技术研究

针对传统煤矿机电设备检测存在工人劳动强度大、检测误差较大、检测技术手段落后等问题,通过将当前的人工智能技术与机电设备检测应用相融合,提出了基于深度学习的煤矿机电设备检测新技术和新方法,利用深度学习技术建立机电设备检测专家库和故障库,有效提高了煤矿机电设备检测的准确度和结果的可信度,将这套系统应用于矿井提升机领域,结果表...     

基于深度学习的电器目标检测

针对传统目标检测算法无法自适应提取目标相应特征并完成识别的现象,提出一种基于快速区域卷积神经网络(Faster R-CNN)模型的电器识别方法,其优势在于可以自适应获取不同场景下目标的特征,避免由于人为设计目标的特征而带来的主观因素影响,具有良好的鲁棒性与准确性。FasterR-CNN中首先通过建立区域建议网络RPN(Region Proposal Network)代替Fast R-CNN中的Selective Search方法,得到建议位置后再进行检测。为了解决训练过程当中正负样本失衡问题,在Faster R-CNN中引入了难负样本挖掘策略,增强了模型的判别能力,提高检测的精度。     

基于非极大值抑制的圆目标亚像素中心定位

圆形目标在基于图像的测量系统中应用广泛,针对圆目标中心的高定位精度和快速提取的要求,提出了一种基于非极大值抑制的亚像素中心定位方法.该方法利用Sobel算子进行边缘检测,通过改进非极大值抑制方法获取连续细化的边缘,实现了像素级边缘定位,采用Zernike正交矩对边缘点进行亚像素级定位,并用最小二乘法进行二次拟合来获取精确的标志点的中心坐标.仿真图像和实测图像的实验结果验证了该方法的有效性和准确性,其定位精度可以达到0.02像素,通过测试算法的运行时间,证明该算法具有很好的实时性.     

基于深度学习的芯片位置检测系统

激光bar条是由多个芯片并排形成的激光器单条.工业生产中,需要在激光bar条上找到芯片的位置进行测试和加工.由于人工操作存在着精度低和效率低的缺点,现在一般采用基于传统机器视觉算法的芯片位置检测系统.传统机器视觉算法在芯片位置检测中过程复杂且不具有的通用性.近些年深度学习在机器视觉任务上大放异彩,所以我们开发了一套基于...     

基于深度学习的视觉同时定位与建图研究进展

随着机器视觉的不断发展,视觉传感器其小巧轻便、价格低廉等优势,使得视觉同时定位与建图(VSLAM)越来越受人们关注,深度学习为处理VSLAM问题提供了新的方法与思路。本文综述了近年来基于深度学习的VSLAM方法。首先回顾了VSLAM的发展历程,系统阐释了VSLAM的基本原理与组成结构。然后从视觉里程计(VO)、回环检测与建图3个方面分析各类基于深度学习的方法,从特征提取与特征匹配、深度估计与位姿估计及关键帧选择等3个部分阐述了深度学习在VO中的应用;基于场景表达方式的不同,总结了几何建图、语义建图及广义建图中的深度学习方法。接着介绍了目前VSLAM常用的各种数据集以及性能评估指标。最后指出了目前VSLAM面临的难题与挑战,展望未来深度学习与VSLAM结合的研究趋势与发展方向。