基于双目视觉的支柱绝缘子目标识别与定位研究

变电站绝缘子因其表面极易受潮湿天气的影响出现污秽导致变电设施发生闪络事故,这直接关系到变电站供电的稳定性。因此,有必要研发带电作业机器人实现对支柱绝缘子的清洗,保障电力系统稳定运行。设计了基于双目视觉的绝缘子清洗机器人,完成了双目视觉系统对目标绝缘子的识别与定位。使用YOLOv4-tiny深度学习网络算法对支柱绝缘子与法兰目标进行识别检测,检测准确率达92.29%。基于立体匹配对摄像机采集图像中的目标物体上的点对进行搜索,获取目标绝缘子深度信息并对绝缘子目标点进行三维重建。实验结果显示,目标点的平均深度误差为0.73 cm,精度满足机械臂抓取需要。针对后续机械臂的夹持清洗任务,建立绝缘子视觉观测模型,获取相机观测角,通过ROI区域对绝缘子盘轮廓进行提取,利用最小二乘法对绝缘子伞裙边进行椭圆拟合,对绝缘子伞裙边缘信息检测,可实现对机械臂末端干冰喷头倾角调整,进而完成对绝缘子盘凹壑进行精准清洗。     

基于深度学习的钢筋绑扎机器人目标识别定位

为了解决钢筋绑扎机器人对绑扎点识别准确率低,定位精度差的问题,提出一种基于深度学习的钢筋绑扎机器人目标识别与定位方法。首先采用YOLOv4算法对绑扎点目标框识别和裁剪,完成绑扎点初始定位;其次设计轮廓角点选取方法,利用角点计算绑扎点的图像坐标;之后通过融入CBAM注意力机制改进Monodepth算法的特征提取部分,解码部分引入路径增强PAN结构,以提高模型的特征提取能力,进一步提高立体匹配精度;最后通过双目立体视觉定位技术获得绑扎点深度信息,并由坐标变换求解钢筋绑扎机器人手眼坐标系映射关系,从而实现对绑扎点的精确识别和定位。实验结果表明：该方法针对绑扎点目标框的识别准确率达到了99.75%,每秒传输帧数达到54.65;在空间中的定位精度最大误差为11.6mm。可较好地识别定位绑扎点位置,为自动绑扎工作提供有力支持。     

基于深度学习的并联机器人定位检测技术研究

针对机器视觉领域中并联机器人存在目标识别模糊,分类效率差以及反应速度过慢的问题,提出了一种基于深度学习的并联机器人定位检测技术。首先对目标识别物进行图像采集,改进图像数据集,将处理前后图像放入训练集提高网络效率,搭建YOLOX目标检测分类识别算法提高并联机器人检测精度;其次改进训练方式,通过预训练与实际训练提高可靠性,改进损失策略;然后建立并联机器人主体基坐标系与相机坐标系,结合手眼标定与相机标定方法,求得目标实际坐标与机器人基坐标系的转换关系;最后在并联机器人实验平台验证目标标定结果,对比主流深度学习算法YOLOv3、YOLOv4、Faster-RCNN得出的并联机构网络定位与实际定位的相对误差,结果表明YOLOX的定位精度误差为3.992-5.061mm之间,平均精确度达到了91%左右。该方法可为并联机器人结合深度学习实现检测定位提供一定参考价值。     

基于双目视觉的带电作业机器人的目标识别与定位方法研究

高空带电作业机器人对目标物的精细化作业，需要合适的视觉辅助系统判断机械臂或爪具的位置与距离。提出一种将基于双目立体视觉的带电作业机器人目标识别与定位方法。通过对传统的Census算法进行改进，用窗口均值像素代替中心像素，用自适应窗口代替固定窗口，并与差的绝对和(SAD)算法加权融合，得到一种改进的SAD-Census立体匹配融合算法。利用该算法进行像素匹配运算，得出视差图；在YOLO框架下训练输电线螺栓数据集，获得螺栓深度距离并精准识别。螺栓定位实验结果表明，该方法在近距离定位时能达到1.2%的定位精度，最小相对误差为0.5%,能够为带电作业机器人提供实时准确的环境感知信息，提高了带电作业机器人作业的稳定性。     

基于双臂机器人和三维视觉的物体抓取和轴孔装配

三维视觉的机器人抓取能够将通过点云获取的匹配矩阵应用到智能抓取中.基于随机抽样一致性(RANSAC)和近点迭代法(ICP)模板匹配算法获取的矩阵,设计了一种机器人抓取点确定和机器人末端抓取姿态获取的方法.同时为机器人设计了一个预抓取位置,机器人在抓取时先调整抓取姿态到达预抓取位置,随后保持抓取姿态不变运行到抓取点对物体...     

基于改进型抓取质量判断网络的机器人抓取研究

针对ABB公司的YuMi双臂机器人在非结构化环境下的自主抓取问题,研究基于Kinect-2.0深度相机的可靠抓取算法。首先建立摄像机坐标系与机器人坐标系的布尔沙坐标转换模型,利用迭代最近点算法求解;然后将采集到的深度信息依照梯度大小变化阈值筛选像素点,并根据拒绝采样将像素点生成抓取候选点,通过改进型抓取质量判断网络(GQ-CNN)得到抓取质量度最高的抓取点姿态;最后将抓取点坐标转换到机器人坐标系实现物体抓取。实验结果表明,该方法能可靠的检测出物体最佳抓取点,实现对不同物体进行抓取。     

基于机器视觉的水表机芯灵敏度检测

为了解决人工检测水表机芯灵敏度存在效率低、精度差等问题,开发了一套基于机器视觉的水表机芯灵敏度检测系统。设计了一种基于指针通气前后转动角度差的间接检测算法。利用最小二乘法求得初始轮廓圆心,以圆心的横坐标和纵坐标将指针轮廓分为4部分,计算每部分轮廓点到圆心距离的标准差,取标准差值最小部分作为轮廓集合来拟合出精确圆,实现指针圆心定位;结合Shi-Tomas角点检测算法和针尖点到圆心的距离特征实现针尖点定位;计算通气前后各子表盘指针圆心与针尖点所形成直线与水平线之间的夹角,将角度差换算的脉冲数与设定脉冲数阈值比对,判断是否合格。实验表明,该系统在保持检测准确性的前提下能够高效的完成水表机芯灵敏度检测,算法的检定正确率高达99.7%。     

基于S-ASPP和双注意力机制的磁瓦外观缺陷检测算法

针对现有视觉缺陷检测算法对磁瓦外观识别精度低的问题，提出一种S-ASPP和双注意力机制的磁瓦外观缺陷检测算法。首先，为了解决模型参数量大，网络结构复杂所带来的检测效率低，算法部署硬件成本高等问题，提出采用轻量化GhostNet主干网络提取视觉底层特征；其次，设计S-ASPP模块引入密集连接和深度可分离卷积，以此在降低模型参数量的同时，提高模型的预测速度。然后，为了解决特征提取过程中可能出现语义信息丢失的问题，设计双注意力模块，将GhostNet的中层特征送入双注意力模块并与ASPP处理后的高层特征进行拼接，使网络获取更多语义特征，提高分割精度。最后，为验证本文所提方法的有效性，在磁瓦数据集上与DeepLabV3+、PSPNet、U-net等3种算法进行对比，实验结果表明，基于可分离ASPP和双注意力机制的磁瓦缺陷检测算法的具有较高的识别精度，平均交并比达到82.43%,类别平均像素准确率达到93.08%。该算法平衡了识别精度与参数量之间的关系，综合性能最优。     

基于Mask R-CNN实例分割的机械零件识别方法研究

零件识别是机械部件装配、装箱的重要基础,人工识别效率低,传统机器视觉检测要求高、场景单一.提出一种基于深度学习机器视觉的机械零件识别方法,通过加入PointRend模块提升原始Mask R-CNN实例分割模型的检测精度;针对相似度高零件设计类别细分方法,通过尺寸估算与特征匹配,较好地解决由于数据增强图像缩放造成的尺寸特征丢失问题.采集25种不同零件进行识别实验,结果表明,该方法可有效提升机械零件的识别准确率,算法对相似零件识别准确率达100％,较原始Mask R-CNN方法提升11.51％.并且该方法可推广到其他具有相似特征目标的识别任务中.     

基于双目视觉的车辆外廓尺寸测量方法

针对目前车辆外廓尺寸测量成本高、安装复杂且三维轮廓重构质量差的问题，提出了基于双目视觉的车辆外廓尺寸测量方法。该方法首先对双目相机采集的车辆图像对进行校正，并通过改进后的立体匹配算法计算生成车辆视差图。基于双目视觉三维测量原理解算车辆轮廓视差信息进行三维重构，生成车辆点云。针对相机盲区车辆轮廓数据缺失问题，设计了基于车牌识别的点云对称修复方法，生成完整车辆三维轮廓。实验结果表明，3种车型的测量示值误差均小于1%，车辆模型重构完整度高。