不规则金属物料的抓取位姿实时检测方法研究

为解决机器人抓取不规则金属物料时存在的抓取位姿难以准确判断的问题,在图像处理算法的基础上,提出一种基于轮廓和形心特征的抓取位姿判断方法.该方法将金属物料分为两种类型,一种是形心落在轮廓范围以外,另一种是形心落在轮廓范围以内.对于第一种物料,采用直线求交法确定抓取位姿,对于另外一种提出射线求交法确定抓取位姿.两种方法均是...     

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题,设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点,并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练,经过验证,使用合成数据训练的网络也能在真实场景中有效工作。最后,搭建了一个基于机器人操作系统的UR5机械臂抓取平台,将训练好的模型部署到该平台上进行抓取实验,结果表明所提方法能够估计出目标物体的位姿,并在实际场景中抓取位姿未知的物体。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

基于深度学习的多物体抓取检测技术研究

针对非结构化的抓取场景,提出一种并列式架构的卷积神经网络检测模型。该模型使用单物体抓取数据集训练,可以对多物体进行抓取检测。基于机器人操作系统（Robot Operating System,ROS）平台进行抓取仿真试验,验证抓取检测结果的有效性。试验结果表明,该方法针对密集多物体的仿真抓取成功率达到80.8%。     

基于深度卷积神经网络的目标检测研究综述

作为计算机视觉中的基本视觉识别问题,目标检测在过去的几十年中得到了广泛地研究。目标检测旨在给定图像中找到具有准确定位的特定对象,并为每个对象分配一个对应的标签。近年来,深度卷积神经网络DCNN(Deep Convolutional Neural Networks)凭借其特征学习和迁移学习的强大能力在图像分类方面取得了一系列突破,在目标检测方面,它越来越受到人们的重视。因此,如何将CNN应用于目标检测并获得更好的性能是一项重要的研究。首先回顾和介绍了几类经典的目标检测算法;然后将深度学习算法的产生过程作为切入点,以系统的方式全面概述了各种目标检测方法;最后针对目标检测和深度学习算法面临的重大挑战,讨论了一些未来的方向,以促进深度学习对目标检测的研究。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于深度学习的目标识别与抓取研究

针对机械臂抓取在工业生产中的复杂作业环境、不同零件之间存在干扰的问题,文章提出了一种基于深度学习的目标识别及抓取方法,以此来减少抓取场景中物体位置的不确定性,提高检测和抓取成功率。采用卷积注意力机制模块（convolutional block attention module,CBAM）对YOLO-V5进行改进,加强卷积网络对图像特征的关注和提取能力,提高检测精度。改进之后的网络平均识别率提高了5.26%,证明了改进是有效且成功的。通过AUBO-i5机械臂、电动夹爪、相机以及六轴力传感器等设备搭建了一套机械臂抓取系统,实验结果表明所提出的方法在实际抓取中可以适应不同的抓取场景,减少外界干扰,提高抓取成功率,具有良好的应用前景。     

基于LVDT的光学器件相对位姿检测方法

针对光学精密装配工艺特点,提出一种基于LVDT的三维相对位姿检测方法.采用4个对称分布的LVDT检测光学装配过程中球面镜与谐振腔体的位姿关系,根据LVDT的读数推导得出球面镜与谐振腔体的相对位姿.设计采用集成信号调理芯片AD598的LVDT处理电路作为位姿检测的控制系统,通过实验得出LVDT微位移检测的分辨率为0.1 μm,重复检测精度为±0.3μm,并能较好地跟踪方波及正弦波信号.采用PID算法实现球面镜的快速位姿定位.实验结果表明:当球面镜的加工及安装误差在允许范围内时,位姿检测系统可以在25 s内完成球面镜相对于谐振腔体的位姿调整,最大距离误差为0.5 μn,最大角度误差为8″,充分验证了基于LVDT相对位姿检测方法的可行性.     

基于改进深度卷积网络的铁路入侵行人分类算法

异物侵入铁路限界严重影响行车安全,识别铁路限界内的人员侵入对保证铁路运营安全具有重要意义。由于既有铁路图像异物侵入检测系统只能检测报警图像,无法区分是人员侵入的正确报警还是光线干扰导致的误报警,为了降低上述误报警,本文建立了铁路异物侵限报警样本的训练集和测试集,提出了将改进的深度卷积网络提取的高层Alex特征和HOG特征相结合并用于深度卷积网络模型训练的分类算法。首先引入了改进的AlexNet深度卷积神经网络模型,提取了自动学习的Alex高层特征,然后将其与HOG特征相结合形成Alex-HOG组合特征,最后利用组合特征对分类网络进行训练。铁路异物侵限报警测试样本库的实验表明,该方法对1 498张测试样本图像的识别准确率高达98.46%,时间为3.78s,实时性和准确率均有较大提高,对降低系统误报率具有重大意义。     

基于自归一化神经网络的电弧故障检测方法

电弧故障是电气火灾的重要原因.低压线路发生串联电弧故障时,回路电流波形的时域特征与正常工作状态类似,采用传统的特征提取方法无法完整表达时域信号的全部数据特征,限制了电弧故障的特征表达能力,导致检测结果的误报率和漏报率较高.针对此问题,提出基于自归一化卷积神经网络的电弧故障检测方法.该方法将采集到的不同种类负载的电流时间...     

A new automatic convolutional neural network based on deep reinforcement learning for fault diagnosis

Convolutional neural network (CNN) has achieved remarkable applications in fault diagnosis. However, the tuning aiming at obtaining the well-trained CNN model is mainly manual search. Tuning requires considerable experiences on the knowledge on CNN training and fault diagnosis, and is always time consuming and labor intensive, making the automatic hyper parameter optimization (HPO) of CNN models essential. To solve this problem, this paper proposes a novel automatic CNN (ACNN) for fault diagnosis, which can automatically tune its three key hyper parameters, namely, learning rate, batch size, and L2-regulation. First, a new deep reinforcement learning (DRL) is developed, and it constructs an agent aiming at controlling these three hyper parameters along with the training of CNN models online. Second, a new structure of DRL is designed by combining deep deterministic policy gradient and long short-term memory, which takes the training loss of CNN models as its input and can output the adjustment on these three hyper parameters. Third, a new training method for ACNN is designed to enhance its stability. Two famous bearing datasets are selected to evaluate the performance of ACNN. It is compared with four commonly used HPO methods, namely, random search, Bayesian optimization, tree Parzen estimator, and sequential model-based algorithm configuration. ACNN is also compared with other published machine learning (ML) and deep learning (DL) methods. The results show that ACNN outperforms these HPO and ML/DL methods, validating its potential in fault diagnosis.     

基于深度卷积神经网络的车标分类

基于深度学习框架Caffe和具有强大计算能力的GPU,运用深度神经网络AlexNet和GoogleNet,对具有不同背景的汽车图像进行网络训练,以达到车辆自动识别的目的。分别对4类车标进行网络训练与测试,实验结果表明,在图像识别分类方面,与传统识别方法相比,深度卷积神经网络更具优势。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

基于卷积变分自编码器的异常事件检测方法

针对传统的异常事件检测方法中手工提取的浅层特征无法统一表达不同场景的表观和运动信息问题,提出了一种基于卷积变分自编码器(ConVAE)的异常事件检测方法.首先构建了一个卷积变分自编码器网络,以视频帧序列作为网络输入,提取场景的深度特征;接着采用多变量高斯模型对在所有帧序列的深度特征图中位于同一位置的特征向量进行拟合,获...     

基于 Keypoint RCNN 改进模型的物体抓取检测算法

机器人抓取在工业中的应用有两个难点:如何准确地检测可抓取物体,以及如何从检测出的多个物体中选择最优抓取目标。本文在Keypoint RCNN模型中引入同方差不确定性学习各损失的权重,并在特征提取器中加入注意力模块,构成了Keypoint RCNN改进模型。基于改进模型提出了两阶段物体抓取检测算法,第一阶段用模型预测物体掩码和关键点,第二阶段用掩码和关键点计算物体的抓取描述和重合度,重合度表示抓取时的碰撞程度,根据重合度可以从多个可抓取物体中选择最优抓取目标。对照实验证明,相较原模型,Keypoint RCNN改进模型在目标检测、实例分割、关键点检测上的性能均有提高,在自建数据集上的平均精度分别为85.15%、79.66%、86.63%,机器人抓取实验证明抓取检测算法能够准确计算物体的抓取描述、选择最优抓取,引导机器人无碰撞地抓取目标。     

基于对称形状生成的三维目标检测网络

基于点云的三维目标检测在机器人、自动驾驶等领域起着至关重要的作用,激光点云能为场景理解提供精确的几何信息。 然而,由于点云的稀疏性和物体间的遮挡关系,激光点云通常只能描述物体的部分形状,导致目标结构信息不完整,从而降低检测精度。 针对这个问题,提出基于对称形状生成的三维目标检测网络( SSG-RCNN),一种双阶段目标检测器。 考虑到感兴趣目标形状的对称性,SSG-RCNN 在一阶段生成候选框的同时为每个前景点预测镜像对称点,从而恢复目标的整体形状。 二阶段中,使用自注意力池化层从原始点和对称点中聚合特征用于候选框修正,完成三维框预测。 KITTI 数据集上的实验表明 SSG-RCNN 取得了卓越的检测性能,在测试集上对困难目标的检测精度达到 77. 64% ,高于所有对比方法。     

基于多尺度特征融合和抓取质量评估的抓取生成方法

在非结构化场景中,物体的6-Ddf抓取是智能服务机器人领域的一项极具挑战性的任务。在该场景中,机器人需要应对不同大小和形状的物体以及环境噪声等因素的干扰,因此难以生成准确的抓取姿态。针对此问题本文提出一种基于多尺度特征融合和抓取质量评估的6-Dof抓取姿态生成方法。首先,提出了自适应半径查询法,解决真实环境中点云采样不均匀导致的关键点查询异常的问题;其次设计了一种将多尺度特征和抓取质量评估融合的抓取生成网络,可以生成丰富的6-Dof抓取域：最后,定义了一种抓取质量评估方法,包含力闭合分数、接触面平整度、棱边分析和质心分数,并将这些标准应用在标准数据集上生成新的抓取置信分数标签,同时将这些标准融人抓取生成网络中。实验结果表明所述的方法与当前较为先进的方法FGC-GraspNet相比平均精度提升了5.9%,单物体抓取成功率提升了5.8%,多物体场景的抓取成功率提升了1.1%。综上所述,本文所提出的方法具备有效性和可行性,在单物体场景和多物体场景中具有较好的适应性。