基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于机器视觉的空间组合体地面实验位姿测量技术研究

针对空间组合体如绳系系统在地面模拟实验时具有变化复杂和响应快等特点难以实时测量问题,对空间组合体地面模拟实验系统中物体位姿测量和控制方法进行了研究。将非接触式测量的机器视觉技术应用到了组合体地面测量系统中,并从减少图像搜索位置和每个位置处的计算量角度,提出了一种改进的多模板匹配算法配合刚体平面运动位姿算法组成测量系统,以实现运动目标物体图像的实时采集;获取了目标物体上标志点的坐标,再通过坐标变换等计算动态得到了平面刚体运动位姿;利用所研制的地面模拟检测系统进行了直线运动、旋转运动和刚体平面运动等实验测试。研究结果表明:位姿测量系统的最大测量误差不超过5%,采样时间为0.2 s,可满足绳系组合体等空间组合体的测量和控制要求。     

基于单目视觉和激光测距仪的位姿测量算法

基于单目手眼相机和激光测距仪,提出了一种尺寸未知的空间矩形平面的位姿测量算法.该算法不需要知道矩形平面的4个顶点的物体坐标,只需要知道它们的图像坐标、激光点的图像坐标和激光测距结果,就能够计算出尺寸未知空间矩形平面在相机坐标系下的位姿,并且计算出矩形平面的尺寸.通过建立单目手眼相机和激光测距仪的数学模型,对该算法进行了验证.实验结果表明,该算法是有效的,可以应用于机器人对空间物体的跟踪、定位以及抓取.     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。     

基于Delta并联机器人的传送带动态跟踪

Delta并联机器人是最典型的空间三自由度移动的并联机构,其在3C电子产品行业、食品包装行业、生物制药行业均得到了广泛的应用。主要以Delta并联机器人为研究对象,通过视觉系统定位物体的位姿,再结合传送带编码器的位置反馈信息,计算出物体在机器人坐标系下面的实时位姿。实验结果表明,机器人在位置模式下,通过改进后的PID算法,能预测传送带上物体的位姿,并实时调整自身移动速度和末端位姿来跟踪传送带上的物体,最终实现对目标的动态跟踪抓取。     

采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。     

基于区域点云的工件位姿计算方法

为了获取稳定可靠并具有代表性的特征点估计物体的位姿,根据实际工作环境采用背景差分法对图像上的物体进行图像位置粗限定,减少双目立体匹配所消耗的时间.对立体匹配获得的粗糙目标三维点云进行去噪优化处理,以获取可靠的物体三维点云集.根据点云的分布情况对目标物体进行三维的空间位置限定,获取独立物体的点云特征.通过区域点云密度分布...     

融合深度图像与密度聚类的下一最佳测量位姿确定方法

针对机器人视觉自动测量中的下一最佳测量位姿确定问题,提出一种融合深度图像与密度聚类方法.该方法采用结构光双目视觉测量技术获得初始视角下被测物体的深度图像和三维点云数据,基于深度图像信息快速获取被测物体的边缘与密度聚类分析区域,基于密度聚类方法判定区域的复杂程度,进一步结合视场要求计算子区域权重,获得下一视场的最佳移动方向.利用趋势面分析预测下一最佳测量位姿的空间范围,采用深度图像信息获得趋势面分析全局区域,并快速获得中心趋势线的空间数据以确定下一最佳测量位姿.建立了Universal Robot 5 (UR5)机器人和视觉测量平台,对胡巴和海盗头像模型进行测量实验,验证了所提方法的有效性.     

基于双高斯过程的协作机器人自适应策略

为适应目标物体位姿的变化,实现运动的平滑性,提出一种机器人自适应策略,在位姿适应和轨迹调整两个环节上各建立一个高斯过程模型。位姿适应的高斯过程通过线性协方差函数将观测变量和机器人关节变量关联,避免了视觉系统的校正和机器人运动学逆解;轨迹调整的高斯过程利用高斯核函数计算关节轨迹点之间的协方差,使调整后的机器人轨迹更加平滑。通过UR3机器人在有障碍物下的自适应抓取实验,证明了所提方法既能够适应目标物体的位姿变化,又能得到平滑的关节运动。     

基于双目视觉的目标识别与定位研究

针对机器人在作业时缺乏自主性与智能性的问题,对基于双目视觉的空间目标识别与定位问题进行了研究。搭建了双目立体视觉系统并对其进行了标定,获取了两相机的内外参数、相对位姿及畸变系数。采用基于描述子的模板匹配技术,通过随机树算法对检测到的特征点进行了准确实时地分类识别。对同一场景的两幅图像进行了立体匹配,求取了对应的视差图。结合特征点对应的视差值及标定结果对其进行了三维重建,对多组特征点对在图像及实际场景里对应的2D-3D位置信息进行了迭代,求取了重投影误差最小的解,即目标物体的位姿。研究结果表明:所采用的方法可以用于准确、快速、稳定地实现对目标的识别与定位。     

基于UKF的机器人末端执行器位姿实时估算方法

为了能在工业机器人运动过程中快速准确地估算出末端执行器的位姿,提出了一种基于unscented卡尔曼滤波器（UKF）的末端执行器位姿实时估算方法,并将该方法应用于以激光跟踪仪作为反馈系统的工业机器人中。首先,在工业机器人运动过程中实时获取各个关节运动参数,并结合工业机器人的结构参数计算末端执行器的位姿初值,然后借助于激光跟踪仪实时跟踪测量固定在机器人末端执行器上的一个测量点,运用UKF融合以上两类数据,估算出末端执行器的实时位姿。计算机仿真验证了该方法的有效性与实时性,同时表明该方法具有易于实现、计算速度快和精度高等优点。     

焊缝位姿及焊枪位姿的模型

针对机器人弧焊条件下的特殊要求,建立了焊缝位姿和焊枪位姿模型,以坐标系的形式定量描述焊缝及焊枪的位置和方向,确定了能够准确且严格地描述焊缝的焊接位置和焊枪姿态的参数：焊缝倾角、焊缝转角及焊枪工作角和行走角,并给出了计算方法。上述参数不但计算简便,而且可以直接代表焊接位置和焊枪姿态对焊接质量的影响因素。模型对于焊接工艺的建模与仿真以及机器人焊接的建模与离线编程具有非常重要的意义。     

在机测量线激光传感器安装位姿的全局标定

针对三轴数控机床激光测头安装位姿误差造成测量误差且不易调整和校准的问题,提出了一种在机测量线激光传感器安装位姿标定方法。建立了线激光在机测量系统的数学模型,通过机床运动带动线激光测头对标定基准点的空间位置进行测量,基于手眼标定原理给出了关于测头安装位姿参数的线性求解算法,完成了对测头安装误差的全局标定。考虑了机床定位误差对于标定结果精度的影响,采用蒙特卡洛模拟进行了误差分析。采用半径为35 mm的圆孔进行测量验证,实验结果表明,标定后圆孔测量误差为0.051 6 mm,测量精度提高了约96%,实验结果验证了该标定方法的有效性和可行性。     

激光测量标定机器人坐标系位姿变换的正交化解算

针对大型装备智能制造中的机器人在线位姿激光跟踪测量与实时引导需求,提出了一种机器人坐标系与激光测量坐标系标定转换和解算方法。设计了基于距离原则的机器人末端光学工具中心点TCP(Tool Center Point)位置标定算法。通过运用空间点坐标重心化配置算法和基于罗德里格矩阵变换的最小二乘优化算法解算出了具有单位正交性的位姿变换旋转矩阵。进行了机器人坐标系位姿变换激光测量标定和优化对比实验,旋转矩阵初值和正交优化值进行点坐标转换后的综合RMSE分别为0.579 0mm和0.501 5mm。结果表明该方法能够有效改进姿态旋转矩阵正交性,并提高位姿变换解算精度。     

基于大气偏振模式的三维姿态信息获取

现有的偏振光导航方法提供的二维方向信息不能满足导航的实际需求,因此,本文提出了一种利用大气偏振模式获取三维姿态信息的方法,选取太阳作为空间显著特征点,利用大气偏振模式信息计算出载体在两次不同状态下的太阳空间位置信息,通过建立姿态变换矩阵获得了载体的三维姿态信息。最后,对不同天气条件、不同太阳空间位置、不同波段以及天空被部分遮挡情况下太阳空间位置计算的误差分布情况进行了仿真分析和实际测量。实验结果显示,当天空有气溶胶粒子分布时,蓝色波段下的计算误差最小,方位角和高度角的误差分别为1.50°和2.10°;当观测视场中有树木遮挡时,方位角和高度角的平均误差分别为0.91°和1.97°,由此表明本文方法能够有效提取太阳的空间位置,获得载体的三维姿态信息,并满足实际导航的需求。     

基于改进RANSAC特征提取的掘进装备视觉定位方法研究

为解决煤矿井下低照度、高粉尘、多杂光环境中掘进装备位姿测量不易的问题,提出了一种基于改进随机抽样一致性(RANSAC)特征提取的掘进装备视觉定位方法。首先,对矿用防爆相机采集的三激光标靶图像进行预处理,分别建立形状模型与线框模型;其次,根据形状模型以坐标极值为椭圆模型初始点,将前后两次内点差值比值作为最优迭代次数,迭代求取椭圆模型最优参数获得点特征;然后,根据线框模型以像素坐标模为直线模型初始点,利用自适应条件阈值、抽样次数获得线特征;最后,将点线特征作为三点三线位姿解算模型输入,通过空间坐标变换求得掘进装备位姿信息。实验结果表明,在掘进装备距三激光标靶80 m范围内,所述视觉定位方法的相对误差为±45 mm,可基本满足煤矿井下掘进装备定位需求,为煤矿井下恶劣环境中掘进装备的位姿测量提供一种新的思路。     

一种基于椭圆特征确定空间平面位姿的方法

利用圆柱激光照射在空间平面上呈椭圆状特性,证明了此椭圆状光斑在左右摄像机CCD成像平面上所形成的图像也是椭圆。由最小二乘椭圆拟合法得到椭圆光斑的5个独立参数,并建立空间平面与椭圆参数之间的关系,采用SWIFT算法进行搜索求解,无需特征点匹配,即可确定空间平面的位姿。算例结果表明,该方法是有效可行的。     

近似度加权平均插值的机器人精度补偿方法研究

为实现物流包装的身份和受潮信息双重检测,设计了一种新型的低成本无芯片RFID湿度传感器,使用电耦合LC谐振器(ELC谐振器)作为湿度传感器监测目标环境相对湿度、U型环谐振器作为无芯片编码结构识别目标身份。通过射频仿真软件HFSS研究谐振器结构参数与谐振频率的关系,获得相应拟合公式,为结构参数设计提供理论依据,并在此基础上设计了8位编码结构;系统研究不同质量分数的聚乙烯醇(PVA)溶液对湿度传感器感湿灵敏度和感湿范围的影响,研制出8位无芯片RFID湿度传感器。根据散射参量提取法获得了U型环谐振器的有效电磁参数,表明其具有超材料属性。所研究的湿度传感器具有感湿灵敏度高、编码容量大、结构简单等优点,有望在智能包装领域得到应用。     

RESEARCH ON POLISHING PROCESS OF A SPECIAL POLISHING MACHINE TOOL

In this paper, a serial-parallel hybrid special polishing machine tool based on the elastic polishing theory is developed, which is used for polishing mould surface by using bound abrasives. This machine tool mostly consists of parallel mechanism of three-dimensional moving platform, series rotational mechanism of two degrees of freedom and elastic polishing tool device. The parallel mechanism controls the spatial position of the polishing tool. The series mechanism controls the pose of the polishing tool. The elastic polishing tool system can realize active control by a pneumatic servo system and passive conformity by a spring. The main process parameters that have influence on surface roughness and polishing efficiency are tool speed, feed rate, force, pose angle and polishing number of times. Optimal combination of process parameters is presented by the Taguchi and grey relational analysis, which provide a choice of parameters as a basis for free-form surface polishing in practice.     

带激光源的双目立体视觉机构设计

提出了基于激光标记的双目立体视觉测量的原理,通过激光标记解决目标物体上同一点在两幅CCD图像上对应点的快速匹配问题,从而方便地求取目标物体的深度信息。基于这种原理设计了一种四自由度的视觉机构,分别模拟人的脖子和眼睛的运动,保证摄像机完成对目标物体的捕捉。