遥操作工程机器人的双目视觉定位方法研究

针对遥操作工程机器人视频图像传输时延问题,建立了遥操作工程机器人的双目视觉定位系统,提出一种极线约束法与形态学向量夹角相结合的组合匹配方法对目标物进行立体匹配。该系统通过创建目标物模板,利用此模板识别经立体校正后的图像对上的目标物,并获取特征点,然后采用提出的组合匹配方法对特征点进行立体匹配,并对其三维重建,实现目标物的空间定位。实验表明,该方法匹配计算量小,定位效率高,定位精度满足工程作业要求,可为遥操作工程机器人的视觉提示系统设计提供技术参考。     

遥操作工程机器人双目视觉定位

针对遥操作工程机器人的视觉定位问题,提出一种基于神经网络的双目立体视觉定位方法。利用工程机器人特征点的二维图像坐标和三维世界坐标建立成像系统的神经网络模型,据此在线获取机器人的位置信息。该方法不需要求出摄像机的内外参数,同时无需考虑镜头的畸变和两相机的相对位置关系,而是隐含在神经网络中,这将简化定位计算的复杂性。实验表明,该方法简单有效,定位精度满足工程要求,可为网络环境下遥操作工程机器人的位置反馈控制提供技术参考。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

柔性装夹机器人工件视觉定位系统设计

针对智能制造平台的需要,建立了基于双目立体视觉的柔性装夹机器人工件定位系统。采用GrabCut算法对采集图像进行图像分割获得目标工件图像;进一步基于SURF特征和极限约束实现工件立体匹配;最后基于视差测距法算法求取目标工件的三维坐标,实现工件的定位。定位误差实验结果表明,定位平均误差为0.276mm,能满足柔性装卸机器人对目标工件的抓取要求。     

针对狭窄空间作业的机器人动态视觉系统研究

为应对配网狭窄作业空间内视场遮挡对作业机器人环境感知和定位功能的影响,这里研究了基于遥操作和虚拟/增强现实(VR/AR)技术的高临场感动态视觉感知与定位系统.受人体仅通过弯曲身体就可对物体多角度观测的启发,设计搭建了包含VR头戴设备、六自由度机器人和双目相机的动态视觉感知系统,提出了针对该系统的异构型主从遥操作逆运动学模型,并建立了观测目标绝对位置粗定位模型.试验表明,这里建立的动态视觉系统具有较高临场感,双目相机对VR设备的位置跟踪平均误差≤1.7mm,姿态跟踪平均误差＜2.36°;另一方面,系统在5个不同角度下对一个距离1.1米的红色固定小球球心的空间定位偏差≤1％,能为操控人员提供较精确较高的目标粗定位信息.     

基于视触融合的遥操作机器人虚拟环境几何学建模修正方法

为了提高遥操作机器人虚拟环境几何学建模的精度,提出了一种基于视触融合的遥操作机器人虚拟环境几何学建模修正方法。首先基于视觉信息通过点云采集和预处理、粗细配准相结合的点云配准、表面重建、位姿测量实现了目标物的几何学建模;之后针对遥操作机器人的应用背景,设计了局部半自主和多指协同相结合的灵巧手控制方式,完成了目标物触觉点云的采集;最后采用视触融合的方法,使用KDtree将视觉点云和触觉点云进行融合,并利用视触融合点云对几何学模型进行修正。通过实验证明该方法对不同材质目标物的几何学建模的几何尺寸误差小于3.6 mm、定位误差小于6.8 mm、姿态角测量误差小于4.3°,且效果均优于基于视觉信息的几何学模型和基于触觉信息的几何学模型。该方法构建的几何学模型既包括了目标物的颜色信息,又提高了几何学模型的精度,且在模型细节处表现良好,有效结合了视觉和触觉两种模态信息的优点。     

双目视觉伺服的4-DOF机械手臂运动控制

为了解决多自由度机械手臂由于目标放置偏离而引起的抓取任务失败问题,给出了一种基于双目立体视觉的目标识别与定位控制方法。以抓取矩形轮廓的目标物体放置于矩形目标位置为控制任务,基于双目视觉目标图像信息,分析了目标特征参数提取、识别、匹配以及目标空间位姿测量的方法。结合四自由度(4-DOF)机械手臂硬件控制系统,运用改进D-H参数法建立了机械手臂正运动学模型,并通过逆运动学方法将目标位姿转化为机械手臂的控制指令,实现对目标抓取和放置的运动控制。实验结果表明,该视觉伺服的机械手臂运动控制系统能够准确、稳定地实现抓取和放置任务,定位精度高,对工业机器人在分拣、装配中的运动控制研究和应用有重要的参考价值。     

基于计算机视觉的排爆机器人半智能作业模式

为提高排爆机器人的智能性和易操作性,提出了排爆机器人的两种半智能作业模式:基于计算机视觉的目标物自动抓取模式和联动操作模式.在基于视觉的目标物自动抓取模式中,操作者只需在传回的现场图像中标出目标物,机械手臂就能自动抓取;在联动操作模式中,操作者能对机械手臂进行"整体"的联动控制,控制机械手臂的手爪的各个方向运动,很方便地抓取目标物。抓取实验表明,这能提高机器人的智能性和易操作性,及作业的抓取精度.最后,对误差的各种原因进行了分析。     

带双目视觉的全向移动物流机器人设计与实现

为提升物流机器人的灵活性和智能化水平,将全向移动平台、物料抓取机器人、双目视觉识别等技术进行集成应用研究。分析了机器人的结构布局和运动学模型,完成了机械臂的机构原理设计,结合计算机应用视觉识别算法,选择具体的检测方法完成识别对象的角点、边缘及轮廓检测,实现对象的图像处理。通过双目相机成像模型实现坐标系之间的转换,达到定位目标物品的目的。最后,完成了物理样机的开发和实地操作的实验验证。实验结果表明,该系统可以有效地完成物品识别、抓取和搬运工作。     

基于双目视觉的六自由度仿人手抓取目标定位研究

为了使仿人手能对抓取目标物体进行识别和定位,提出一种基于双目视觉的仿人手抓取定位方法。采用改进的D-H方法对假肢手臂进行建模,采用几何法和解析法相结合的方法对六自由度假肢手臂进行逆运动学求解,并采用基于灰度相关的模板匹配算法提取出目标,最后根据双目视觉原理计算出目标位置的空间坐标,并控制假肢手臂对目标物体进行抓取。实验结果表明,假肢手臂能够有效完成对目标物体的识别和抓取动作。