基于手眼视觉的两种目标位姿测量法仿真分析

空间机器人手眼视觉系统利用合作目标物体上的合作特征点对目标物体进行位姿估计,以完成跟踪捕捉任务。针对空间机器人实时性的要求,给出了两种实时性较好的4个特征点的位姿测量算法,并且在相同仿真环境下对两种P4P位姿算法进行了分析比较。仿真结果表明:四面体体积测量的位姿测量算法对特征点的像点量化误差更加敏感,位姿测量结果偏差较大;坐标变换的位姿测量算法稳定,精度较高。后者在实际应用中,可以达到更高的精度。     

基于双目视觉导航的仿生机器人鲁棒控制算法

仿生机器人在定姿过程中受到空间扰动因素的影响容易产生控制误差,需要对机器人进行精确标定,提高仿生机器人的定位控制精度,因此提出一种基于双目视觉导航的仿生机器人鲁棒控制算法。利用光学CCD双目视觉动态跟踪系统进行仿生机器人的末端位姿参量测量,建立被控对象的运动学模型;以机器人的转动关节的6自由度参量为控制约束参量,建立机器人的分层子维空间运动规划模型;采用双目视觉跟踪方法实现仿生机器人的位姿自适应修正,实现鲁棒性控制。仿真结果表明,采用该方法进行仿生机器人控制的姿态定位时对机器人末端位姿参量的拟合误差较低,动态跟踪性能较好。     

基于视觉伺服的工业机器人位姿跟踪方法

目前，工业机器人工作大多是基于先精确示教后运行的，工作效率较低，因此采用视觉提高机器人的智能水平，以实现对目标物体的自动检测和定位抓取，具有重要的现实意义和研究价值。文章以机器人视觉伺服为研究对象，利用视觉伺服使机器人末端跟踪标定板的位姿，包括摄像机标定、机器人手眼标定、机器人控制，可为机械臂的定位抓取提供帮助。     

基于人机交互的机械臂位姿自动监视系统设计

为了提高机械臂位姿自动监视和控制能力,提出一种基于人机交互的机械臂位姿自动监视系统设计方法,系统设计包括机械臂的位姿自动控制算法设计和系统硬件设计两部分,采用粒子滤波位姿跟踪方法进行机械臂的动态定位位姿参数信息采集和融合处理,在动态和静态环境下,结合加速全局定位方法进行机械臂位姿自动监视的人机交互设计,构建机械臂人机交互的动态定位控制模型,采用自适应位姿跟踪方法实现对机械臂的位姿自动监视,通过捕捉未知目标的质量特性参数,实现机械臂的位姿自动监视和人机交互设计。通过DSP和嵌入式ARM实现对机械臂位姿自动监视系统的硬件设计。测试结果表明,采用该方法进行机械臂位姿自动监视的自动化水平较高,智能性较好,提高了机械臂的位姿自动监视和控制能力。     

基于模糊滑模的六足蛇形臂机器人的末端位姿控制

针对六足蛇形臂机器人的超关节极限和位形偏移量大、末端位姿的控制稳定性不好的问题,提出一种基于模糊滑模的六足蛇形臂机器人的末端位姿控制算法。在超冗余运动学逆解空间中建立蛇形臂机器人的运动学模型,采用修正的DH参数法进行六足蛇形臂机器人的末端位姿参数调节和融合处理,建立蛇形臂机器人的末端位姿力学控制模型,在末端跟随运动中采用外环滑模导纳控制方法进行末端位姿的自适应参数调节,采用滑模误差反馈调节方法确定六足蛇形臂机器人的末端位姿,实现六足蛇形臂机器人准确的姿态定位和参量解算,提高控制稳定性。仿真结果表明:采用该算法进行六足蛇形臂机器人的末端位姿控制的姿态校正性能较好,蛇形臂关节的空间位姿自适应调整能力较强,跟随运动准确,具有很好的位姿控制稳定性。     

视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度. 实验用Matlab软件对位姿检测进行仿真分析, 其包括SURF不变特征点的目标检测实验和位姿解算实验, 最后用Rethink双臂机器人的右臂对手机进行抓取验证. 实验表明, 在误差允许范围内, 提出的算法具有一定的有效性, 其结果为伺服机械臂抓取手机提供良好的准确性.     

基于立体视觉的串联机器人跟踪检测系统

建立一种六自由度串联机器人视觉跟踪检测系统框架,包括图像采集、摄像机标定、机器臂跟踪检测、机器臂位姿建模与计算等。提出利用CamShift算法对机器人进行在线粗跟踪,搜寻和画定出机器臂操作器在当前窗口的区域位置。对跟踪到的机器臂按照SURF算法进行特征提取与立体匹配。该方法被用于对串联机器人位姿检测进行实验。实验结果表明,2种算法的结合适用于六自由度串联机器人在空间复杂运动的跟踪检测。     

基于双目视差和主动轮廓的机器人手眼协调控制技术研究

提出一种基于双目视差和主动轮廓的机器人手眼协调技术;该方法利用主动轮廓的思想动态地逼近和跟踪机器人及目标物体的外部轮廓,通过控制双目视差趋零来实现机器人靠近目标和抓取物体.首先建立了机器人手指轮廓的几何参数模型和相应的观测概率密度模型,利用CONDENSATION算法对轮廓进行动态逼近和跟踪.然后针对动态轮廓的几何特征,探讨了基于双目视差的手眼协调控制策略.最后利用这种手眼协调控制技术进行了机器人抓取圆球目标的实验.实验表明,这种方法具有对图像噪声不敏感的特点,可以在杂乱的背景环境和复杂的纹理条件下执行视觉引导的跟踪和抓取任务,具有较强的鲁棒性.     

一种视觉引导的作业型飞行机器人设计

针对作业型飞行机器人执行抓取、投放等作业任务时飞行机器人与被抓取目标之间难以相对定位的问题,提出了一种视觉引导的作业型飞行机器人设计方法.首先,介绍作业型飞行机器人系统的整体机构设计,建立飞行器和空中作业装置的运动学和动力学模型.然后,根据针孔成像模型,在ArUco标记尺寸已知的前提下,通过机载的单目摄像头检测被抓目标上的ArUco标记,利用n点透视(PnP)算法解算摄像头位姿,进而利用摄像头位姿信息对飞行器和作业装置进行分级控制.最后,通过静止实验和户外悬停实验验证了位姿估计算法的有效性,并通过自主抓取直径2 cm、质量100 g的管状物体进一步验证视觉引导的有效性和合理性.     

基于单目视觉的多种群粒子群机械臂路径规划算法

针对复杂静态背景下具有多约束条件的机械臂路径规划问题,提出一种新的基于单目视觉的多种群粒子群算法。首先,使用图像差分算法消除背景,再利用轮廓包围法找出目标物体区域,然后使用模型位姿估计法求出目标物体位置。其次,提出一种多种群粒子群算法,根据目标物体位置演化出机械臂最优角度。该算法将精英种群与子种群组成多种群粒子群,使用预选择与交互机制使算法跳出局部最优。仿真结果表明,与实际坐标对比,使用背景消除法后求出的物体位置坐标误差较小。将多种群粒子群优化算法与现有的一流演化算法对比,结果表明对不同位置的物体,该算法获得的路径平均自适应度与均方误差（MSE）最小。     

利用平面单应分解实现服务机器人视觉伺服

智能空间中家庭服务机器人所需完成的主要任务是协助人完成物品的搜寻、定位与传递。而视觉伺服则是完成上述任务的有效手段。搭建了由移动机器人、机械臂、摄像头组成的家庭服务机器人视觉伺服系统,建立了此系统的运动学模型并对安装在机械臂末端执行器上的视觉系统进行了内外参数标定,通过分解世界平面的单应来获取目标物品的位姿参数,利用所获取的位姿参数设计了基于位置的视觉伺服控制律。实验结果表明,使用平面单应分解方法来设计控制律可简单有效地完成家庭物品的视觉伺服任务。     

基于图优化的移动机器人视觉SLAM

针对目前移动机器人视觉SLAM（simultaneous localization and mapping）研究中存在的实时性差、精确度不高、无法稠密化建图等问题,提出了一种基于RGB-D数据的实时 SLAM算法。在本算法前端处理中,采用了鲁棒性与实时性更好的ORB特征检测。利用 RANSAC 算法对可能存在的误匹配点进行剔除完成初始匹配,对所得内点进行PNP求解,用于机器人相邻位姿的增量估计。在后端优化中,设计了一种遵循图优化思想的非线性优化方法对移动机器人位姿进行优化。同时结合闭环检测机制,提出了一种点云优化算法,用于抑制系统的累积误差,进一步提升位姿与点云的精确性。实验验证了本文所提方法能够迅速、准确地重构出稠密化的三维环境模型。     

基于点云匹配的AR饰面作业系统跟踪注册方法

针对建筑机器人饰面作业过程中常因视觉遮挡导致作业效率低的问题,使用增强现实解决遮挡并提出一种基于点云匹配的增强现实跟踪注册方法。利用目标模型点云与作业环境点云的匹配进行目标的初始定位;利用改进的相关滤波跟踪算法对目标进行跟踪获取目标位置;基于迭代最近点法对目标位姿进行估计。在跟踪注册过程中加入位姿优化,保证目标位姿估计精度。为了更加准确地跟踪目标位置,提出一种特征融合和尺度自适应的改进相关滤波目标跟踪算法。通过板材安装实验,表明跟踪注册方法精确性、实时性均较好,最小识别误差达到2.88 mm,具有良好的虚实融合效果。     

Visual Homing: Surfing on the Epipoles

We introduce a novel method for visual homing. Using this method a robot can be sent to desired positions and orientations in 3D space specified by single images taken from these positions. Our method is based on recovering the epipolar geometry relating the current image taken by the robot and the target image. Using the epipolar geometry, most of the parameters which specify the differences in position and orientation of the camera between the two images are recovered. However, since not all of the parameters can be recovered from two images, we have developed specific methods to bypass these missing parameters and resolve the ambiguities that exist. We present two homing algorithms for two standard projection models, weak and full perspective.Our method determines the path of the robot on-line, the starting position of the robot is relatively not constrained, and a 3D model of the environment is not required. The method is almost entirely memoryless, in the sense that at every step the path to the target position is determined independently of the previous path taken by the robot. Because of this property the robot may be able, while moving toward the target, to perform auxiliary tasks or to avoid obstacles, without this impairing its ability to eventually reach the target position. We have performed simulations and real experiments which demonstrate the robustness of the method and that the algorithms always converge to the target pose.     

面向竞争型网络机器人的运动目标快速检测

搭建了基于高速视觉的竞争型网络机器人系统.通过对比选取并融合了多种识别方法,设计了一套面向竞争型网络机器人的目标快速识别跟踪算法.采用动态窗口技术,并通过对不同传统方法的改进,进一步提高了该算法的实时性.本文方法能够在较复杂的背景下跟踪运动的目标机器人,具有较小的运算量及较好的鲁棒性.实验结果表明,该算法处理640×4...     

纯方位角目标跟踪及移动平台可观性控制方法

为了解决未知环境下的单目视觉移动机器人目标跟踪问题,提出了一种将目标状态估计与机器人可观性控制相结合的机器人同时定位、地图构建与目标跟踪方法。在状态估计方面,以机器人单目视觉同时定位与地图构建为基础,设计了扩展式卡尔曼滤波框架下的目标跟踪算法;在机器人可观性控制方面,设计了基于目标协方差阵更新最大化的优化控制方法。该方法能够实现机器人在单目视觉条件下对自身状态、环境状态、目标状态的同步估计以及目标跟随。仿真和原型样机实验验证了目标状态估计和机器人控制之间的耦合关系,证明了方法的准确性和有效性,结果表明:机器人将产生螺旋状机动运动轨迹,同时,目标跟踪和机器人定位精度与机器人机动能力成正比例关系。     

Particle filters and occlusion handling for rigid 2D–3D pose tracking

In this paper, we address the problem of 2D–3D pose estimation. Specifically, we propose an approach to jointly track a rigid object in a 2D image sequence and to estimate its pose (position and orientation) in 3D space. We revisit a joint 2D segmentation/3D pose estimation technique, and then extend the framework by incorporating a particle filter to robustly track the object in a challenging environment, and by developing an occlusion detection and handling scheme to continuously track the object in the presence of occlusions. In particular, we focus on partial occlusions that prevent the tracker from extracting an exact region properties of the object, which plays a pivotal role for region-based tracking methods in maintaining the track. To this end, a dynamical choice of how to invoke the objective functional is performed online based on the degree of dependencies between predictions and measurements of the system in accordance with the degree of occlusion and the variation of the object’s pose. This scheme provides the robustness to deal with occlusions of an obstacle with different statistical properties from that of the object of interest. Experimental results demonstrate the practical applicability and robustness of the proposed method in several challenging scenarios.     

Adaptive end-effector pose control for tomato harvesting robots

This paper investigates the development of a tomato-harvesting robot operating on a plant factory and primarily studies the reachable pose of tomatoes in the nondexterous workspace of manipulator. The end-effector can only reach the tomatoes with reachable poses when the tomatoes are within the nondexterous workspace. If the grasping pose is not reachable, it will lead to grasping failure. An adaptive end-effector pose control method based on a genetic algorithm (GA) is proposed to find a reachable pose. The inverse kinematic solution based on analysis method of the manipulator is analyzed and the objective function of whether the manipulator has a solution or not is obtained. The grasping pose is set as an individual owing to the position of the tomatoes is fixed and the grasping pose is variable. The GA is used to solve until a pose that can make the inverse kinematics have a solution is generated. This pose is the reachable grasping pose of the tomato at this position. The quintic interpolation polynomial is used to plan the trajectory to avoid damage to tomatoes owing to fast approaching speed and a distance based background filtering method is proposed. Experiments were performed to verify the effectiveness of the proposed method. The radius of the workspace of the UR3e manipulator with the end-effector increased from 550 to 800 mm and the grasping range expanded by 208%. The harvesting success rate using the adaptive end-effector pose control method and trajectory planning method was 88%. The cycle of harvesting a tomato was 20 s. The experimental results indicated that the proposed tomato-recognition and end-effector pose control method are feasible and effective.     

基于人脸识别与光流追踪的移动机器人视觉导航方法

针对移动机器人视觉导航中跟踪目标丢失的问题,提出了基于人脸识别与稀疏光流算法(KLT)结合的移动机器人视觉导航方法(FR-KLT视觉导航方法)。采用OpenCV库中的Haar特征提取人脸识别算法实时检测识别目标人脸,通过Harris角点检测获取目标人体特征点,对目标人体进行精准定位;KLT光流追踪法测算目标移动趋势,并预测目标下一刻大致位置。目标人体位置变动时移动机器人对目标进行实时追踪导航。通过Pioneer-LX机器人在真实环境下试验,验证了该方法准确识别并跟踪目标的实时性和有效性。