机械臂视觉伺服控制系统的设计

针对传统机械臂无法更好的适应外部坏境的变化,提出了基于双目视觉的机械臂伺服控制系统的设计。首先用D-H建模法对机械臂进行运动学分析以及运动学求解,然后利用数字图像处理技术,基于SURF特征完成目标物体的识别以及双目立体视觉的测量,从而为机械臂的动作提供目标物体在空间中的坐标。最后,对目标测距的精度进行了结果验证,并完成抓取动作。     

空间机械臂操控技术研究综述

考虑到空间机械臂在执行在轨维修、在轨组装、在轨加注等复杂危险的空间任务时,其精准、灵巧的操控技术的重要性,从不同类型空间机械臂构形、末端执行器出发,分析了空间机械臂的发展趋势。综述了空间机械臂操控过程中涉及的5项关键技术,包括：交会对接与捕获技术、自主规划与智能控制技术、传感与感知技术、智能协同与操控技术及系统安全保障技术。最后,就现有的空间机械臂在操控过程中面临的问题,提出未来的发展方向及展望。     

一种拟人空间机械臂视觉伺服图像处理研究

针对四自由度串并混联拟人空间机械臂本体,构建了基于运动控制卡模式的机器人软件和硬件系统。采用基于位置的控制结构,利用所求得的机械臂逆运动学方程,设计了由图像反馈和末端运动组成的视觉伺服控制系统。提出了一种基于SURF特征的静态目标识别算法,算法首先对目标图像提取SURF特征,并利用欧氏距离实现模板图像与目标图像特征点匹配,然后计算已匹配特征点的质心来获得目标的位置信息,最终实现了稳定的伺服定位。实验结果证明了系统的可靠性,并且证明了四自由度串并混联机械臂本体在实际运动的精确性和稳定性。     

基于任务空间的无标定视觉机械臂自适应跟踪控制

针对动力学参数不确定的无标定视觉机械臂系统,研究基于任务空间的自适应控制问题。对于控制器的设计,首先研究机械臂动力学参数不确定情况下基于任务空间的控制问题,然后设计自适应摄像机标定控制器,最后根据任务空间信息和图像空间信息的一致收敛关系统一两部分控制器,设计整个闭环系统控制信号和自适应控制律。实验结果表明了所提出的控制方法的有效性。     

基于分层运动分解的飞行机械臂视觉伺服控制

飞行机械臂系统具有主动作业能力, 通过搭载视觉传感器感知周围环境, 系统的自主能力将进一步提高.然而, 考虑到无人机的欠驱动和整个系统的非线性特性, 飞行机械臂系统的视觉伺服控制仍然是一项具有挑战性的工作. 本文在充分考虑机械臂对无人机的力/力矩作用后, 提出了一种基于分层运动分解的飞行机械臂视觉伺服控制方案. 首先, 对飞行机械臂系统的运动学和动力学模型进行分析. 然后, 根据所得的相机运动学模型, 通过基于图像的视觉伺服控制获得相机的期望速度, 进而制定无人机和机械臂的速度分配策略. 在考虑机械臂运动时对无人机产生的力/力矩影响, 设计了底层的飞行控制器. 最后, 在与现有方法的仿真对比中可以看出, 所提方法具有良好的控制性能, 对图像特征点位置的不确定性及图像噪声也表现了较好的鲁棒性     

视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度....     

旋翼飞行机械臂系统的混合视觉伺服控制

旋翼飞行机械臂是一种具有强耦合特性的机器人系统,借助视觉进行自主作业还存在诸多问题,如实时深度估计、目标极易丢失以及目标笛卡尔空间模型重建等.本文针对传统的基于图像与基于位置的视觉伺服的缺陷以及系统自身欠驱动等问题,建立了运动学模型和提出了基于力平衡原理的动力学联合建模,并通过欧几里得单应性矩阵分解设计出旋翼飞行机械臂系统的混合视觉伺服控制方法,在图像空间控制平移、笛卡尔空间控制旋转,减弱了平移与旋转之间的相互影响实现解耦效果,改善了系统对非结构因素的抗扰性能和全局稳定性.通过仿真和实验检验了系统鲁棒性和算法优越性.     

基于位置的机械臂视觉伺服预测控制

基于位置的机械臂视觉伺服控制需要解决位姿估计和目标跟踪控制问题.为了克服机械臂运动过程中的运动空间约束,提出了基于滚动时域估计(MHE)的机械臂位姿估计方法.在位姿估计的基础上,利用对偶梯度上升方法以及拉格朗日乘子处理具有控制输入约束的优化问题,并给出了基于迭代线性二次调节(iLQR)的视觉伺服预测控制器设计方法.进一步,采用极点配置方法设计了扩张状态观测器(ESO)用于解决估计误差和线性化误差引起的扰动问题.进而,给出了保证闭环系统稳定的充分条件.最后,通过仿真对比验证了本文所提算法的有效性和优越性.     

基于机器视觉的多机械臂煤矸石分拣机器人系统研究

现有煤矸石分拣方法主要是根据煤和岩石的纹理特征值,利用图像处理和模式识别技术对煤矸石进行识别分选,分选的煤矸石粒度为25～150mm,而对于150mm以上的煤矸石仍依靠人工进行分选。为了对大粒度煤矸石进行分拣,设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统采用机器视觉采集煤矸石信息,应用深度学习方法实现煤矸石识别和抓取特征提取;在获取煤矸石序列信息后,根据煤矸石位置进行排序工作,并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器;机械臂获取任务后,根据获得的任务对目标进行动态监测,当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。试验结果表明,该系统可对粒度为50～260mm的煤矸石进行高效、快速分拣,所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性,煤矸识别与定位的综合准确率可达93%,验证了该系统的可行性。     

软体机械臂水下自适应鲁棒视觉伺服

水下仿生软体机器人在水底环境勘测, 水下生物观测等方面具有极高的应用价值. 为进一步提升仿章鱼臂软体机器人在特殊水下环境中控制效果, 提出一种自适应鲁棒视觉伺服控制方法, 实现其在干扰无标定环境中的高精度镇定控制. 基于水底动力学模型, 设计保证动力学稳定的控制器; 针对柔性材料离线标定过程繁琐、成本高, 提出材料参数自适应估计算法; 针对水下特殊工作条件, 设计自适应鲁棒视觉伺服控制器, 实现折射效应的在线补偿, 并通过自适应未知环境干扰上界, 避免先验环境信息的求解. 所提算法在软体机器人样机中验证其镇定控制性能, 为仿生软体机器人的实际应用提供理论基础.     

机器人视觉伺服系统的研究

机器人伺觉伺服系统及到多学科内容。针对机器人视觉伺服系统主要的三方面内容;系统的结构方式,图象处理,控制方法,介绍了该领域的研究现状及所取得的成就。最后分析了今后的发展趋势。     

基于图像视觉伺服的二维运动优化控制

基于图像的视觉伺服方法,图像的变化直接解释为摄像机的运动,而不是直接对机械手末端实现笛卡尔速度控制,导致机械手的运动轨迹迂回,产生摄像机回退现象.针对这一问题,提出了将旋转和平移分离并先实现旋转的视觉伺服方案.该方案计算量小,系统响应时间短,解决了图像旋转和平移间的干扰,克服了传统基于图像视觉伺服产生的摄像机回退现象,实现了时间和路径的最优控制.并用传统IBVS的控制律和摄像机成像模型解释了回退现象的产生原因.二维运动仿真说明了提出方案的有效性.     

Model Predictive Control for Constrained Image‐Based Visual Servoing in Uncalibrated Environments

This paper presents a novel approach for image‐based visual servoing (IBVS) of a robotic system by considering the constraints in the case when the camera intrinsic and extrinsic parameters are uncalibrated and the position parameters of the features in 3‐D space are unknown. Based on the model predictive control method, the robotic system's input and output constraints, such as visibility constraints and actuators limitations, can be explicitly taken into account. Most of the constrained IBVS controllers use the traditional image Jacobian matrix, the proposed IBVS scheme is developed by using the depth‐independent interaction matrix. The unknown parameters can appear linearly in the prediction model and they can be estimated by the identification algorithm effectively. In addition, the model predictive control determines the optimal control input and updates the estimated parameters together with the prediction model. The proposed approach can simultaneously handle system constraints, unknown camera parameters and depth parameters. Both the visual positioning and tracking tasks can be achieved desired performances. Simulation results based on a 2‐DOF planar robot manipulator for both the eye‐in‐hand and eye‐to‐hand camera configurations are used to demonstrate the effectiveness of the proposed method.     

Shape Morphing-Based Control of Robotic Visual Servoing

We present an approach for controlling robotic interactions with objects, using synthetic images generated by morphing shapes. In particular, we attempt the problem of positioning an eye-in-hand robotic system with respect to objects in the workspace for grasping and manipulation. In our formulation, the grasp position (and consequently the approach trajectory of the manipulator), varies with each object. The proposed solution to the problem consists of two parts. First, based on a model-based object recognition framework, images of the objects taken at the desired grasp pose are stored in a database. The recognition and identification of the grasp position for an unknown input object (selected from the family of recognizable objects) occurs by morphing its contour to the templates in the database and using the virtual energy spent during the morph as a dissimilarity measure. In the second step, the images synthesized during the morph are used to guide the eye-in-hand system and execute the grasp. The proposed method requires minimal calibration of the system. Furthermore, it conjoins techniques from shape recognition, computer graphics, and vision-based robot control in a unified engineering amework. Potential applications range from recognition and positioning with respect to partially-occluded or deformable objects to planning robotic grasping based on human demonstration.     

一种基于混合视觉伺服的切换控制方法

为解决目标远离摄像机视野问题,本文提出了一种基于混合视觉伺服的切换控制方法,根据目标在图像平面的位置,通过在两种具有不同特性的控制策略之间进行切换完成视觉伺服任务.采用的混合视觉伺服方法实现了平动和转动自由度的解耦,当目标位于图像平面中心区域时,采用控制策略使转动自由度误差指数级减小;当目标位于边界区域时,切换到另一种控制策略,使目标重新回到中心区域,通过切换控制最终完成伺服任务.仿真实验验证了提出的基于混合视觉伺服切换控制方法的有效性.     

Visual Object Tracking and Servoing Control of a Nano-Scale Quadrotor: System,Algorithms, and Experiments

There are two main trends in the development of unmanned aerial vehicle(UAV)technologies:miniaturization and intellectualization,in which realizing object tracking capabilities for a nano-scale UAV is one of the most challenging problems.In this paper,we present a visual object tracking and servoing control system utilizing a tailor-made 38 g nano-scale quadrotor.A lightweight visual module is integrated to enable object tracking capabilities,and a micro positioning deck is mounted to provide accurate pose estimation.In order to be robust against object appearance variations,a novel object tracking algorithm,denoted by RMCTer,is proposed,which integrates a powerful short-term tracking module and an efficient long-term processing module.In particular,the long-term processing module can provide additional object information and modify the short-term tracking model in a timely manner.Furthermore,a positionbased visual servoing control method is proposed for the quadrotor,where an adaptive tracking controller is designed by leveraging backstepping and adaptive techniques.Stable and accurate object tracking is achieved even under disturbances.Experimental results are presented to demonstrate the high accuracy and stability of the whole tracking system.     

空间机器人非合作航天器在轨服务研究进展

随着空间机器人和交会对接等技术的不断成熟,在轨服务将成为各种航天器寿命延长、能力升级以及轨道垃圾清理的重要手段.目前在轨的航天器、太空碎片等都是非合作目标,即没有安装用于测量的合作标志器和便于抓捕的手柄等,对此类非合作航天器的在轨服务己成为近年来研究的热点.本文首先分析了空间机器人非合作航天器在轨服务的任务特点,介绍了其应用前景;然后对主要航天大国的发展现状进行了综述,归纳了非合作在轨服务的关键技术;最后,对未来的发展趋势进行了展望.     

基于自适应动态规划的移动机器人视觉伺服跟踪控制

针对移动机器人视觉伺服跟踪控制问题, 提出一种基于自适应动态规划(Adaptive dynamic programming, ADP) 的控制方法. 通过移动机器人上的相机拍摄共面特征点的当前图像、期望图像以及参考图像, 利用单应性技术得到移动机器人当前的位姿信息与期望的位姿信息(即平移量与旋转角度), 从而通过当前与期望的平移旋转之间差值得到系统的开环误差模型. 进而, 针对此系统设计最优控制器, 同时做合适的控制输入变换. 在此基础上设计一个基于ADP的视觉伺服控制方法以保证移动机器人完成轨迹跟踪任务. 为求出最优控制输入, 采用一个评价神经网络近似值函数, 通过不断学习逼近哈密顿−雅可比−贝尔曼(Hamilton-Jacobi-Bellman, HJB)方程的解. 与以往不同的是, 由于系统存在时变项, 导致HJB方程也含有时变项, 因此需要设计具有时变权值结构的神经网络近似值函数. 最终证明在所设计的控制方法作用下, 闭环系统是一致最终有界的.