软体机器人手眼视觉/形状混合控制

当末端带有相机的连续型软体机器人进行作业时,由于避障、安全性等多方面因素,既需要末端相机－机器人系统的视觉伺服,也需要机器人的整体形状控制．针对这个问题,本文提出了一种软体机器人手眼视觉/形状混合控制方法．该方法无需知道空间特征点的3维坐标,只需给定特征点在末端相机像平面的期望像素坐标和软体机器人的期望形状就可达到控制目的．建立了软体机器人的运动学模型,利用该模型,结合深度无关交互矩阵自适应手眼视觉控制和软体机器人形状控制,提出了一种混合控制律,并用李亚普诺夫稳定性理论对该控制律进行证明．仿真和实验的结果均表明,末端相机特征点像素坐标和形状可以收敛到期望值．     

基于线特征与内区域特征的视觉伺服解耦控制

针对多自由度机械臂快速趋近任意四边形态目标的视觉伺服控制难题，提出了结合线特征与内区域特征的机器人视觉伺服解耦控制方法.构建了目标内区域特征以指导相机的平移运动速率，利用目标的线特征给出相机的旋转角速率，并通过引入内区域特征的矢量补偿和质心坐标的位置补偿，实现了平移和旋转控制的部分解耦.最后，对机器人视觉伺服控制系统进行了稳定性分析.仿真验证结果表明所提方法能控制相机以较快而平滑的动作收敛到期望位姿，且在相机光轴与目标平面近似垂直的条件下能较好地克服深度估计造成的不确定性问题.     

焊接机器人曲线焊缝的自动跟踪控制

为实现焊接机器人对曲线焊缝的自动跟踪,提出一种简便的位姿实时调整策略和协调视觉跟踪与机器人运动的视觉伺服控制方法。建立了曲线焊缝视觉跟踪过程中焊接机器人期望位姿的数学模型;设计了一种上下层结构的模糊视觉伺服控制器,通过建立焊缝特征点像素坐标偏差与末端轴旋转角度之间的关系模型,动态确定模糊论域的大小,在机器人期望位姿的基础上仅仅通过调整末端轴的旋转量来保证图像特征点始终存在于相机视场内。通过模拟焊接机器人自动跟踪曲线焊缝的实验,验证了所提策略与方法的有效性。     

基于多传感器的大口径器件自动对准策略

针对大口径器件的装配, 基于搭建的实验平台, 提出了一种多传感器反馈的分阶段自动对准策略, 实现了大口径器件的六自由度位姿对准. 对准过程中, 在机器人末端远离装配位置时, 采用视觉测量安装框架的相对位姿进行粗对准; 在机器人末端接近装配位置时, 由于安装框架尺寸大导致视觉不能获得完整的框架相对于大口径器件的位姿, 所以采用视觉采集安装框架的局部图像, 利用基于图像的控制消除绕Z轴的旋转误差和沿X、Y轴的平移误差, 采用多个激光测距传感器测量相对距离, 利用基于位置的控制消除沿Z轴的平移误差和绕X、Y轴的旋转误差, 实现大口径器件与安装框架的精对准. 采用增量式PI控制算法, 实现了对准的运动控制. 实验结果验证了所提方法的有效性.     

基于雅可比预测的机器人无模型视觉伺服定位控制

针对未知相机标定及目标3D几何模型,研究机器人无模型视觉伺服定位方法.引入状态空间,建立机器人“视觉空间-运动空间”雅可比非线性映射的状态方程和观测方程,提出神经网络联合卡尔曼滤波雅可比预测算法,网络在线动态补偿系统近似误差与参数估计误差,实现最小均方差条件下的雅可比预测;以李雅普诺夫稳定性准则构建雅可比预测的无模型图像视觉伺服控制方案,避免了相机标定和目标建模.“眼在手”六自由度机器人定位比较实验表明,图像空间特征轨迹平滑稳定在相机视场中,笛卡尔空间机器人末端运动平稳,无震荡回退,定位精度在10个像素范围内.     

一种输电线巡检机器人的自动抓线视觉伺服控制

为了保证轮臂复合式巡检机器人自动越障时行走轮能够可靠抓线,提出一种基于图像的视觉伺服抓线控制方法.在图像空间定义输电线的偏距和偏角来表征图像特征的变化,并设计出位姿解耦伺服控制律.由于视觉雅可比矩阵与机器人状态有关且可能发生奇异,采用模糊方法进行机器人控制.通过实验确定模糊集合的论域,设计了两层模糊控制器并编制了自动抓线程序.进行了上百次实验,其抓线控制的偏距和偏角误差分别在25像素和2以内,能够可靠抓线,实际越障中只需小于40s的时间即可完成抓线.结果表明该方法具有准确、可靠、效率高的特点,能够满足准确、快速、可靠抓线的任务要求.     

曲线焊缝跟踪的视觉伺服协调控制

为实现工业机器人自动跟踪曲线焊缝,提出了协调焊枪运动和视觉跟踪的视觉伺服控制方法．建立了特征点的数学模型,并在此基础上确定机器人运动的旋转轴．设计了一种双层结构的模糊视觉伺服控制器,通过动态确定控制量有效范围来保证图像特征存在于视场中．为准确确定有效范围,设计了带模型动态补偿的Kalman滤波器．曲线焊缝的自动跟踪实验验证了所提方法的有效性．     

一种基于混合视觉伺服的切换控制方法

为解决目标远离摄像机视野问题,本文提出了一种基于混合视觉伺服的切换控制方法,根据目标在图像平面的位置,通过在两种具有不同特性的控制策略之间进行切换完成视觉伺服任务.采用的混合视觉伺服方法实现了平动和转动自由度的解耦,当目标位于图像平面中心区域时,采用控制策略使转动自由度误差指数级减小;当目标位于边界区域时,切换到另一种控制策略,使目标重新回到中心区域,通过切换控制最终完成伺服任务.仿真实验验证了提出的基于混合视觉伺服切换控制方法的有效性.     

工业机器人手眼视觉伺服控制系统设计

针对手眼视觉伺服系统中,传统图像雅克比矩阵存在参数难确定、目标运动不确定等问题,提出在线估计复合图像雅克比矩阵的视觉伺服方法。通过Kalman滤波器在线估计复合图像雅克比(Jacobian)矩阵,基于Lyapunov原理设计了视觉伺服控制器,实现了图像特征误差渐进收敛和运动目标的稳定跟踪。平面二连杆机器人仿真分析验证了所提算法的有效性。     

基于视觉伺服的仓储物流机器人自动定位技术

针对当前仓储物流机器人自动定位技术视觉信息反馈延迟,无法确定深度信息,导致定位误差较大、延迟时间较长的问题.提出了基于视觉伺服的仓储物流机器人自动定位方法.通过几何地图描述全局环境模型,确定机器人结构,分析视觉伺服定位原理,根据雅可比矩阵,标定摄像机位置,利用Parzen窗方法预测像素空间密度,提取主成分,建立误差模型,实现仓储物流机器人自动定位.仿真实验证明,所提方法的定位误差较小,能够有效降低定位延迟时间,满足信息反馈实时性要求.     

基于图像矩与神经网络的机器人四自由度视觉伺服

针对传统的视觉伺服方法中图像几何特征的标记、提取与匹配过程复杂且通用性差等问题,本文提出了一种基于图像矩的机器人四自由度(4DOF)视觉伺服方法.首先建立了眼在手系统中图像矩与机器人位姿之间的非线性增量变换关系,为利用图像矩进行机器人视觉伺服控制提供了理论基础,然后在未对摄像机与手眼关系进行标定的情况下,利用反向传播(BP)神经网络的非线性映射特性设计了基于图像矩的机器人视觉伺服控制方案,最后用训练好的神经刚络进行了视觉伺服跟踪控制.实验结果表明基于本文算法可实现0.5 mm的位置与0.5°的姿态跟踪精度,验证了算法的的有效性与较好的伺服性能.     

带时延补偿的视觉跟踪控制

在实际的视觉伺服系统中, 由于摄像机到图像处理设备的传输延迟和图像处理本身占用的时间, 视觉信息的获取会产生时延. 对此, 给出了一个带有时延补偿的视觉跟踪控制方法. 通过实时拟合图像雅可比矩阵, 实现了对机械手末端执行器图像特征信息的实时预测, 从而减小了估计误差. 在此基础上, 设计了一个带有时延补偿的控制方案. 通过对运动目标进行跟踪的仿真实验, 验证了本文时延补偿方法的有效性.     

基于图像视觉伺服的二维运动优化控制

基于图像的视觉伺服方法,图像的变化直接解释为摄像机的运动,而不是直接对机械手末端实现笛卡尔速度控制,导致机械手的运动轨迹迂回,产生摄像机回退现象.针对这一问题,提出了将旋转和平移分离并先实现旋转的视觉伺服方案.该方案计算量小,系统响应时间短,解决了图像旋转和平移间的干扰,克服了传统基于图像视觉伺服产生的摄像机回退现象,实现了时间和路径的最优控制.并用传统IBVS的控制律和摄像机成像模型解释了回退现象的产生原因.二维运动仿真说明了提出方案的有效性.     

基于Adept机器人的视觉伺服控制系统

机器人视觉伺服控制在理论和应用等方面还有许多问题需要研究,例如特征选择、系统标定和伺服控制算法等.针对Adept机器人,提出了一种简单快速的不需要精确标定摄像机内外部参数的摄像机标定方法,完成了从被观测物体表面所在的视觉平面坐标系到机器人基坐标系的坐标变换.使用图像的全局特征,即图像矩特征进行伺服跟踪;利用所推导的图像雅可比矩阵,设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器.将算法对静态目标的定位实验进行了验证,然后又将其应用到移动目标的跟踪上,通过调节和优选控制参数,实现了稳定的伺服跟踪和抓取.实验结果表明采用图像矩作为图像特征能够避免复杂的特征匹配过程,并且能够获得较好的跟踪精度.     

基于结构光的机器人弧焊混合视觉伺服控制

A novel hybrid visual servoing control method based on structured light vision is proposed for robotic arc welding with a general six degrees of freedom robot. It consists of a position control inner-loop in Cartesian space and two outer-loops. One is position-based visual control in Cartesian space for moving in the direction of weld seam, i.e., weld seam tracking, another is image-based visual control in image space for adjustment to eliminate the errors in the process of tracking. A new Jacobian matrix from image space of the feature point on structured light stripe to Cartesian space is provided for differential movement of the end-effector. The control system model is simplified and its stability is discussed. An experiment of arc welding protected by gas CO_2 for verifying is well conducted.     

具有变结构控制器的无定标视觉伺服*

从控制的角度出发,提出了一种模型无关的无定标视觉伺服控制方法.在该方法中不需要机器人及摄像机模型,图像雅克比矩阵的计算采用最小二乘估计,机器人系统采用变结构的控制理论设计控制器;而后用李亚普诺夫方法对其进行了稳定性分析,结果证明系统能够渐近稳定.仿真实验证明了算法的有效性.     

A review on vision-based control of flexible manipulators

In this review, recent developments in the field of flexible robot arm control using visual servoing are reviewed. In comparison to rigid robots, the end-effector position of flexible links cannot be obtained precisely enough with respect to position control using kinematic information and joint variables. To solve the task here the use of a vision sensor (camera) system, visual servoing is proposed to realize the task of control flexible manipulators with improved quality requirements. The paper is organized as follows: the visual servoing architectures will be reviewed for rigid robots first. The advantages, disadvantages, and comparisons between different approaches of visual servoing are carried out. The using of visual servoing to control flexible robot is addressed next. Open problems such as state variables estimation as well as the combination of different sensor properties as well as some application-oriented points related to flexible robot are discussed in detail.     

Model Predictive Control for Constrained Image‐Based Visual Servoing in Uncalibrated Environments

This paper presents a novel approach for image‐based visual servoing (IBVS) of a robotic system by considering the constraints in the case when the camera intrinsic and extrinsic parameters are uncalibrated and the position parameters of the features in 3‐D space are unknown. Based on the model predictive control method, the robotic system's input and output constraints, such as visibility constraints and actuators limitations, can be explicitly taken into account. Most of the constrained IBVS controllers use the traditional image Jacobian matrix, the proposed IBVS scheme is developed by using the depth‐independent interaction matrix. The unknown parameters can appear linearly in the prediction model and they can be estimated by the identification algorithm effectively. In addition, the model predictive control determines the optimal control input and updates the estimated parameters together with the prediction model. The proposed approach can simultaneously handle system constraints, unknown camera parameters and depth parameters. Both the visual positioning and tracking tasks can be achieved desired performances. Simulation results based on a 2‐DOF planar robot manipulator for both the eye‐in‐hand and eye‐to‐hand camera configurations are used to demonstrate the effectiveness of the proposed method.     

Calibration-free and model-independent method for high-DOF image-based visual servoing

This paper presents a novel method to improve the performance of high-DOF image base visual servoing (IBVS) with an uncalibrated camera. Firstly, analysis and comparison between point-based and moment-based features are carried out with respect to a 4-DOF positioning task. Then, an extended interaction matrix (IM) related to the digital image, and a Kalman filter (KF)-based estimation algorithm of the extended IM without calibration and IM model are proposed. Finally, the KF-based algorithm is extended to realize an approximation to decoupled control scheme. Experimental results conducted on an industrial robot show that our proposed methods can provide accurate estimation of IM, and achieve similar performance compared with traditional calibration-based method. Therefore, the proposed methods can be applied to any robot control system in variational environments, and can realize instant operation to planar object with complex and unknown shape at large displacement.