机器人无标定视觉中摄像机特性的逼近

简要介绍机器人视觉中摄像机无标定产生的背景和发展现状．给出了摄像机无标定的定义．依据该定义,将现有的无标定方法归为基于雅可比矩阵等4种主要类别,并分别对这些方法的机理及其优缺点作了简要分析．最后对无标定的发展前景进行了展望．     

场景摄像机构型下图像空间内的无标定路径规划研究

基于图像的视觉伺服可用于对机械臂的运动进行有效的控制。然而,正如许多研究者指出的,当初始位置和期望位置相距较远时,此种控制策略将因其局部特性而存在收敛性、稳定性问题。通过在图像平面内定义充分的图像特征轨迹,并对这些轨迹进行跟踪,我们可以充分利用基于图像的视觉伺服所固有的局部收敛性及稳定性特性这一优势,从而避免初始位置与期望位置相距较远时所面临的问题。因此,近年来,图像空间路径规划已成为机器人领域的一个热点研究问题。但是,目前几乎所有的有关结果均是针对手眼视觉系统提出的。本文将针对场景摄像机视觉系统提出一种未标定视觉路径规划算法。此算法在射影空间中直接计算图像特征的轨迹,这样可保证它们与刚体运动一致。通过将旋转及平移运动的射影表示分解为规范化形式,我们可以很容易地对其射影空间内的路径进行插值。在此之后,图像平面中的图像特征轨迹可通过射影路径产生。通过这种方式,此算法并不需要特征点结构和摄像机内部参数的有关知识。为了验证所提算法的可行性及系统性能,本文最后给出了基于PUMA560机械臂的仿真研究结果。     

基于多视定位算法的多摄像机标定

针对多摄像机系统标定,提出一种基于多视定位算法的标定方法,标定过程只需一块可自由移动的平面模板即可,利用约束优化思想,将各摄像机坐标系转换到参考摄像机坐标系下,从而得到摄像机之间相对位置关系。标定操作过程简单,易于实现。实验结果表明,该方法是一种有效的多摄像机标定方法。     

基于HEIV模型的摄像机一维标定

多摄像机系统广泛应用于文化创意产业,其高精度标定是迫切需要解决的一个关键问题. 新近出现的摄像机一维标定方法能够克服标定物自身遮挡,特别适合标定多摄像机系统. 然而,现有的摄像机一维标定研究主要集中在降低一维标定物的运动约束,而标定精度较低的问题未受到应有的关注. 本文提出一种基于变量含异质噪声 （Heteroscedastic error-in-variables,HEIV）模型的高精度摄像机一维标定方法. 首先,推导出摄像机一维标定的计算模型;其次,利用该计算模型详细分析了一维标定中的噪声,得出摄像机一维标定可以视为一个HEIV问题的结论;最后给出了基于HEIV模型的摄像机一维标定算法. 与现有的算法相比,该方法可以显著改善一维标定的精度,并且受初始值影响小,收敛速度快. 实验结果验证了该方法的正确性和可行性.     

基于单应矩阵的摄像机标定方法及应用

提出了一种基于单应矩阵的摄像机标定方法,并应用标定结果成功完成了移动机器人的视觉伺服任务。该方法首先根据图像平面和标定板平面之间特征点的对应关系,对单应矩阵进行了估计,进而利用旋转矩阵的单位正交性得到了其对摄像机内参数的约束条件。然后把摄像机内参数矩阵分解为有效焦距与主点位置两部分,并利用最小二乘法分别对其进行求解。针对镜头的径向畸变,恰当地选取了一种畸变模型,并由此得到了一种新的目标函数来对摄像机的所有参数进行非线性优化,从而使获得的畸变系数更适合于从二维图像信号中提取三维位姿信息。最后将标定结果成功应用于移动机器人视觉伺服系统之中,实验结果验证了该标定算法具有简单易用、精度较高等优良性能。     

基于多视图像的摄像机自标定方法

摄像机标定是三维重建时的必要步骤。传统的标定方法对设备要求高、操作繁琐,而自标定方法虽然简便,但精度不高,会严重影响三维重建的效果。因此,越来越需要一种操作简便并且精度高的自标定方法。采用SIFT特征点匹配算法,根据多视序列图像中对应点间的相互关系,利用光束法平差,提出了一种基于局部-全局混合优化的迭代优化方法。针对图像匹配量大的问题,提出了一种邻域内图像互匹配方法来降低时间代价。实验表明,本文提出的多摄像机自标定方法是一种有效的高精度方法,采用的邻域内图像互匹配技术能很好地降低图像匹配的时间消耗。根据多视图像的对应点间相互关系,充分利用局部-全局优化的思想,通过混合优化的方法得到相机参数,对比现有自标定算法,本文给出的方法有较高的精度和鲁棒性。     

基于多分辨率分割的区域图像融合

图像融合是一项综合同一场景的多幅源图像信息的技术.现有的区域图像融合方法或者是只对最高层低频带分割并以此分割信息来指导所有层的融合,或者是其多分辨率分割方法过于复杂难以满足实时性.鉴于此,该文发展了一种基于多分辨率分割的区域图像融合方法.它的主要特点是多分辨率分割.其步骤为:首先对源图像进行小波变换的多分辨率分解,然后对分解后每一层的低频图像都进行区域分割,最后用每一层分割得到的区域信息来分别指导每一层的融合.仿真表明该文发展的基于多分辨率分割的区域图像融合方法的融合性能要优于传统的基于窗口的图像融合方法和只对最高层低频带分割的区域图像融合方法.     

多模型分层切换车速控制

针对汽车纵向动力学建模存在较大不确定性的问题,设计了一种多模型分层切换车速控制系统。在不同汽车参数和工况下,辨识得到节气门开度到车速的传递函数,并建立不确定模型集合对其进行描述基础上,应用鲁棒控制理论对监督器和鲁棒控制器集合进行设计,实现了多模型分层切换车速控制。实验结果表明,与自适应控制器相比,设计的控制器对参数变化具有更快的调节能力,实现了更加快速准确的控制。     

基于一维标定物的多摄像机标定

一维标定物是由三个或三个以上彼此距离已知的共线点构成的. 现有文献指出只有当一维标定物做平面运动或者绕固定点转动时,才能实现摄像机的标定. 本文的研究结果表明,当多个摄像机同时观察作任意刚体运动的一维标定物时,则该摄像机组能被线性地标定. 本文给出一种线性标定算法,并使用最大似然准则对线性算法结果进行精化. 模拟实验和真实图像实验都表明本文的算法是有效可行的.     

迭代学习神经网络控制在机器人示教学习中的应用

示教学习是机器人运动技能获取的一种高效手段.当采用摄像机作为示教轨迹记录部件时,示教学习涉及如何通过反复尝试获得未知机器人摄像机模型问题.本文力图针对非线性系统重复作业中的可重复不确定性学习,提出一个迭代学习神经网络控制方案,该控制器将保证系统最大跟踪误差维持在神经网络有效近似域内.为此提出了一个适合于重复作业应用的分布式神经网络结构.该神经网络由沿期望轨线分布的一系列局部神经网络构成,每一局部神经网络对对应期望轨迹点邻域进行近似并通过重复作业完成网络训练.由于所设计的局部神经网络相互独立,因此一个全程轨迹可以通过分段训练完成,由起始段到结束段,逐段实现期望轨迹的准确跟踪.该方法在具有未知机器人摄像机模型的轨迹示教模仿中得到验证,显示了它是一种高效的训练方法,同时具有一致的误差限界能力.     

焊接机器人曲线焊缝的自动跟踪控制

为实现焊接机器人对曲线焊缝的自动跟踪,提出一种简便的位姿实时调整策略和协调视觉跟踪与机器人运动的视觉伺服控制方法。建立了曲线焊缝视觉跟踪过程中焊接机器人期望位姿的数学模型;设计了一种上下层结构的模糊视觉伺服控制器,通过建立焊缝特征点像素坐标偏差与末端轴旋转角度之间的关系模型,动态确定模糊论域的大小,在机器人期望位姿的基础上仅仅通过调整末端轴的旋转量来保证图像特征点始终存在于相机视场内。通过模拟焊接机器人自动跟踪曲线焊缝的实验,验证了所提策略与方法的有效性。     

Model Predictive Control for Constrained Image‐Based Visual Servoing in Uncalibrated Environments

This paper presents a novel approach for image‐based visual servoing (IBVS) of a robotic system by considering the constraints in the case when the camera intrinsic and extrinsic parameters are uncalibrated and the position parameters of the features in 3‐D space are unknown. Based on the model predictive control method, the robotic system's input and output constraints, such as visibility constraints and actuators limitations, can be explicitly taken into account. Most of the constrained IBVS controllers use the traditional image Jacobian matrix, the proposed IBVS scheme is developed by using the depth‐independent interaction matrix. The unknown parameters can appear linearly in the prediction model and they can be estimated by the identification algorithm effectively. In addition, the model predictive control determines the optimal control input and updates the estimated parameters together with the prediction model. The proposed approach can simultaneously handle system constraints, unknown camera parameters and depth parameters. Both the visual positioning and tracking tasks can be achieved desired performances. Simulation results based on a 2‐DOF planar robot manipulator for both the eye‐in‐hand and eye‐to‐hand camera configurations are used to demonstrate the effectiveness of the proposed method.     

垂直起降无人机基于图像的目标跟踪控制

针对安装有惯性测量单元和摄像机的低成本四旋翼无人机,研究无位置、速度、航向测量情况下的机动目标基于图像的跟踪控制方法.首先,结合无人机的动力学方程在图像空间中推导了系统的误差方程.其次,为克服无航向测量的问题,设计了一种位置控制器,使用图像矩作为反馈输入并输出油门和姿态指令.最后,针对缺少图像速度测量问题,设计了一种super-twisting滑模观测器和控制器,生成的期望姿态和拉力指令无颤振,并通过李雅普诺夫理论证明了控制系统的稳定性.最终无人机通过调整倾斜姿态实现了跟踪飞行,且避免了响应慢的航向调整.跟踪机动目标的仿真结果验证了所提出方法的有效性.     

A simple PID control for asymptotic visual regulation of robot manipulators

This paper addresses the asymptotic regulation problem of robot manipulators with a vision‐based feedback. A simple image‐based transpose Jacobian proportional‐integral‐derivative (PID) control is proposed. The closed‐loop system formed by the proposed PID control and robot system is shown to be asymptotically stable by using Lyapunov's direct method and LaSalle's invariance theorem. Advantages of the proposed control include the absence of dynamical model parameters in the control law formulation and the control gains are easily chosen according to simple inequalities including some well‐known bounds extracted from robot dynamics and kinematics. Simulations performed on a two degree‐of‐freedom manipulator are provided to illustrate the effectiveness of the proposed approach. Copyright © 2010 John Wiley & Sons, Ltd.     

乒乓球机器人的视觉伺服系统

视觉伺服的乒乓球机器人系统作为典型的"手眼系统",是研究高速视觉感知和快速伺服运动的理想平台,其涉及的高速物体识别跟踪、快速精确轨迹预测及机械臂伺服准确回球等关键技术在工业、军事等领域有广泛的应用前景.本文提出了乒乓球机器人的高速视觉伺服系统实现方法,包括基于特征直方图统计和快速轮廓搜索的目标识别算法,基于模型参数学习和自适应模型调整的物体运动状态估计和轨迹预测算法,及基于轨迹预测的灵巧臂回球规划算法.通过实验验证了各算法的实时性和高效性,并在165cm高的仿人机器人"悟"和"空"上成功实现了双机器人对打和与人对打任务.     

GA-pattern matching-based manipulator control system for real-time visual servoing

_—In robotic applications, tasks of picking and placing are the most fundamental ones. Also, for a robot manipulator, the recognition of its working environment is one of the most important issues to do intelligent tasks, since this aptitude enables it to work in a variable environment. This paper presents a new control strategy for robot manipulators, which utilizes visual information to direct the manipulator in its working space, to pick up an object of known shape, but with arbitrary position and orientation. During the search for an object to be picked up, vision-based control by closed-loop feedback, referred to as visual servoing, is performed to obtain the motion control of the manipulator hand. The system employs a genetic algorithm (GA) and a pattern matching technique to explore the search space and exploit the best solutions by this search technique. The control strategy utilizes the found results of GA-pattern matching in every step of GA evolution to direct the manipulator towards the target object. We named this control strategy step-GA-evnlution. This control method can be applied for manipulator real-time visual servoing and solve its path planning problem in real-time, i.e. in order for the manipulator to adapt the execution of the task by visual information during the process execution. Simulations have been performed, using a two-link planar manipulator and three image models, in order to find which one is the best for real-time visual servoing and the results show the effectiveness of the control method.     

Finite-time tracking control for multiple non-holonomic mobile robots based on visual servoing

This paper investigates finite-time tracking control problem of multiple non-holonomic mobile robots via visual servoing. It is assumed that the pinhole camera is fixed to the ceiling, and camera parameters are unknown. The desired reference trajectory is represented by a virtual leader whose states are available to only a subset of the followers, and the followers have only interaction. First, the camera-objective visual kinematic model is introduced by utilising the pinhole camera model for each mobile robot. Second, a unified tracking error system between camera-objective visual servoing model and desired reference trajectory is introduced. Third, based on the neighbour rule and by using finite-time control method, continuous distributed cooperative finite-time tracking control laws are designed for each mobile robot with unknown camera parameters, where the communication topology among the multiple mobile robots is assumed to be a directed graph. Rigorous proof shows that the group of mobile robots converges to the desired reference trajectory in finite time. Simulation example illustrates the effectiveness of our method.     

逼近与跟踪空间翻滚目标的图像视觉伺服控制

在空间翻滚目标的最终逼近与跟踪任务段,追踪星对目标星的视觉相对导航会因进入盲区而失效,而基于间接相对导航的位置视觉伺服控制精度太差.针对该问题,基于图像视觉伺服思想,直接利用目标图像特征点坐标,建立了超近距离姿轨跟踪的成像运动模型,推导得到指数收敛的图像视觉伺服期望广义速度、相对位置估计修正量,进而引入基于双滑模面控制律的相对姿轨耦合控制闭环,从而提出了间接估计辅助的图像视觉伺服控制方法.数学仿真结果表明:该方法的相对位置和姿态控制精度显著提高,可为空间翻滚目标最终逼近与跟踪任务提供安全、准确、稳定的相对姿态和轨道条件.     

基于自适应免疫整定的机器人无标定自抗扰视觉伺服控制

研究了机器人无标定自抗扰视觉伺服控制问题. 针对系统中所用的自抗扰控制器参数选取困难问题, 提出了基于自适应免疫算法的自抗扰控制器参数整定方法. 证明了系统中所用的非线性离散二阶扩张状态观测器稳定的充要条件, 并将该条件应用在参数整定过程中. 6 自由度工业机器人的实验结果表明了该方法的可行性和有效性.