基于图像矩与神经网络的机器人四自由度视觉伺服

针对传统的视觉伺服方法中图像几何特征的标记、提取与匹配过程复杂且通用性差等问题,本文提出了一种基于图像矩的机器人四自由度(4DOF)视觉伺服方法.首先建立了眼在手系统中图像矩与机器人位姿之间的非线性增量变换关系,为利用图像矩进行机器人视觉伺服控制提供了理论基础,然后在未对摄像机与手眼关系进行标定的情况下,利用反向传播(BP)神经网络的非线性映射特性设计了基于图像矩的机器人视觉伺服控制方案,最后用训练好的神经刚络进行了视觉伺服跟踪控制.实验结果表明基于本文算法可实现0.5 mm的位置与0.5°的姿态跟踪精度,验证了算法的的有效性与较好的伺服性能.     

改进直接线性标定的移动机器人视觉定位算法

在移动机器人视觉定位中,图像处理技术为摄像机标定和视觉定位奠定了基础.本文首先对机器人采集得到的目标图像进行灰度变换,将彩色的图像转换为灰度图像,利用中值滤波滤除目标图像中的孤立噪声点,再使用sobel算子提取图像的边缘,由于提取的边缘不清晰,最终使用改进的hough变换得到图像的清晰边缘.实验中利用matlab 7.5软件对图像进行处理,获取到准确的目标点像素.而要得到机器人在实际坐标系中的坐标,需要对摄像机进行标定,本文对直接线性标定算法进行改进,利用最小二乘法简化计算的过程,实现机器人视觉定位过程.实验结果表明,该方法简单且有效,提高了定位的准确度,验证了该方法在视觉定位中的有效性和可行性.     

不需要标定系统模型的"眼在手上"视觉伺服控制技术

工业实践中不可能精确地标定摄像机和机器人模型，但当前的视觉伺服控制都需要标定系统模型．针对这一现象，提出一种新颖的、能应用于“眼在手上”视觉伺服控制结构的动态无标定的视觉伺服控制算法，无需标定摄像机和机器人运动学模型即可跟踪运动物体，通过将非线性目标函数最小化，以视觉信息跟踪动态图像．针对目前视觉伺服控制系统中“眼在手上”系统的复合雅克比矩阵随每个时间增量的变化无法计算的现象，提出了对每一时间增量时刻的图像雅克比矩阵的变化做出估计的方法，仿真实验证明了上述方法的正确性和有效性．     

基于OpenCV的摄像机标定的应用研究

摄像机标定是机器视觉的基本任务之一,首先对开源计算机视觉(OpenCV)库进行介绍,然后给出了摄像机模型和摄像机标定过程中的坐标系转换关系.对图像模板的标定采用基于成像模型的点对应关系和在线实时标定的方法,同时把非线性畸变考虑在内,获得摄像机内外参数.标定结果初步应用于移动机器人平台的视觉伺服实验,对三维目标测量,实验结果表明了标定方法的可行性.     

基于单目视觉的移动机器人测距方法

本文针对多机器人编队过程中的跟踪控制,提出了一种跟踪机器人采用单目视觉技术获取前方被跟踪机器人距离信息的方法.该方法首先对跟踪机器人摄像机进行内参数标定,并在目标机器人背部设置视觉标记.然后系统获取目标机器人的含有视觉标记的单帧图像,预处理此图像,并识别出图像中的视觉标记所在的目标区域,用Hu氏不变矩计算该区域形心.最后推导出单目测距算法,利用图像信息和其它参数可以计算出两机器人之间的距离.实验结果表明,所设计的单目测距系统能得到准确的距离,为跟踪控制提供了重要的反馈信息.     

基于纹理的三自由度视觉伺服控制

当机器人载体摄像机观察目标为某些几何特征缺乏,仅有纹理特征场景时,基于几何特征视觉计算的伺服手段难以应用,为此该文提出基于纹理的三自由度视觉伺服方法。分析摄像机运动与目标图像纹理粗糙度特征变化之间的关系,给出基于纹理粗糙度的视觉伺服方法。通过机器人伺服悬停半物理仿真实验证明,分析纹理图像特征变化可以提供完成伺服任务所需要的运动信息。     

单目视觉智能车的伺服规律研究

通过分析单目视觉智能车的运动特征,建立其空间约束模型以及与运动控制密切相关的图像坐标系和运动平面坐标系,在此基础上根据摄像头相对位姿的不同推导出2种不同的坐标映射关系,讨论将其应用在单目标跟踪和连续目标跟踪时的车体运动控制规律,形成一个有较强针对性和实用价值的手眼机器人视觉伺服框架。实验验证了单目视觉智能车伺服规律的有效性。     

一种无标定视觉伺服控制技术的研究

在视觉伺服控制过程中无法精确地标定摄像机和机器人运动学模型,而当前的无标定视觉伺服控制技术或者只能针对静态的目标,或者针对动态目标但无法摆脱大偏差的影响．针对此问题,提出一种动态无标定的视觉伺服控制方法：基于非线性方差最小化法控制机器人跟踪运动目标,利用动态拟牛顿法估计图像雅克比矩阵,采用迭代最小二乘法提高系统的稳定性并提出大偏差条件下的无标定控制策略．仿真实验证明了该方法的正确性和有效性．     

简便高精度的机器人手眼视觉标定方法

对摄像机成像模型进行了分析,论述了机器人手眼系统标定原理。在此基础上,不改变机器人的外臂与基坐标系的旋转关系,设计了一种机器人手眼视觉的标定方法,与传统的方法比较,它不需要预先标定摄像机的内外参数。实验证明:该方法具有算法方便快捷、实验过程简单易行,且精度高等优点,可用于机器人进行运动目标定位与跟踪。     

一种五自由度视觉伺服机器人的跟踪控制研究

提出了一种基于图像的视觉伺服机器人系统的结构，以及该系统跟踪平面运动目标的算法. 该系统有5个自由度，包括一个3自由度的机器人和一个2自由度的手腕，手腕安装在机器人末端，而摄像机安装在手腕末端. 由于具有较小的运动惯量，手腕可快速旋转，以实现对运动目标的跟踪. 而在需要时，3自由度的机器人可将摄像机移动到适当的位置， 对目标进行更为仔细的观察. 该系统实现了对运动目标的跟踪. 此外，还提出了提高系统性能的方法，实验证实这些方法是有效的.     

Improved eye-vergence visual servoing system in longitudinal direction with RM-GA

Visual servoing is a control method to manipulate the motion of the robot using visual information, which aims to realize “working while watching.” However, the visual servoing towards moving target with hand–eye cameras fixed at hand is inevitably affected by hand dynamical oscillation. To overcome this defect of the hand–eye fixed camera system, an eye-vergence system has been put forward, where the pose of the cameras could be rotated to observe the target object. The visual servoing controllers of hand and eye-vergence are installed independently, so that it can observe the target object at the center of camera images through eye-vergence function. In this research, genetic algorithm (GA) is used as a pose tracking method, which is called “Real-Time Multi-step GA(RM-GA),” solves on-line optimization problems for 3D visual servoing. The performances of real-time object tracking using eye-vergence system and “RM-GA” method have been examined, and also the pose tracking accuracy has been verified.     

利用平面单应分解实现服务机器人视觉伺服

智能空间中家庭服务机器人所需完成的主要任务是协助人完成物品的搜寻、定位与传递。而视觉伺服则是完成上述任务的有效手段。搭建了由移动机器人、机械臂、摄像头组成的家庭服务机器人视觉伺服系统,建立了此系统的运动学模型并对安装在机械臂末端执行器上的视觉系统进行了内外参数标定,通过分解世界平面的单应来获取目标物品的位姿参数,利用所获取的位姿参数设计了基于位置的视觉伺服控制律。实验结果表明,使用平面单应分解方法来设计控制律可简单有效地完成家庭物品的视觉伺服任务。     

基于图像矩的运动目标3D平动视觉跟踪

区别于图像的简单几何特征,本文利用图像的全局特征描述子 图像矩特征作为图像 特征信息,实现了基于图像的运动目标3D平动的视觉跟踪．针对任务要求,本文选取了一组 矩特征用以完成任务．基于所选的矩,本文给出了矩特征变化量与相对位姿变化量之间的关 系矩阵,即图像雅可比矩阵,然后利用所推导的图像雅可比矩阵,设计了由图像反馈与目标 运动自适应补偿组成的视觉伺服控制器,实现了在未知目标成 深度及摄像机焦距的情况下 对运动目标的3D平动跟踪．     

带时延补偿的视觉跟踪控制

在实际的视觉伺服系统中, 由于摄像机到图像处理设备的传输延迟和图像处理本身占用的时间, 视觉信息的获取会产生时延. 对此, 给出了一个带有时延补偿的视觉跟踪控制方法. 通过实时拟合图像雅可比矩阵, 实现了对机械手末端执行器图像特征信息的实时预测, 从而减小了估计误差. 在此基础上, 设计了一个带有时延补偿的控制方案. 通过对运动目标进行跟踪的仿真实验, 验证了本文时延补偿方法的有效性.     

Real-time gaze control of an active head-eye system without calibration

This article describes real-time gaze control using position-based visual servoing. The main control objective of the system is to enable a gaze point to track the target so that the image feature of the target is located at each image center. The overall system consists of two parts: the vision process and the control system. The vision system extracts a predefined color feature from images. An adaptive look-up table method is proposed in order to get the 3-D position of the feature within the video frame rate under varying illumination. An uncalibrated camera raises the problem of the reconstructed 3-D positions not being correct. To solve the calibration problem in the position-based approach, we constructed an end-point closed-loop system using an active head-eye system. In the proposed control system, the reconstructed position error is used with a Jacobian matrix of the kinematic relation. The system stability is locally guaranteed, like image-based visual servoing, and the gaze position was shown to converge to the feature position. The proposed approach was successfully applied to a tracking task with a moving target in some simulations and some real experiments. The processing speed satisfies the property of real time. This work was presented in part at the Sixth International Symposium on Artificial Life and Robotics, Tokyo, January 15–17, 2001     

基于图像雅可比矩阵的智能机器人视觉跟踪

根据智能机器人视觉伺服的要求,建立了固定眼结构的MOTOMAN-SV3XL型工业机器人无标定视觉伺服系统.研究了目前在机器人视觉伺服研究领域中使用最为广泛的一类方法,即基于图像雅可比矩阵的方法.针对图像雅可比矩阵的特点,设计了一种基于简化Sage-Husa自适应滤波的图像雅可比矩阵在线估计算法,并将其应用于机器人视觉反馈控制任务中,实现了对二维平面上运动目标的跟踪,实验结果表明了该算法的有效性.     

Visual servoing tracking control of uncalibrated manipulators with a moving feature point

The paper is concerned with the problem of uncalibrated visual servoing robots tracking a dynamic feature point along with the desired trajectory. A nonlinear observer and a nonlinear controller are proposed, which allow the considered uncalibrated visual servoing robotic system to fulfil the desired tracking task. Based on this novel control method, a dynamic feature point with unknown motion parameters can be tracked effectively along with the desired trajectory, even with multiple uncertainties existing in the camera, the kinematics and the manipulator dynamics. By the Lyapunov theory, asymptotic convergence of the image errors to zero with the proposed control scheme is rigorously proven. Simulations have been conducted to verify the performance of the proposed control scheme. The results demonstrated good convergence of the image errors.