单目视觉测距在移动机器人的应用

运用Matlab软件中摄像机标定工具箱通过传统的摄像机小孔成像原理对摄像机内外参数进行标定。找出图像像素坐标系与机器人所在地面的世界坐标系之间的联系。并借助图像中消失点,确定机器人移动路径。找出图像上对应的机器人预通过区域。基于对障碍物边缘检测确定其是否出现在预通过区域上,并仅对区域内的障碍物进行单目视觉测距。在计算距离时提出了一种仅与机器人移动方向相关的距离计算方法。以保证机器人移动时不会与前方障碍物相碰撞。     

基于粒子群算法的摄像机自标定

基于图像信息,实现对物体的三维重构在交通、地质等领域具有重要的应用价值,对此首先要建立图像坐标和大地坐标的对应关系,而这种关系涉及到摄像机的内部及外部参数,这就需要对摄像机进行标定,确定其参数。利用几何关系给出坐标系间的关系模型,以标定板上关键点间的实际距离和理论距离的相对误差绝对值为目标,将参数确定问题转化为非线性优化问题,进而利用PSO算法对优化模型进行求解,实现对摄像机的自标定。通过实际图像的采集并进行数值计算,结果表明模型正确,与其他算法相比,计算精度得到显著提高。     

基于OpenCV的水下机器人单目定位技术研究与仿真

针对水下机器人自主回收对接时的定位问题,提出了一种基于OpenCV的单目定位技术研究与仿真方法;首先确定回收装置在回收侧的光源标记点坐标信息;然后借助OpenCV算法库,通过对水下机器人自带摄像机的标定,得出反应摄像机固有信息的内参数,通过摄像机对回收装置光源标记点的识别,得出光源标记点在图像上的像素坐标,结合其世界坐标,得出反映回收装置在摄像机坐标系下位置和姿态信息关系的平移向量和旋转向量,进而确定水下机器人在回收装置坐标系下的位置和姿态信息;最后运用CATIA软件对摄像机拍摄模型进行建模和仿真,结果表明,所提方法不仅能快速地获得水下机器人的位置和姿态信息,而且定位精度高,满足水下机器人在自主回收对接时的设计要求。     

机器人三目视觉系统详细设计

由于果园环境复杂,果实和障碍物难以定位,这势必对机器人采摘带来一定的困难。而三目摄像机可以同时对一个果实或障碍物进行摄像,获取三幅图像,通过软件系统同时对这三幅图像进行分析和处理,并且通过对这三幅图像的像素进行分析,建立相对应的像素关系,从而确定果实或障碍物到摄像机之间的距离。     

基于手眼立体视觉的机器人定位系统

研发了基于手眼的机器人定位系统,采用了眼在手上的单目摄像机,通过机械手的一次移动实现了立体视觉的功能.提出了一种方便有效手眼标定方法,避免了复杂的传统手眼标定过程,无需求解摄像机外参数和手眼变换矩阵.仅获取标定时刻的摄像机综合参数和机器人位姿,就可以在机器人基坐标系中视场范围内的任意两点进行检测,根据立体视觉的约束关系求解出目标物体在机器人基坐标中的位置,进而实现对目标物体的精确定位.     

基于Adept机器人的视觉伺服控制系统

机器人视觉伺服控制在理论和应用等方面还有许多问题需要研究,例如特征选择、系统标定和伺服控制算法等.针对Adept机器人,提出了一种简单快速的不需要精确标定摄像机内外部参数的摄像机标定方法,完成了从被观测物体表面所在的视觉平面坐标系到机器人基坐标系的坐标变换.使用图像的全局特征,即图像矩特征进行伺服跟踪;利用所推导的图像雅可比矩阵,设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器.将算法对静态目标的定位实验进行了验证,然后又将其应用到移动目标的跟踪上,通过调节和优选控制参数,实现了稳定的伺服跟踪和抓取.实验结果表明采用图像矩作为图像特征能够避免复杂的特征匹配过程,并且能够获得较好的跟踪精度.     

基于HALCON的机器人手眼标定精度分析与反演方法

通过视觉引导机器人完成抓取任务,机器人手眼标定的精度直接影响了抓取任务作业精度和抓取成功率。对于基于位置的机器人视觉引导系统,手眼标定的任务则是确定机器人坐标系与相机坐标系之间的位姿关系。通过HALCON平台,使用线性标定法实现了6DOF机器人的手眼标定。对手眼标定的结果进行反演,直观地展示了手眼标定的精确程度。最后通过采集多组不同数量的图片,在HALCON平台下验证了不同摄像机模型对手眼标定的精度影响,以及同种摄像机模型在不同数量图片的情况下手眼标定的标定精度。实验证明,根据位姿矩阵中待求解的未知量个数采集合适数量的图片和使用更精确的摄像机模型能够提高手眼标定的精度。     

基于投影仪和摄像机的结构光视觉标定方法

为实现基于投影仪和摄像机的结构光视觉系统连续扫描,需要计算投影仪投影的任意光平面与摄像机图像平面的空间位置关系,进而需要求取摄像机光心与投影仪光心之间的相对位置关系。求取摄像机的内参数,在标定板上选取四个角点作为特征点并利用摄像机内参数求取该四个特征点的外参数,从而知道四个特征点在摄像机坐标系中的坐标。利用投影仪自身参数求解特征点在投影仪坐标系中的坐标,从而计算出摄像机光心与投影仪光心之间的相对位置关系,实现结构光视觉标定。利用标定后的视觉系统,对标定板上的角点距离进行测量,最大相对误差为0.277%,表明该标定算法可以应用于基于投影仪和摄像机的结构光视觉系统。     

嵌入式单目机器人视觉检测及避障系统设计

为实现机器人在移动中快速检测和避开障碍物功能,提出一种在室内以单目视觉为基础的嵌入式机器人检测障碍和避障的设计方案;通过对HSI颜色空间的H空间进行分块,获取分块区的颜色矩特征进行比较,能快速检测障碍物;通过几何法建立机器人坐标和图像坐标的关系,计算障碍物实际距离,准确定位障碍物;通过输入障碍物距离和偏离前进方向的角度到模糊控制器,获得输出转动角度,并对输出的角度进行调节;实验结果表明该系统具有实时性和可行性,实现了利用图像分块的信息快速检测定位障碍物,并通过模糊控制器完成了避障要求。     

CCD摄像机标定

在基于单目视觉的农业轮式移动机器人自主导航系统中,CCD摄像机标定是农业轮式移动机器人正确和安全导航的前提和关键。摄像机标定确立了地面某点的三维空间坐标与计算机图像二维坐标之间的对应关系,机器人根据该关系计算出车体位姿值自主导航。因此,根据CCD摄像机针孔成像模型,利用大地坐标系中平面模板上已知的各点坐标,建立与计算机图像空间中各对应像素值之间的关系方程组,在Matlab环境下拟合出摄像机各内外参数。实验结果表明：该方法可以正确完成CCD摄像机标定。     

基于RGBD摄像头的障碍物检测

检测障碍物是机器人自主移动的基础. 为了提高检测的障碍物效率和准确率, 提出一种基于RGBD摄像头的障碍物检测方法, 主要分为障碍物识别和检测长度, 宽度两部分. 在障碍物形状不规则的前提下, 通过摄像头实时采集图像传输到数据处理中心, 用改良的帧差法、最小矩形法匹配法和图像处理等方法来确定障碍物轮廓, 利用深度图像及其阈值得出障碍物距摄像头的相对位置, 同时, 用坐标转换法计算出障碍物的高度与宽度. 结果显示, 在不同位置检测同一物体的误差不超过9%. 因此, 改良的帧差法检测障碍物轮廓准确率高, 坐标转换法速度快, 可以证明基于RGBD摄像头的障碍物检测设计检测效果良好.     

机器人卫星地面实验平台全局视觉系统

机器人卫星地面实验平台是研制机器人卫星的重要手段。本文针对所开发的机器人卫星地面实验平台，设计了全局视觉，完成机器人卫星姿态分析、目标和障碍物的识别与定位。     

像平面与空间平面的变换及其在移动机器人中的应用

说明了像平面与空间平面的变换以及摄像机在固定，旋转和平移时变换矩阵的求解方法．还讨论了该变换在移动机器人定位，障碍物检测，运动参数分析和三维坐标计算上的应用．     

Reactive navigation in dynamic environment using a multisensorpredictor

A reactive navigation system for an autonomous mobile robot in unstructured dynamic environments is presented. The motion of moving obstacles is estimated for robot motion planning and obstacle avoidance. A multisensor-based obstacle predictor is utilized to obtain obstacle-motion information. Sensory data from a CCD camera and multiple ultrasonic range finders are combined to predict obstacle positions at the next sampling instant. A neural network, which is trained off-line, provides the desired prediction on-line in real time. The predicted obstacle configuration is employed by the proposed virtual force based navigation method to prevent collision with moving obstacles. Simulation results are presented to verify the effectiveness of the proposed navigation system in an environment with multiple mobile robots or moving objects. This system was implemented and tested on an experimental mobile robot at our laboratory. Navigation results in real environment are presented and analyzed.     

基于主动视觉和超声的机器人目标跟踪系统

运动目标跟踪技术是未知环境下移动机器人研究领域的一个重要研究方向。该文提出了一种基于主动视觉和超声信息的移动机器人运动目标跟踪设计方法,利用一台SONY EV-D31彩色摄像机、自主研制的摄像机控制模块、图像采集与处理单元等构建了主动视觉系统。移动机器人采用了基于行为的分布式控制体系结构,利用主动视觉锁定运动目标,通过超声系统感知外部环境信息,能在未知的、动态的、非结构化复杂环境中可靠地跟踪运动目标。实验表明机器人具有较高的鲁棒性,运动目标跟踪系统运行可靠。     

地铁站场景下的可行驶区域检测

在室内环境下的机器人视觉导航任务中,可行驶区域检测是不可或缺的一部分,这是保证自动驾驶任务实现的基础.目前较多的解决方法是对数据集中出现过的障碍物进行识别来检测可行驶区域,缺乏灵活性,因此本文提出了一种针对地铁站等室内平坦地面的可行驶区域检测方法,提高实用性.本文采用经典的MobileNetV3网络对采集到的前方图像进行分类,判断是否为地面区域.由于室内地面的地标、箭头等贴纸的影响,因此需要对非地面区域进一步判断,与常规的立体障碍物进行区分.本文利用连续帧之间的特征点匹配获得相机移动距离,并利用直线拟合计算斜率的方法达到区分立体障碍物与平面地标的目的.实验表明,本文提出的方法能较好地检测机器人前方可行驶区域,具有较高的实用价值.     

Omnidirectional vision scan matching for robot localization in dynamic environments

The localization problem for an autonomous robot moving in a known environment is a well-studied problem which has seen many elegant solutions. Robot localization in a dynamic environment populated by several moving obstacles, however, is still a challenge for research. In this paper, we use an omnidirectional camera mounted on a mobile robot to perform a sort of scan matching. The omnidirectional vision system finds the distances of the closest color transitions in the environment, mimicking the way laser rangefinders detect the closest obstacles. The similarity of our sensor with classical rangefinders allows the use of practically unmodified Monte Carlo algorithms, with the additional advantage of being able to easily detect occlusions caused by moving obstacles. The proposed system was initially implemented in the RoboCup Middle-Size domain, but the experiments we present in this paper prove it to be valid in a general indoor environment with natural color transitions. We present localization experiments both in the RoboCup environment and in an unmodified office environment. In addition, we assessed the robustness of the system to sensor occlusions caused by other moving robots. The localization system runs in real-time on low-cost hardware.     

Position estimation of a mobile robot using images of a moving target in intelligent space with distributed sensors

Latest advances in hardware technology and state-of-the-art of mobile robots and artificial intelligence research can be employed to develop autonomous and distributed monitoring systems. A mobile service robot requires the perception of its present position to co-exist with humans and support humans effectively in populated environments. To realize this, a robot needs to keep track of relevant changes in the environment. This paper proposes localization of a mobile robot using images recognized by distributed intelligent networked devices in intelligent space (ISpace) in order to achieve these goals. This scheme combines data from the observed position, using dead-reckoning sensors, and the estimated position, using images of moving objects, such as a walking human captured by a camera system, to determine the location of a mobile robot. The moving object is assumed to be a point-object and projected onto an image plane to form a geometrical constraint equation that provides position data of the object based on the kinematics of the ISpace. Using the a priori known path of a moving object and a perspective camera model, the geometric constraint equations that represent the relation between image frame coordinates for a moving object and the estimated robot's position are derived. The proposed method utilizes the error between the observed and estimated image coordinates to localize the mobile robot, and the Kalman filtering scheme is used for the estimation of the mobile robot location. The proposed approach is applied for a mobile robot in ISpace to show the reduction of uncertainty in determining the location of a mobile robot, and its performance is verified by computer simulation and experiment.     

Vision‐based robotic person following under light variations and difficult walking maneuvers

The paper addresses the problem of robotic person following indoors and outdoors with significant light variation such as moving from sunny areas into shade and difficult walking maneuvers such as jumping to the side or making sharp turns. These are achieved through certain image processing techniques and by real‐time control of camera parameters affecting the light exposure, i.e., camera gain and shutter speed. Several strategies are also formulated and integrated to quickly recognize and segment the person from the environment during difficult walking maneuvers. The centroid of a person's image, which is a critical quantity for person following, is determined using a new method based on aggregation of the detected regions and their color characteristics. In addition to the camera exposure control, the camera pan and tilt and the robot speed and steering are controlled using the characteristics of the detected person's image such as mass (area) and centroid. Although the emphasis of the paper is on person following, the same techniques can be adapted for following moving objects such as another robot or a car. The system has been implemented on a Segway robotic platform that has been equipped with a camera, an onboard computer, loudspeakers, game pad, etc. Extensive trials have been carried out both indoors and outdoors, and a video has been prepared that shows person following under a variety of conditions. © 2010 Wiley Periodicals, Inc.     

移动机器人足目标定方法

为构建完整的移动机器人视觉导航系统，提出了一种移动机器人足目标定方法．该方法以一个带有数个已知标记点的平面反射镜为中介，分别标定出平面镜坐标系与摄像机坐标系的欧氏变换关系、镜像坐标系与摄像机坐标系的欧氏变换关系、镜像坐标系与平面镜坐标系的欧氏变换关系及机器人坐标系与平面镜坐标系的欧氏变换关系，从而确定摄像机坐标系和移动机器人车体坐标系的欧氏变换关系，实现了移动机器人足目标定．实验结果表明，该方法简单、有效，无需昂贵的标定装置和复杂的标定过程，且可实现现场标定．