一种空间非合作目标相对位姿紧耦合估计方法

航天活动中的许多任务如对目标的绕飞观测和逼近停靠等测控任务,其中的关键技术之一是相对位姿估计,而对非合作目标的相对位姿估计更是其中的重点与难点。针对该难点,提出了一种融合单目相机和激光测距仪的空间非合作目标相对位姿紧耦合估计方法。采用单目相机获取目标序列图像,在初始化时利用激光测距仪解决单目相机尺度模糊性问题,构建真实尺度下的世界坐标系,在后续对非合作目标进行连续位姿估计时,使用紧耦合的形式融合相机与激光测距仪数据来优化估计位姿,并且解决估计漂移问题。最后使用Blender软件生成空间非合作目标序列图像,仿真验证了本文算法能稳健地得到较高精度的空间非合作目标的相对位姿,且拥有较好的实时性。     

基于结构光的星箭对接环相对位姿测量方法

空间非合作目标位姿测量是空间在轨维护的前提。面向空间机械手对空间载体自动抓捕的应用需求，提出了基于结构光的空间非合作目标视觉测量方法。该方法以双套双线结构光测量装置作为测量传感器，以空间载体上普遍存在的星箭对接环作为抓捕目标。根据对接环的共同特点，选择直线特征和点特征相结合作为相对位姿的求解特征；基于直线特征求解圆环平面法向量，基于点特征求解圆环圆心坐标，进而得到机械手工具坐标系与对接环坐标系间的相对位姿关系；基于多重几何约束实现了不同光照条件下图像上目标直线的鲁棒识别。建立了演示验证实验系统，在大量演示实验的基础上，进行了实验结果分析。     

空间机器人捕获非合作目标的测量与规划方法

提出了基于立体视觉的空间机器人捕获非合作目标的测量与规划方法,包括图像处理与特征提取、3D 重构及位姿测量、自主规划与控制等．同时,还建立了一套仿真系统,可进行包括图像采集、位姿测量、追踪星 GNC、空间机器人规划与控制、航天器动力学计算等在内的闭环仿真．仿真结果验证了算法的有效性．     

基于单目视觉的微型空中机器人自主悬停控制

针对微型空中机器人在室内环境下无法借助外部定位系统实现自主悬停的问题,提出一种基于单目视觉的自主悬停控制方法.采用一种四成分特征点描述符和一个多级筛选器进行特征点跟踪.根据单目视觉运动学估计机器人水平位置;根据低雷诺数下的空气阻力估计机器人飞行速度;结合位置和速度信息对机器人进行悬停控制.实验结果验证了该方法的有效性.     

基于单目视频路径移动机器人导航方法研究

以单目视觉中双视图定位为基础,提出了一种基于单目视频路径的导航方法.算法基于单目摄像机提取一组有序的关键图像,以代表视频路径,使用Harris角点算法提取图像特征点,利用零均值归一化互相关算法进行图像匹配,根据单目摄像机双视图匹配点之间的约束关系求出基础矩阵并优化,得到位姿参数,完成了移动机器人定位,使其在视频路径的指导下实现自主导航.验证表明:方法在室外环境中具有较好的实用性.     

移动机器人前向单目视觉的建模研究

为了实现目标对象的快速、精确识别,对移动机器人前向单目视觉进行了建模.首先,给出了前向单目视觉成像模型,包括软、硬件设计,并结合目标特征属性得到目标中心在图像上的坐标;然后,通过视觉标定模型实现前向单目视觉的目标定位,得到目标对象在机器人体坐标系中的坐标;最后,利用参数估计的方法计算真实检测结果与理想检测结果的误差分布模型的参数,得到前向单目视觉的观测模型.实验结果表明,前向单目视觉模型建立精确,且实时性好.     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。     

适用于非合作目标捕获的轻量级位姿估计网络

空间非合作目标的增多导致太空安全受到严重威胁,对非合作目标进行捕获回收具有维护空间安全、节约资源等现实意义。非合作目标捕获回收需要进行位姿估计,而目前在硬件资源有限的航天器平台上,现有的大多数非合作目标位姿估计算法无法同时满足及时性和准确性的要求。设计一种超轻量级目标检测网络YOLO-GhostECA,利用GhostBottleneck网络减少特征图冗余,并使用高效注意力机制提取核心特征图,以降低模型参数,在提升运算速度的同时保证精度水平几乎不下降。根据YOLO-GhostECA网络的检测结果粗略估计姿态,以协助机械臂更加合理地执行智能捕获任务,解决2D识别算法无法检测出物体姿态的问题。在7自由度冗余机械臂上开展的空间非合作目标捕获地面模拟的实验结果表明,与YOLOv5s网络相比,该网络模型大小减小了80.4%,运算复杂度降低了78.9%,而精度基本保持不变,可准确快速地对非合作目标进行位姿估计,能够引导机器人成功捕获非合作物体。     

基于ReLU神经网络的移动目标视觉伺服研究

针对移动目标跟踪以及抓取的问题,提出一种基于ReLU网络模型的单目视觉伺服系统。首先建立机器人视觉系统,完成对目标跟踪以及特征提取的任务,并通过结合单目视觉模型对其位姿进行估计,从而得到目标状态;然后,利用ReLU神经网络对机械臂的逆运动学进行学习,并用训练后网络模型构建单目视觉伺服系统的控制策略来避免机器人逆运动学求解计算量大、多解等问题;最后,为了提高抓取成功率,对末端执行器的运动轨迹进行规划。实验在NAO机器人平台上进行,根据实验结果证明方法的有效性。     

非结构化环境下的单目视觉可通行区域检测

目前三维避障主要采用三维激光雷达或者基于深度学习的障碍物识别,但前者价格昂贵,后者训练成本高且不稳定。为了稳定、鲁棒地实现低成本三维空间避障方案,提出了一种基于单目相机的可通行区域检测方法。该方法利用特征点标识障碍物,通过对相机高度和旋转平面加以约束,解决单目SLAM中的尺度不一致问题,并设计了障碍物距离求解器和代价求解器对小车前方区域特征点进行处理,计算出视觉代价地图,划分可通行区域。该方法优势在于仅需要低成本的单目相机便可完成可通行区域检测任务,可方便地移植到轻量级的移动设备,计算得到的视觉代价地图亦有利于小车后续的路径规划任务。在KITTI数据集上进行的实验表明,该方法的平均运算速度能达到20 frame/s,能满足小车实时避障的要求,对于单目SLAM的尺度恢复误差为2.5%～4.9%。     

目标位姿测量中的三维视觉方法

要测量出一组特征点分别在两个空间坐标系下的坐标，就可以求解两个空间目标间的位姿关系，实现上述目标位姿测量方法的前提条件是要保证该组特征点在不同坐标系下，其位置关系相同，但计算误差的存在却破坏了这种固定的位置关系，为此，提出了两种基于模型的三维视觉方法－基于模型的单目视觉和基于模型的双目视觉，前者从视觉计算的物理意义入手，通过简单的约束迭代求解实现模型约束，后者则将简单的约束最小二乘法和基于模型的单目视觉方法融合在一起来实现模型约束，引入模型约束后，单目视觉方法可以达到很高的测量精度，而基于模型的双目视觉较传统的无模型立体视觉方法位移精度提高有限，但姿态精度提高很多。     

基于显微图像散焦特征的微操作机器人深度信息提取

提出了一种单目显微视觉下微操作机器人深度信息的快速提取方法，通过计算微操作空间中 X-Y平面的散焦图像特征，表征图像清晰程度，从而获得机械手在Z方向的深度信息．实验 特征曲线证明方法简洁快速，有效的反映了微操作深度信息的变化和机械手在纵向的运动特 性．     

基于单目视觉的室内机器人障碍检测方案

为提高室内移动机器人障碍物检测能力,提出了一套基于单目视觉的检测方案。该方案首先对拍摄的图像进行色度、饱和度、亮度(HSI)颜色空间转换;然后,针对室内图像中目标和背景的分割,提出了小目标阈值选取法,提高了特定环境下图像分割的准确性;最后,用目标场景匹配法和目标投影匹配法相结合,计算分割后目标像素的变化和投影的变化,从而判别出目标是具有高度的障碍物还是地面图形。实验结果表明该方案的有效性和可行性,可为室内小型移动机器人提供良好的导航信息。     

基于双目视觉导航的仿生机器人鲁棒控制算法

仿生机器人在定姿过程中受到空间扰动因素的影响容易产生控制误差,需要对机器人进行精确标定,提高仿生机器人的定位控制精度,因此提出一种基于双目视觉导航的仿生机器人鲁棒控制算法。利用光学CCD双目视觉动态跟踪系统进行仿生机器人的末端位姿参量测量,建立被控对象的运动学模型;以机器人的转动关节的6自由度参量为控制约束参量,建立机器人的分层子维空间运动规划模型;采用双目视觉跟踪方法实现仿生机器人的位姿自适应修正,实现鲁棒性控制。仿真结果表明,采用该方法进行仿生机器人控制的姿态定位时对机器人末端位姿参量的拟合误差较低,动态跟踪性能较好。     

结构光视觉引导的焊接机器人系统自标定技术

为实现结构光视觉引导的焊接机器人系统的标定,解决现有标定方法复杂,标定靶标制作要求高等缺点,提出一种基于主动视觉的自标定方法。该标定方法对场景中3个特征点取像,通过精确控制焊接机器人进行5次平移运动,标定摄像机内参数和手眼矩阵旋转部分;通过进行2次带旋转运动,结合激光条在特征点平面的参数方程,标定手眼矩阵平移部分和结构光平面在摄像机坐标系下的平面方程;并针对不同焊枪长度进行修正。在以Denso机器人为主体构建的结构光视觉引导的焊接机器人系统上的测试结果稳定,定位精度可达到±0.93 mm。该标定方法简单,特征选取容易,对焊接机器人系统在实际工业现场的使用有重要意义。     

基于单目仿人机器人的障碍物测距方法

为了能够实时测量机器人与障碍物的距离,提出一种单目视觉的方法。首先将机器人获取的 RGB 图像转换为HSV图像,在HSV颜色空间对障碍物进行检测和识别,然后利用小孔成像原理和几何坐标变换,计算障碍物与机器人的距离。最后将该方法应用到实验室 Darwin 仿人机器人上,实验结果表明该方法具有可行性和有效性。     

基于机器视觉的全自动换电机器人定位系统

全自动换电机器人代替人工, 实现了电动汽车内电池的自动更换. 其定位系统解决了电动汽车停放随机性导致的电池定位难题, 是换电机器人成功换电池的关键. 该定位系统以机器视觉技术为基础, 通过单目相机拍照, 获取电池的姿态信息, 实现了对电池的精确定位. 介绍了全自动换电机器人视觉定位系统的设计方案、组成及工作步骤, 并通过实验证明该系统具有较高的精度和准确性, 安全可靠.     

Automatic recognition vision system guided for apple harvesting robot

In apple harvesting robot, the first key part is the machine vision system, which is used to recognize and locate the apples. In this paper, the procedure on how to develop an automatic recognition vision system guided for apple harvesting robot, is proposed. We first use a color charge coupled device camera to capture apple images, and then utilize an industrial computer to process images for recognising fruit. Meanwhile, the vector median filter is applied to remove the color images noise of apple, and images segmentation method based on region growing and color feature is investigated. After that the color feature and shape feature of image are extract, a new classification algorithm based on support vector machine for apple recognition is introduced to improve recognition accuracy and efficiency. Finally, these procedures proposed have been tested on apple harvesting robot under natural conditions in September 2009, and showed a recognition success rate of approximately 89% and average recognition time of 352 ms.     

Grasp programming by demonstration in virtual reality with automatic environment reconstruction

A virtual reality system enabling high-level programming of robot grasps is described. The system is designed to support programming by demonstration (PbD), an approach aimed at simplifying robot programming and empowering even unexperienced users with the ability to easily transfer knowledge to a robotic system. Programming robot grasps from human demonstrations requires an analysis phase, comprising learning and classification of human grasps, as well as a synthesis phase, where an appropriate human-demonstrated grasp is imitated and adapted to a specific robotic device and object to be grasped. The virtual reality system described in this paper supports both phases, thereby enabling end-to-end imitation-based programming of robot grasps. Moreover, as in the PbD approach robot environment interactions are no longer explicitly programmed, the system includes a method for automatic environment reconstruction that relieves the designer from manually editing the pose of the objects in the scene and enables intelligent manipulation. A workspace modeling technique based on monocular vision and computation of edge-face graphs is proposed. The modeling algorithm works in real time and supports registration of multiple views. Object recognition and workspace reconstruction features, along with grasp analysis and synthesis, have been tested in simulated tasks involving 3D user interaction and programming of assembly operations. Experiments reported in the paper assess the capabilities of the three main components of the system: the grasp recognizer, the vision-based environment modeling system, and the grasp synthesizer.     

机器人卫星地面实验平台全局视觉系统

机器人卫星地面实验平台是研制机器人卫星的重要手段。本文针对所开发的机器人卫星地面实验平台，设计了全局视觉，完成机器人卫星姿态分析、目标和障碍物的识别与定位。