基于TOF相机的非合作矩形目标三维位姿测量方法

针对目前空间非合作矩形目标位姿测量过程中提取像素级特征点误差大、距离测量值不稳定等导致的测量精度不高的问题,提出一种基于TOF（Time-of-Flight）相机的非合作矩形目标三维位姿测量方法。首先对灰度图像进行修正的FAST特征点提取,然后分别计算提取出的特征点在相机坐标系和目标坐标系下的三维坐标,最后检测矩形目标亚像素级角点并融合30帧距离信息后再计算姿态角。实验结果表明,对于1m距离范围内边长为50mm的非合作矩形目标,Z轴、X轴、Y轴方向位置测量的绝对误差平均值分别为2.65mm、1.28mm、0.60mm。姿态角γ测量的绝对误差平均值降为0.52°。相对于传统的基于点云配准的位姿测量方法,姿态角测量的绝对误差降低了48.0%,显著地提高了非合作目标三维位姿测量的精度和稳定性,具有广泛的应用前景。     

一种空间非合作目标相对位姿紧耦合估计方法

航天活动中的许多任务如对目标的绕飞观测和逼近停靠等测控任务,其中的关键技术之一是相对位姿估计,而对非合作目标的相对位姿估计更是其中的重点与难点。针对该难点,提出了一种融合单目相机和激光测距仪的空间非合作目标相对位姿紧耦合估计方法。采用单目相机获取目标序列图像,在初始化时利用激光测距仪解决单目相机尺度模糊性问题,构建真实尺度下的世界坐标系,在后续对非合作目标进行连续位姿估计时,使用紧耦合的形式融合相机与激光测距仪数据来优化估计位姿,并且解决估计漂移问题。最后使用Blender软件生成空间非合作目标序列图像,仿真验证了本文算法能稳健地得到较高精度的空间非合作目标的相对位姿,且拥有较好的实时性。     

基于立体视觉的非合作目标位姿测量

非合作航天器间相对位姿(位置和姿态)测量,是实现非合作目标的交会与捕获等在轨服务的前提。本文研究一种基于立体视觉的位姿测量方法,包括图像采集、图像滤波、边缘检测、特征提取、目标识别、3D重建、相对位姿计算等步骤,并分别进行计算机仿真和在自制物理平台上的验证实验。仿真实验结果验证了该方法的准确性和有效性。     

目标位姿测量中的三维视觉方法

要测量出一组特征点分别在两个空间坐标系下的坐标，就可以求解两个空间目标间的位姿关系，实现上述目标位姿测量方法的前提条件是要保证该组特征点在不同坐标系下，其位置关系相同，但计算误差的存在却破坏了这种固定的位置关系，为此，提出了两种基于模型的三维视觉方法－基于模型的单目视觉和基于模型的双目视觉，前者从视觉计算的物理意义入手，通过简单的约束迭代求解实现模型约束，后者则将简单的约束最小二乘法和基于模型的单目视觉方法融合在一起来实现模型约束，引入模型约束后，单目视觉方法可以达到很高的测量精度，而基于模型的双目视觉较传统的无模型立体视觉方法位移精度提高有限，但姿态精度提高很多。     

基于线段融合的空间非合作目标稳健特征提取算法

相对位姿测量是空间非合作目标态势感知的主要内容,在位姿测量中,需要先对目标图像进行特征提取,而特征提取的精度和鲁棒性直接影响位姿测量性能。为了提高空间非合作目标特征提取的鲁棒性,本文给出一种基于线段融合的特征提取算法。该算法首先采用基于梯度的滤波器来消除空间目标图像的背景干扰,然后采用LSD直线检测算法、Hough Lines直线检测算法和Shi-Tomasi角点检测算法提取三组特征点,再用K-D空间划分树以及K最近邻搜索算法融合这三组特征点,保留包含显著特征的较少数量特征点,进一步组合成线段结构,并对线段进行融合,以此来提取反映目标整体几何框架的信息,从而提升稳健性。仿真实验和半物理仿真实验测试结果表明,本文提出的基于线段融合的特征提取方法在空间目标特征提取中具有更好的稳健性。     

基于单目视觉的电动公交车自动更换电池系统

目前电动公交车所用电池沉重而体积大,人工更换时存在挪动调整费力、精确定位困难等问题。针对这些问题,提出一种基于单目视觉的电动公交车自动更换电池系统。该系统使用单目摄像机获取图像,对蓄电池箱的空间位姿进行测量,再通过两级导轨和旋转机构将蓄电池调整到指定位置。位姿测量时采用基于点特征的单目视觉测量算法,提取蓄电池箱的四个角点作为特征点,根据特征点在物体坐标系下以及在CCD成像面上的坐标值,在空间投影模型的基础上求解出物体坐标系相对于摄像机坐标系的变换矩阵,从而求得蓄电池箱的空间位姿。实验证明该方法具有较高的可靠性,并且满足实际问题的精度要求。     

增强现实环境下复杂板材的三维位姿跟踪方法

针对增强现实(AR)技术在实际工业生产场景应用中遇到的实时目标监测、复杂场景识别等问题,提出基于线特征求解板材三维位姿变化量的目标位姿跟踪方法,在单目摄像头环境下即可实现复杂表面板材的位姿监测与拟合。在利用头顶摄像头检测工件状态后,首先将当前帧图像进行降采样,再在HSV空间对进行图像预处理,并利用形态学梯度和改进的直线分割检测(LSD)直线算法提取边缘直线,然后结合模板图像的边缘直线以及利用多项式回归拟合关系曲线的方法求解出天线板的位姿变化量。实验结果表明:所提的基于改进的LSD算法提取线特征位姿监测方法相比基于ORB特征点和纹理特征位姿跟踪方法具有求解速度快、鲁棒性好等优点。     

基于立体视觉的非合作航天器相对导航

非合作航天器其没有可交互的传感器,传统的相对导航方法难以满足精度要求。根据非合作航天器相对导航特点,提出一种基于立体视觉的空间非合作目标相对导航算法。方法使用安装在追踪航天器上的立体视觉相机作为测量传感器,实现目标在追踪航天器体坐标系下相对位置的测量。在惯性坐标系下建立航天器相对运动方程,并离散化作为系统的状态方程,利用立体视觉的测量信息作为量测值,在此基础上设计基于卡尔曼滤波(Kalman filter)的两步滤波相对导航算法,实现航天器间相对导航状态的实时估计,仿真结果显示算法实时性、有效性,导航方法收敛速度较快,精度高,满足相对导航要求。     

基于三条相互垂直直线的单目位姿估计

基于单目视觉的位姿估计是计算机视觉中的典型问题之一。文中利用目标物体上的三条相互垂直的直线特征和相机像平面上这些特征的对应获得已标定相机相对于目标物体的位姿参数,给出其闭式求解方法,并证明问题解的数量与相机光心和三条直线的相对位置有关。当光心位于两个特殊平面以外时存在唯一解,反之若在该两个平面之间则存在两个解,并且这两个解具有对称性,该性质可作为合理解的判别依据。由于三条相互垂直的直线是长方体的三条边缘,而长方体在现实世界中广泛存在,该结论为应用直线特征进行单目视觉位姿估计及合作目标设计提供理论依据。     

高空对接设备视觉校验对接优化过程

高空对接设备受到波动和高温蠕变等因素的影响,存在对接控制难度高、工作量大等问题,传统设备对接过程无法解决对接环的波动特征,得到的对接环外缘和中心的相对位姿存在明显的误差,不能对高空对接设备进行准确的对接操作.提出一种机器视觉辅助的高空对接设备视觉校验对接监控方法,将高空对接设备对接面“环带”当成校验对接分析的特征区域,完成对接环“色彩”、对接环外缘以及中心的校验分析,对对接环图像特征点进行匹配分析,实现高空设备对接环特征的校验和跟踪,分析了机器视觉校验跟踪对接环位姿的算法,采用直线规划方法对对接环外缘和中心的位姿进行调整,实现高空对接设备视觉校验对接的准确监测和调控,提高了高空设备对接的精度.实验结果说明,机器视觉图像处理算法能够精确校验跟踪对接环面,具有较高的校验精度,符合高空飞机对接监测的需求.     

Vision-based position and pose determination of non-cooperative target for on-orbit servicing

For finding an effective measurement for space non-cooperative targets in close distance, a vision-based position and pose determination algorithm of non-cooperative target for on-orbit servicing is investigated. First, the satellite-rocket docking ring’s region is separated from the background environment by a selected grayscale thresholding method and the Canny operator algorithm is used to extract the edge of the satellite-rocket docking ring. Furthermore, the mathematical alignment of the image plane and binocular stereo matching are used to obtain the correspondence of 3D points. Finally, the model of 3D reconstruction is established to determine the relative position and pose of the satellite-rocket docking ring. The ground simulation test shows that our method can measure the relative position and pose of the satellite-rocket docking ring effectively. The precision of the relative position is 0.001 m and that of the relative attitude is 0.1 deg., which satisfies the requirements of the relative measurement for non-cooperative target in extra-close range.

     

A monocular structured light vision method for pose determination of large non-cooperative satellites

A space robotic system is expected to perform on-orbit servicing missions to rescue malfunctioned satellites in geostationary orbit (GEO). In final berthing and capture, it is difficult for a space robot to determine the relative pose (attitude and position) of a non-cooperative malfunctioned satellite that is usually huge and without artificial recognition devices. In this paper, a space robot with a monocular structured light vision subsystem is introduced to solve the problem. Firstly, the monocular structured light vision subsystem composed of a single camera and a point light source is designed. Secondly, a partial rectangular shaped framework, which is very common on a non-cooperative malfunctioned satellite, is chosen as the recognition object for non-cooperative pose measurement. Using projection constraints on rectangle and circular points, a rectangle feature reconstruction algorithm is proposed. Thirdly, according to the reconstructed rectangle feature, a least square method of pose determination is presented. Lastly, using a semi-physical vision simulation system, several experiments of typical cases are simulated to verify the pose determination method of large non-cooperative target. The results show the validity and flexibility of the proposed method.     

一种基于运动的线结构光视觉测量系统标定方法

针对船体分段数字化测量提出了一种基于直角坐标机器人的线结构光视觉测量系统.通过控制机器人的运动,安装在其末端的线结构光视觉传感器对固定的平面靶标成像,实现了摄像机坐标系与机器人坐标系位姿关系标定;同时利用交比不变性原理获取平面靶标上的特征点坐标,完成了结构光平面参数的标定.该方法易于实现,通过对已知的标准工件进行测量实...     

适用于非合作目标捕获的轻量级位姿估计网络

空间非合作目标的增多导致太空安全受到严重威胁,对非合作目标进行捕获回收具有维护空间安全、节约资源等现实意义。非合作目标捕获回收需要进行位姿估计,而目前在硬件资源有限的航天器平台上,现有的大多数非合作目标位姿估计算法无法同时满足及时性和准确性的要求。设计一种超轻量级目标检测网络YOLO-GhostECA,利用GhostBottleneck网络减少特征图冗余,并使用高效注意力机制提取核心特征图,以降低模型参数,在提升运算速度的同时保证精度水平几乎不下降。根据YOLO-GhostECA网络的检测结果粗略估计姿态,以协助机械臂更加合理地执行智能捕获任务,解决2D识别算法无法检测出物体姿态的问题。在7自由度冗余机械臂上开展的空间非合作目标捕获地面模拟的实验结果表明,与YOLOv5s网络相比,该网络模型大小减小了80.4%,运算复杂度降低了78.9%,而精度基本保持不变,可准确快速地对非合作目标进行位姿估计,能够引导机器人成功捕获非合作物体。     

非合作式自主交会对接的终端接近制导控制器设计

研究了非合作式自主交会对接的终端接近控制问题：针对具有强非线性和耦合性的视线相对运动状态方程,提出了一种精确的制导控制方法;应用Lyapunov稳定性理论证明了在所提出的制导方法控制下系统的稳定性;最后,用精确的数学模型进行了数值仿真,验证了制导方法的正确性和有效性。     

一种基于线结构光的水下目标3维信息测量方法

针对现有水下探测方式精度不佳、标定误差较大、效率较低等不足,设计了一种基于线结构光的水下目标3维信息测量方法。首先利用交比不变原理求解特征点在世界坐标系下的相对位置,随后基于像面特征点的方向向量及特征点的位置信息求解其在相机坐标下的真实坐标值,利用多个特征点完成结构光平面的标定。通过目标物扫描实验验证了该方法的可行性及有效性。线结构光平面的标定仅需要对特制的简单结构立体靶标进行一次扫描即可完成,无需多次移动靶标,避免了人为误差的影响。在标定线结构光平面的同时可以同步完成位移平台各自由度的位移速度标定,有效降低了实验平台系统误差,在提升系统精度的同时也极大地提升了整个系统标定过程的效率,非常适用于大尺度线结构光系统在水下现场标定。经验证,扫描水下目标物所得3维点云坐标沿X、Y轴方向的误差均小于2%,沿Z轴方向的误差略大,平均误差2.77%。     

空间非合作目标在轨主/被动融合跟踪方法

针对空间远距离非合作目标的点目标跟踪问题,研究基于非地面测控数据支持的远距离空间目标的在轨主/被动融合跟踪方法。包括运用基于被动传感器以及雷达间歇辅助测距跟踪的Unscented卡尔曼滤波(UKF)方法,得到非合作目标的运动状态信息,即利用光学跟踪摄像机的二维角度量测值及雷达间歇提供的距离量测值,估计目标的惯性位置与速度方法,为后续自主空间操作建立初始轨道状态数据。仿真结果表明,当状态误差和量测噪声改变时,UKF均能持续跟踪远距离非合作目标,使得雷达间歇提供的距离信息可以得到更好的跟踪精度。     

Incremental visual servo control of robotic manipulator for autonomous capture of non-cooperative target

This paper develops a new autonomous incremental visual servo control law for the robotic manipulator to capture a non-cooperative target, where the control input is the incremental joint angle to avoid the multiple solutions in the existing inverse kinematics. The position and motion of the non-cooperative target are estimated by an eye-to-hand vision system in real time by integrated photogrammetry and extended Kalman filter. The estimated position and motion of the target are fed into the newly developed position-based visual servo control law to drive the manipulator incrementally towards the dynamically predicted interception point between trajectories of the end effector and the target. To validate the proposed approach, a hardware-in-the-loop simulation has been conducted where the position and motion of the target is estimated by a real eye-to-hand camera and fed into the simulation of the robotic manipulator. The simulation results show the proposed incremental visual servo control law is stable and able to avoid the multiple solutions in the total inverse kinematics.     

弧焊机器人视觉测量控制系统

提出了一种基于结构光的弧焊机器人双目立体视觉测量控制系统。该系统硬件主要由结构光发射器、CCD摄像机、机器人、焊机以及通过局域网连接的两台控制计算机组成。从结构光照射形成的两幅图像中提取对应特征点,结合摄像机和激光器之间的几何位置关系,分别求取三组对应的特征点空间坐标,经过信息融合后得到特征点对应的空间位置。利用递推最小二乘法拟合焊缝的空间位置,根据一定的步长选取对应直线上的点传送到运动控制计算机以进行运动轨迹规划,并通过运动控制卡驱动机器人运动完成焊接任务。实验表明该系统性能较好。     

基于线结构光扫描的结冰冰形三维测量

现有三维扫描仪进行结冰冰形测量时需喷涂显影剂,无法满足结冰生长过程3D冰形在线测量需求。为此,基于线结构光扫描,提出了结冰冰形三维测量方法,搭建了基于传送带的线结构光扫描冰形测量装置,对线结构光视觉测量系统进行标定,获取了摄像机和激光平面方程参数,采用改进的梯度重心法实现了低对比度冰体图像激光光带亚像素中心位置提取,结合标定结果计算了冰体轮廓线三维坐标,再根据传送带运动距离,对冰体轮廓线逐行拼接,得到整个冰体三维测量点云。实验结果表明,对半径已知的圆柱形冰块进行轮廓线测量,相对误差为0.157 mm。