基于平面运动约束的移动机器人位姿估计

针对大部分基于单目相机的位姿估计方法只适用于平面场景的问题,提出了一种同时适用于 平面场景和立体场景的单目位姿估计方法．首先,将所有图像与参考帧进行特征匹配;然后,提取每 帧图像中都出现的特征点的像素坐标,并结合地平面约束和相机内参矩阵构建出观测矩阵;其次, 对观测矩阵进行奇异值分解得到各帧图像的位姿估计,并利用约束矩阵解决奇异值分解不唯一问 题;最后,利用光束平差法优化图像位姿,得到机器人位姿的最优估计．实验结果表明：该方法能准 确对移动机器人进行位姿估计．     

基于稀疏直接法的SLAM算法

SLAM技术已经应用到了智能机器人、无人机、AR/VR、无人驾驶等领域中,但当前的SLAM算法在运行速度、相机轨迹精度和鲁棒性等方面依然存在改善空间。为了提高SLAM中相机轨迹精度,提出了基于稀疏直接法的SLAM算法。该算法使用改进的Shi-Tomasi特征点检测算法进行特征点的提取,然后依据提取的特征点采用直接法进行相机位姿估计,同时利用构建的地图进行位姿优化,有效地提高了相机位姿估计精度。针对TUM标准数据集,通过对比分析可知,基于稀疏直接法的SLAM算法可以有效地减少误差,相机轨迹精度优于ORB-SLAM2算法。     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

面向深度相机位姿优化的帧间点云数据配准算法

TOF相机能够同时采集灰度图像和深度图像从而优化相机位姿的估计值. 应用图结构调整框架优化多帧数据采集时的相机位姿,采用帧间配准决定优化的精度和效率. 从2帧图像上提取并匹配尺度不变特征点对,二维特征点被扩展到三维空间后,利用与特征点的空间位置关系将2帧三维点云配准;逐步应用提出的算法配准参与位姿优化的多帧点云中的任意2帧点云;最后将有效配准的点云帧对作为输入数据,采用图结构算法优化位姿. 实验结果表明,提出的帧间配准算法使得位姿估计值精度显著提高,同时保证了估计效率.     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

基于循环神经网络的双目视觉物体6D位姿估计

针对当前物体6D位姿估计任务准确率较低的问题，提出双目数据集制作方法及物体6D位姿估计网络Binocular-RNN.将YCB-Video Dataset中已有图像作为双目相机左摄像头捕获内容，利用Open GL将YCB-Video Dataset中相应三维物体模型进行导入，输入各物体相关参数，由虚拟双目相机右摄像头捕获合成图片.利用单目预测网络分别对双目数据集中左、右图像的几何特征进行提取.经过循环神经网络对几何特征进行融合，并预测物体6D位姿.以模型点平均距离(ADD)、平均最近点距离(ADDS)、平移误差和角度误差作为评价指标,对Binocular-RNN与其他位姿估计方法进行对比.结果表明，在利用单一物体对网络进行训练时，Binocular-RNN的ADD或ADDS指标得分分别为PoseCNN、GDR-Net的2.66、1.15倍.利用基于物理的实时渲染（Real+PBR）方式训练的Binocular-RNN的性能超过基于深度神经网络的迭代6D姿态匹配的方法 (DeepIM).     

航天器交会对接位姿视觉测量迭代算法

针对航天器交会对接过程中利用单目视觉进行相对位姿参数确定问题,利利用由目标航天器上4个非共面设置的特征光标点和追踪航天器上单个CCD相机组成的交会对接航天器单目视觉测量系统,推导了交会对接航天器间相对位姿参数测量的迭代算法,将相对位姿参数求解问题转化为非线性优化问题,在目标航天器像平面空间内推导优化目标函数,利用Levenberg-Marquardt算法求解该非线性优化问题,并选择一解析算法以快速求解迭代初值,仿真结果表明算法的有效性和可靠性,能够满足交会对接航天器测量精度要求。     

融合梯度密度的点线视觉SLAM算法改进

针对视觉同步定位与地图构建(Simultaneous Localization and Mapping, SLAM)方法在相机快速运动中容易导致图像模糊,以及在稠密场景中线特征提取易造成信息冗余等问题,提出一种融合梯度密度的点线视觉SLAM算法改进。该算法首先利用前后图像帧之间特征点数量信息对模糊图像进行筛选,并使用高斯模糊进行优化处理,得到匹配效果更佳的图像帧。然后利用点特征信息判断是否引入线特征,并引入图像像素梯度密度对LSD(Line Segment Detection)线特征进行多维优化,提取出稳定线特征以提高后续匹配质量。最后结合点线特征误差构建误差函数,最小化投影误差提高位姿估计精度。算法在TUM数据集下进行测试,实验结果表明本算法可以有效提升特征提取的稳健性,进而提高相机位姿估计与建图的精度。     

一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

基于单CCD尺寸检测的摄像机标定方法

为提高机械零件尺寸检测的精度,针对Tsai两步标定法中初始参数不精确的问题,提出了基于直线投影约束的三步标定方法.该方法首先利用直线投影约束条件求解出图像中心点和畸变参数的初始值,然后结合径向排列约束条件求解超定方程组得出全部外部参数和余下内部参数值,最后对全局参数进行非线性优化.为验证提出方法的效果,通过建立基于图像模板的世界坐标系实现,即首先利用图像像素坐标求取摄像机坐标,再将摄像机坐标进行归一化,利用外参数矩阵就可以求解出图像点的世界坐标.结果表明,该方法可以有效提高摄像机标定的精度,像素误差可达0.126 5像素点,单目视觉尺寸检测中任意两点距离误差小于0.41%.     

Optimization algorithm for estimating the human pose by using the morphable model

An optimization algorithm is proposed utilizing the video data and point cloud data captured by the depth camera to solve the problems such as error-proneness and incoherence of motion sequence caused by the existing human pose estimation algorithms based on the morphable model. For video data, the neural network is first used in extracting the model parameters from each color image frame. Next, the human key-points and contour constraint are considered to optimize the above parameters. Then the coherence between every two consecutive frames is utilized to correct the error of pose estimation, thus making the resulting motion sequence smoother. In addition, the point cloud and the model obtained from the corresponding color image frame are used as the joint input to further improve the estimation accuracy. Finally, the distance between the point cloud and the corresponding point of the model is constrained to be as small as possible to obtain a more reasonable solution. The proposed algorithm and the state-of-the-art algorithms are compared qualitatively and quantitatively on the data set and real video set. Experimental results show that the algorithm can effectively correct the error and incoherence in the single-frame pose estimation results and greatly improve the accuracy when using point cloud data optimization.     

单目视觉坐标测量方法

为了解决现代化生产中对高精度、大尺寸、三维整体现场在线测量技术的需求问题,提出了一种基于光学测头成像的单目视觉坐标测量方法。该方法以光学测头上的光学特征点作为成像目标,利用单个摄像机获取测量信息。测量过程中,通过分析光学测头上光学特征点的二维成像坐标,利用特征点之间已知的几何约束知识和摄像机的透视投影模型,建立特征点与对应像点的求解关系。通过基于奇异值分解的位姿优化算法确定特征点的空间位置坐标。根据特征点与测尖间已知的位置约束关系确定被测点的空间坐标,从而实现坐标测量目的。测试实验结果表明,该方法切实可行,系统的测量不确定度小于0.32mm。     

基于PTZ摄像机的行车吊钩主动跟随算法

传统固定式摄像机由于其监控的狭隘性与被动性,无法自适应调整其焦距值来获得目标清晰图像,使得行车吊钩跟随具有较大的挑战性。因此,提出一种基于PTZ摄像机的行车吊钩主动跟随算法。首先通过摄像机标定求解摄像机初始状态角度和内置参数K中的焦距值,利用几何投影关系,建立摄像机与车间坐标系的动态成像模型,根据模型和行车吊钩位置估计摄像机的P、T、Z值;然后针对高分辨率图像逐渐偏移图像中心区域的问题,采用特征点自动对准算法,二次计算摄像机的P、T增量;最后基于估计的P、T、Z值及其增量,调用摄像机接口函数进行姿态调整,使行车吊钩始终位于图像中心,完成主动跟随任务。实验结果表明,该算法可以很好地适用于大视场下的目标跟随。同时,该算法需要实时采集目标点的世界坐标,因此同样适用于装有GPS定位设备或者距离传感器等的目标跟随。     

基于空间约束的自适应单目3D物体检测算法

引入无须先验模版匹配的3D目标检测算法,通过简化消失点（VP）计算和改进角点提取等步骤,提出一种自适应的单目3D物体检测算法. 针对复杂场景下VP 计算易受干扰的问题,根据室内场景中世界坐标系、相机以及目标物体之间的空间关系,建立目标、相机偏航角与VP之间的约束模型,提出一种基于空间约束的 M 估计子抽样一致性（MSAC）消失点计算方法;为了提高3D框的估计精度,在VP透视关系的基础上,提出一种自适应估计3D框角点的方法,通过建立目标3D轮廓线与2D框的空间约束关系,实现目标物体的3D框快速检测. 相关数据集的实验结果表明,所提方法相比于其他算法不仅在室内场景下具有估计精度高、实时性好的优势,而且在室外场景实验下也具有更好的精度和鲁棒性.     

基于改进形状上下文的双焦图像深度估计

针对深度估计时两幅双焦图像特征点的误匹配问题,提出了一种基于改进形状上下文特征点的校正方法。首先引入了对尺度、视角、光照等具有不变性的SSURF特征向量,利用SSURF特征向量匹配算法在双焦单目视觉系统采集的焦距不同的两幅图像之间进行目标SSURF特征点的匹配。提出一种改进的形状上下文描述符,对局部特征匹配点对进行误匹配的校正。然后根据空间物点与所成像点距图像中心矢量大小及摄像机的焦距值之间的几何关系,利用校正后的特征点完成相关的计算从而获取目标物的深度信息。实验表明,校正后的方法进行深度估计具有较小的误差和较好的估计效果。该深度估计方法有较大的实用价值。     

Relative Attitude and Position Estimation for Spacecraft from Multiple Geometric Features

This paper investigates the pose and motion estimation problem using single camera measurement for spacecraft. The leader spacecraft of three-dimensional shape is observed by a calibrated camera fixed on the follower spacecraft. Based on dual numbers, an integrated observation model is proposed based on a combination of multiple geometric features including points, lines and circles, which can improve the robustness and accuracy of the estimation algorithm. A six-degree-of-freedom relative motion model is proposed by using the dual quaternion representation, in which the rotation-translation coupling effect due to the points deviating from the center of the mass is described. Employing the proposed observation model and dynamics model, an Extended Kalman Filter is presented to estimate the relative state between the two spacecraft. Numerical simulations are performed to evaluate the proposed approaches, showing the convergence of relative estimation errors and superior estimation performance.