3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

摄像机主动位姿协同的人脸正视图像获取方法

为了主动调整摄像机的位置姿态以在物方空间降低由人脸旋转带来的影响,提出人脸-摄像机主动位姿协同方法. 利用工业摄像机与同步带类运动控制器搭建位姿协同环境,根据单像空间后方交会方法求解运动人脸姿态角和相对位置,计算人脸、摄像机和运动控制器各坐标系之间的映射关系,摄像机运动由相邻采样时刻摄像机相对位置和人脸姿态角计算得出的摄像机协同位姿控制,主动、实时地获取人脸正视图像. 实验表明,运动轴上的摄像机点位误差小于10 mm,取得的人脸正视图像提高了人脸纠正的精准度与鲁棒性.     

面向深度相机位姿优化的帧间点云数据配准算法

TOF相机能够同时采集灰度图像和深度图像从而优化相机位姿的估计值. 应用图结构调整框架优化多帧数据采集时的相机位姿,采用帧间配准决定优化的精度和效率. 从2帧图像上提取并匹配尺度不变特征点对,二维特征点被扩展到三维空间后,利用与特征点的空间位置关系将2帧三维点云配准;逐步应用提出的算法配准参与位姿优化的多帧点云中的任意2帧点云;最后将有效配准的点云帧对作为输入数据,采用图结构算法优化位姿. 实验结果表明,提出的帧间配准算法使得位姿估计值精度显著提高,同时保证了估计效率.     

结合注意力与无监督深度学习的单目深度估计

针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。     

利用计算机视觉检测汽车车轮定位参数

应用计算机视觉理论建立了图像坐标系和摄像坐标系;根据汽车车轮在运动中的2幅头影图像空间点坐标变换原理推导了图像上的对应点的运动方程。在此基础上建立了计算车轮定位参数的数学模型;基于模型建立了车轮定位参数检测实验系统,并验证了该数学模型的正确性。     

基于模型的巡线机器人无碰避障方法研究

结合课题组所设计的巡线机器人,利用线路环境结构化的特点,通过霍尔接近传感器精确定位障碍物与机器人之间的位姿关系,采用D-H法构建巡线机器人运动学模型,将障碍物固连一个空间坐标系,最终可在与定位点固连的机器人基坐标系中空间重构障碍物及机器人越障手臂.在机器人越障手臂与障碍物空间位姿关系可测的情况下,并考虑到机器人越障时间短为实际需要,规划一条最短无碰越障路径.最后通过实验验证了基于模型的无碰避障的有效性.     

4TPS-1PS四自由度并联电动平台动力学建模与位姿闭环鲁棒控制

4TPS-1PS四自由度并联平台是针对稳定跟踪系统需要而设计的一种新型并联机构,具有3个独立的转动自由度和1个移动自由度.对该新型并联平台进行运动学分析,将其分为上平台、电动缸、从动支链3个部分,利用拉格朗日方法建立了完整动力学模型,在此基础上提出一种适用于该并联平台的位姿闭环鲁棒控制策略.采用该并联平台特有的实时正解得到上平台实际位姿进行反馈,将平台作为一个整体进行控制,在任务空间内设计滑模变结构控制器,进行两自由度复合运动控制实验.结果表明,该控制策略是有效的,提高了平台的轨迹跟踪精度,平均位姿跟踪精度优于0.05°.     

深度约束的海底控制网点坐标确定方法

为解决传统水下控制网解算中基于三维空间距离交会确定控制点坐标存在的垂直解不稳定问题,借助压力传感器提供的深度信息,提出了融合深度差的二维平差方法和附加深度的三维约束平差方法.融合深度差的二维平差方法将深度差作为已知值,将三维空间交会问题转换为二维平面交会问题,在二维平面构建平差模型,确定水下控制点坐标;附加深度的三维约束平差方法将深度作为高精度观测值和约束条件,并与空间距离方程联合解算,确定水下控制点坐标.在松花湖水域进行实验,结果表明,两种方法均将水下控制点解算精度提高了2~5倍,说明在水下控制网解算过程引入深度信息构建平差模型,有助于提高控制网点坐标三维解的稳健性和精度.     

基于深度特征的单目视觉惯导里程计

视觉里程计是SLAM (Simultaneous Localization and Mapping)领域中的基石,单目视觉里程计因其成本低廉和仅需较少的相机标定工作而占据着重要的地位,但它存在着尺度不确定、尺度漂移、鲁棒性差等缺点。本文在ORB＿SLAM3的基础上,提出了一种基于深度特征的单目视觉惯导里程计,简称DF-VIO(Visual Inertial Odometry Based on Deep Features),它采用深度学习网络提取的深度特征替代传统的人工点特征,并融合了人工线特征,强化了系统在现实复杂场景下的鲁棒性;另外,系统提供了多种位姿跟踪方式,除了基于恒速模型和跟踪参考关键帧的方式外,还提供了一种基于深度学习网络的可重复性图的位姿跟踪方法,进一步提高了系统位姿跟踪的精度。在公开数据集Eu Ro C上进行对比实验,在纯视觉模式下,平均轨迹误差下降了25.9%,在视觉惯导模式下,平均轨迹误差下降了8.6%,证明了本文提出的系统在复杂的场景下能够具有更高的鲁棒性。     

Pose optimization based on integral of the distance between line segments

In this paper, new solutions for the problem of pose estimation from correspondences between 3D model lines and 2D image lines are proposed. Traditional line-based pose estimation methods rely on the assumption that the noises(perpendicular to the line) for the two endpoints are statistically independent. However, these two noises are in fact negatively correlated when the image line segment is fitted using the least-squares technique. Therefore, we design a new error function expressed by the average integral of the distance between line segments. Three least-squares techniques that optimize both the rotation and translation simultaneously are proposed in which the new error function is exploited. In addition, Lie group formalism is utilized to describe the pose parameters, and then, the optimization problem can be solved by means of a simple iterative least squares method. To enhance the robustness to outliers existing in the match data, an M-estimation method is developed to convert the pose optimization problem into an iterative reweighted least squares problem. The proposed methods are validated through experiments using both synthetic and real-world data. The experimental results show that the proposed methods yield a clearly higher precision than the traditional methods.     

并联机构实现舱段对接的位姿测量方法及试验研究

针对目前串联对接技术的不足,为实现舱段自动对接,研制了一套以激光跟踪仪为测量设备,并联机构为对接机构的舱段对接系统,提出了一种位姿测量及换算方法,旨在为并联机构实现舱段对接提供可靠的调姿运动参数.首先,以特征测量为基础,匹配移动舱段与激光跟踪仪之间的坐标系关系,将移动舱段坐标系作为中间坐标系,分别构造移动舱段与动平台及...     

Vision navigation for aircrafts based on 3D reconstruction from real-time image sequences

In this paper,we propose a novel vision navigation method based on three-dimensional(3D)reconstruction from real-time image sequences.It adapts 3D reconstruction and terrain matching to establish the correspondence between image points and3D space points and the terrain reference(by using a digital elevation map(DEM)).An adaptive weighted orthogonal iterative pose estimation method is employed to calculate the position and attitude angle of the aircraft.Synthesized and real experiments show that the proposed method is capable of providing accurate navigation parameters for a long-endurance flight without using a global positioning system or an inertial navigation system(INS).Moreover,it can be combined with an INS to achieve an improved navigation result.     

基于单影像视觉的建筑物三维重建

研究了以航空遥感影像为基础的单影像建筑物三维重建的方法。由于航空遥感影像近似竖直摄影的特性,倾斜角非常小,几乎接近于零,而且内方位元素已知。本文的方法是在没有地面控制点的情况下,通过自动或者人工获取的建筑物角点的像平面坐标,利用内方位元素和地面建筑物的长度等相对控制条件,直接用共线方程和平行线条件,在局部坐标系中同时求解影像的外方位元素与建筑物的宽度和高度。从而获得建筑物的外形轮廓并实现建筑物的三维重建。实验证明,从单影像上提取和重建建筑物,在没有该地区的立体影像时,或者没有地面控制的情况下,对于无遮挡的、呈规则几何形状的建筑物是一种比较简单实用的三维重建途径。     

无人机跟踪系统仿真平台的设计与实现

为解决无人机(Unmanned Aerial Vehicle, UAV)在进行地面目标跟踪实验时,存在验证难度大,成本高等问题,设计和实现了基于视景仿真软件和MATLAB/Simulink的仿真平台.首先,选择汽车作为地面目标,在视景仿真软件中导入UAV和汽车的三维模型,并设置虚拟云台和摄像机.其次,利用UAV、汽车与云台之间的相对运动模拟UAV跟踪过程中场景的变化,基于运动补偿的云台控制算法保证了虚拟摄像机始终指向目标.然后,虚拟摄像机采集目标所在区域的图片,图像跟踪算法跟踪图片中的目标,并利用目标图像模型解算目标在世界坐标系下的位置.最后,根据目标位置,使用参考点制导法生成期望的滚转角指令,引导UAV围绕目标盘旋飞行.视景仿真软件、图像跟踪算法和MATLAB/Simulink之间通过共享内存与UDP进行闭环通信.此外,提出一种实用可靠的标定方法,完成了视景仿真软件中虚拟摄像机内参矩阵的标定.仿真结果表明:该仿真平台能较好地模拟UAV对不同运动状态汽车的跟踪,得到的仿真结果具有较高的工程参考价值.本文的研究成果为目标跟踪实验提供了良好的仿真环境,有效减少实验成本.     

一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

Optimization algorithm for estimating the human pose by using the morphable model

An optimization algorithm is proposed utilizing the video data and point cloud data captured by the depth camera to solve the problems such as error-proneness and incoherence of motion sequence caused by the existing human pose estimation algorithms based on the morphable model. For video data, the neural network is first used in extracting the model parameters from each color image frame. Next, the human key-points and contour constraint are considered to optimize the above parameters. Then the coherence between every two consecutive frames is utilized to correct the error of pose estimation, thus making the resulting motion sequence smoother. In addition, the point cloud and the model obtained from the corresponding color image frame are used as the joint input to further improve the estimation accuracy. Finally, the distance between the point cloud and the corresponding point of the model is constrained to be as small as possible to obtain a more reasonable solution. The proposed algorithm and the state-of-the-art algorithms are compared qualitatively and quantitatively on the data set and real video set. Experimental results show that the algorithm can effectively correct the error and incoherence in the single-frame pose estimation results and greatly improve the accuracy when using point cloud data optimization.     

Design of dead reckoning system for mobile robot

A dead reckoning system for a wheeled mobile robot was designed, and the method for robot＇s pose estimation in the 3D environments was presented on the basis of its rigid-body kinematic equations. After analyzing the locomotion architecture of mobile robot and the principle of proprioceptive sensors, the kinematics model of mobile robot was built to realize the relative localization. Considering that the research on dead reckoning of mobile robot was confined to the 2 dimensional planes, the locomotion of mobile robot in the 3 coordinate axis direction was thought over in order to estimate its pose on uneven terrain. Because the computing method in a plane is rather mature, the calculation in height direction is emphatically represented as a key issue. With experimental results obtained by simulation program and robot platform, the position of mobile robot can be reliably estimated and the localization precision can be effectively improved, so the effectiveness of this dead reckoning system is demonstrated.     

服装立体设计中的非接触测量技术

论述了用于服装立体设计的人体非接触测量系统 ,即利用摄像获取人体特征线的三维信息。基于双目视觉理论 ,在单相机、自然光的条件下 ,人台旋转 ,摄像机保持不动 ,对人台的不同角度进行拍照。根据服装CAD的特点 ,采用适当的配置处理方法 ,获取人体特征线的三维信息。摄像机相对人体仅在水平方向移动 ,垂直方向不变。这样不同图像上的对应点只是X坐标不同 ,而Y坐标相同。竖直方向的线 ,可以采用在小范围内Y坐标相同的有效点为对应点。对于水平方向的线 ,可做分段处理 ,标记段的端点 ,使其在不同的图像中求出精确对应点 ,段内的点可乘以一比例因子求相似对应点。不规则曲线可按其曲线的曲率的大小分别采用第一种方法或第二种方法。实验证实了该方法的有效性。     

视觉测量中光学测头姿态估计方法

基于光学测头特征点成像的单机视觉坐标测量系统具有测量空间大、测量精度高及可进行现场测量等优点,是替代传统的大型坐标测量机的最有发展前途的技术方案之一.为实现该测量方法,必须先解决光学测头姿态估计问题,为此,提取一种利用SVD与矢量观测值的姿态确定方法.首先,通过基于SVD的5点优化算法确定特征点的空间坐标;然后,利用特征点的测头坐标和空间坐标建立关于测头坐标矢量、像机坐标矢量的矩阵方程,优化求解矩阵方程确定光学测头(测头坐标系)相对于像机坐标系的姿态.该算法利用所有数据冗余信息,提高了测量系统的精度和稳定性.实验证明,该算法切实可行,系统的单点重复性及测量不确定度<0.1 mm.