基于单目视觉的电动公交车自动更换电池系统

目前电动公交车所用电池沉重而体积大,人工更换时存在挪动调整费力、精确定位困难等问题。针对这些问题,提出一种基于单目视觉的电动公交车自动更换电池系统。该系统使用单目摄像机获取图像,对蓄电池箱的空间位姿进行测量,再通过两级导轨和旋转机构将蓄电池调整到指定位置。位姿测量时采用基于点特征的单目视觉测量算法,提取蓄电池箱的四个角点作为特征点,根据特征点在物体坐标系下以及在CCD成像面上的坐标值,在空间投影模型的基础上求解出物体坐标系相对于摄像机坐标系的变换矩阵,从而求得蓄电池箱的空间位姿。实验证明该方法具有较高的可靠性,并且满足实际问题的精度要求。     

视觉与惯导融合的煤矿移动机器人定位方法

针对现有移动机器人单目视觉定位算法在光照变化和弱光照区域表现较差、无法应用于煤矿井下光照较暗场景的问题,通过非极大值抑制处理、自适应阈值调节等对快速特征点提取和描述(ORB)算法进行改进,采用随机抽样一致性(RANSAC)算法进行特征点匹配,提高了煤矿井下弱光照区域的特征点提取和匹配效率。针对仅靠单目视觉定位无法确定机器人与物体的距离及物体大小的问题,采用对极几何法对匹配好的特征点进行视觉解算,通过惯导数据为单目视觉定位提供尺度信息;根据紧耦合原理,采用图优化方法对惯导数据和单目视觉数据进行融合优化并求解,得到机器人位姿信息。实验结果表明:(1) ORB算法虽然提取的特征点数较少,但耗时短,且特征点分布均匀,可以准确描述物体特征。(2)改进ORB算法与原ORB算法相比,虽然提取时间有了一定的增加,但提取的可用特征点数也大大增加了。(3) RANSAC算法剔除了误匹配点,提高了特征点匹配的准确性,从而提高了单目视觉定位精度。(4)改进后融合定位方法精度有了很大提升,相对误差由0.6m降低到0.4m以下,平均误差由0.20m减小到0.15m,均方根误差由0.24m减小到0.18m。     

基于单目视觉的机器人目标定位测距方法研究

为实现具有单目视觉的双足机器人对目标物体的定位测距,根据针孔成像和几何坐标变换原理,提出一种基于单目视觉系统自身固定参数计算目标物体深度信息的几何测距方法;该方法利用双足机器人自带的单目视觉系统的固定参数,通过几何映射关系求解目标物体在三维空间内的坐标位置及相对于机器人的距离,克服了由于外界环境变化以及对参照物识别时所产生的误差影响测距定位精度的问题,从而实现基于单目视觉的目标物体精确跟踪定位;并对所提出方法进行了实验,得到比理论结果误差较小的实验数据,证明了方法的可行性。     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

基于三条相互垂直直线的单目位姿估计

基于单目视觉的位姿估计是计算机视觉中的典型问题之一。文中利用目标物体上的三条相互垂直的直线特征和相机像平面上这些特征的对应获得已标定相机相对于目标物体的位姿参数,给出其闭式求解方法,并证明问题解的数量与相机光心和三条直线的相对位置有关。当光心位于两个特殊平面以外时存在唯一解,反之若在该两个平面之间则存在两个解,并且这两个解具有对称性,该性质可作为合理解的判别依据。由于三条相互垂直的直线是长方体的三条边缘,而长方体在现实世界中广泛存在,该结论为应用直线特征进行单目视觉位姿估计及合作目标设计提供理论依据。     

道路环境下动态特征视觉里程计研究

针对道路环境下移动车辆导航和定位的问题,提出了一种基于道路环境动态语义特征的单目视觉里程计。设计了一个自监督的卷积神经网络,对单目连续图像建模,直接预测深度图和位姿向量,不再依赖人工设计的特征点。针对道路环境下动态物体破坏光度一致性的问题,提出利用语义先验信息提高视觉里程计精度。设计两个全连接层分别估计旋转和平移向量。实验结果表明,该方法得到了与传统视觉里程计比肩的精度,并且在道路环境下具有优越的性能。     

基于车内外视觉信息的行人碰撞预警方法

行人碰撞预警系统通常依据行人检测与碰撞时间判断的方式为驾驶员提供预警信息。为了提供更加可靠的危险判断依据，本文提出一种同时分析道路状况与驾驶员头部姿态的行人碰撞预警方法，用两个单目相机分别获取车辆内外环境图像。通道特征检测器用于定位行人，根据单目视觉距离测量方法估计出行人与自车间的纵向与横向距离。多任务级联卷积网络用于定位驾驶员面部特征点，通过求解多点透视问题获取头部方向角以反映驾驶员注意状态。结合行人位置信息与驾驶员状态信息，本文构建模糊推理系统判断碰撞风险等级。在实际路况下的实验结果表明，根据模糊系统输出的风险等级可以为预防碰撞提供有效的指导。     

基于单目视觉的微型空中机器人自主悬停控制

针对微型空中机器人在室内环境下无法借助外部定位系统实现自主悬停的问题,提出一种基于单目视觉的自主悬停控制方法.采用一种四成分特征点描述符和一个多级筛选器进行特征点跟踪.根据单目视觉运动学估计机器人水平位置;根据低雷诺数下的空气阻力估计机器人飞行速度;结合位置和速度信息对机器人进行悬停控制.实验结果验证了该方法的有效性.     

基于单目视频路径移动机器人导航方法研究

以单目视觉中双视图定位为基础,提出了一种基于单目视频路径的导航方法.算法基于单目摄像机提取一组有序的关键图像,以代表视频路径,使用Harris角点算法提取图像特征点,利用零均值归一化互相关算法进行图像匹配,根据单目摄像机双视图匹配点之间的约束关系求出基础矩阵并优化,得到位姿参数,完成了移动机器人定位,使其在视频路径的指导下实现自主导航.验证表明:方法在室外环境中具有较好的实用性.     

基于三角剖分的视觉里程计特征点匹配算法

针对单目视觉里程计的精确定位问题,提出一种专门应用于单目视觉里程计的特征点匹配方法。对FAST算法提取的特征点进行DELAUNAY三角剖分,获得特征点的位置关系。采用LK算法获得匹配点,结合位置关系判断误匹配候选点。对候选点计算SIFT描述子,根据相似程度剔除误匹配点。对获得的匹配对估计基础矩阵,结合尺度信息求取位姿。实验结果表明:该算法可提升匹配点的正确率,提高单目视觉里程计的精度。     

A monocular structured light vision method for pose determination of large non-cooperative satellites

A space robotic system is expected to perform on-orbit servicing missions to rescue malfunctioned satellites in geostationary orbit (GEO). In final berthing and capture, it is difficult for a space robot to determine the relative pose (attitude and position) of a non-cooperative malfunctioned satellite that is usually huge and without artificial recognition devices. In this paper, a space robot with a monocular structured light vision subsystem is introduced to solve the problem. Firstly, the monocular structured light vision subsystem composed of a single camera and a point light source is designed. Secondly, a partial rectangular shaped framework, which is very common on a non-cooperative malfunctioned satellite, is chosen as the recognition object for non-cooperative pose measurement. Using projection constraints on rectangle and circular points, a rectangle feature reconstruction algorithm is proposed. Thirdly, according to the reconstructed rectangle feature, a least square method of pose determination is presented. Lastly, using a semi-physical vision simulation system, several experiments of typical cases are simulated to verify the pose determination method of large non-cooperative target. The results show the validity and flexibility of the proposed method.     

单目视觉定位方法研究综述

根据单目视觉定位所用图像帧数不同把定位方法分为基于单帧图像的定位和基于双帧或多帧图像的定位两类。单帧图像定位常利用已知的点特征、直线特征或曲线特征与其在图像上的投影关系进行定位,其中用点特征和直线特征的定位方法简单有效而应用较多;基于双帧或多帧图像的定位方法因其操作复杂、精度不高而研究的还较少。通过对各方法的介绍和评述,为单目视觉定位问题的研究提供参考。     

一种基于旋转体的摄像机定位方法

基于旋转体的摄像机定位是单目合作目标定位领域中的涉及较少并且较为困难的一个问题,传统的基于点基元、直线基元及曲线基元的定位方法在用于旋转体定位过程中都存在相应的问题.文中设计了一种由4个相切椭圆构成的几何模型,该模型环绕于圆柱体表面,利用二次曲线的投影仍然是二次曲线的特性和椭圆的相应性质能够得到唯一确定模型位置的3个坐标点,从而将旋转体定位问题转化为P3P问题.在对P3P的解模式区域进行分析后,推导了根据模型上可视曲线的弯曲情况来确定P3P问题解模式的判别方法,并给出证明过程.仿真实验表明了这种模型定位方法的有效性.最后利用这个模型引导机械手完成目标定位的实验.     

语义线特征辅助的动态SLAM

动态环境干扰是视觉同时定位与地图构建（simultaneous localization and mapping,SLAM）领域内一个亟待解决的问题,场景中的运动对象会严重影响系统定位精度。结合语义信息和几何约束更强的线特征辅助基于传统ORB特征的SLAM系统来解决动态SLAM问题。首先采用深度学习领域的优秀成果SOLOv2作为场景分割网络,并赋予线特征语义信息;完成物体跟踪和静态区域初始化后,使用mask金字塔提取并分类特征点;再使用极线约束完成动态物体上点线特征的剔除;最后融合静态点线特征完成位姿的精确估计。在TUM动态数据集上的实验表明,提出的系统比ORB-SLAM3的位姿估计精度提高了72.20％,比DynaSLAM提高了20.42％,即使与近年来同领域内的优秀成果相比也有较好的精度表现。     

Fusing Visual and Inertial Sensing to Recover Robot Ego‐motion

A method for estimating mobile robot ego‐motion is presented, which relies on tracking contours in real‐time images acquired with a calibrated monocular video system. After fitting an active contour to an object in the image, 3D motion is derived from the affine deformations suffered by the contour in an image sequence. More than one object can be tracked at the same time, yielding some different pose estimations. Then, improvements in pose determination are achieved by fusing all these different estimations. Inertial information is used to obtain better estimates, as it introduces in the tracking algorithm a measure of the real velocity. Inertial information is also used to eliminate some ambiguities arising from the use of a monocular image sequence. As the algorithms developed are intended to be used in real‐time control systems, considerations on computation costs are taken into account. © 2004 Wiley Periodicals, Inc.     

Three-Dimensional Shape Knowledge for Joint Image Segmentation and Pose Tracking

In this article we present the integration of 3-D shape knowledge into a variational model for level set based image segmentation and contour based 3-D pose tracking. Given the surface model of an object that is visible in the image of one or multiple cameras calibrated to the same world coordinate system, the object contour extracted by the segmentation method is applied to estimate the 3-D pose parameters of the object. Vice-versa, the surface model projected to the image plane helps in a top-down manner to improve the extraction of the contour. While common alternative segmentation approaches, which integrate 2-D shape knowledge, face the problem that an object can look very differently from various viewpoints, a 3-D free form model ensures that for each view the model can fit the data in the image very well. Moreover, one additionally solves the problem of determining the object’s pose in 3-D space. The performance is demonstrated by numerous experiments with a monocular and a stereo camera system.     

基于线特征与内区域特征的视觉伺服解耦控制

针对多自由度机械臂快速趋近任意四边形态目标的视觉伺服控制难题，提出了结合线特征与内区域特征的机器人视觉伺服解耦控制方法.构建了目标内区域特征以指导相机的平移运动速率，利用目标的线特征给出相机的旋转角速率，并通过引入内区域特征的矢量补偿和质心坐标的位置补偿，实现了平移和旋转控制的部分解耦.最后，对机器人视觉伺服控制系统进行了稳定性分析.仿真验证结果表明所提方法能控制相机以较快而平滑的动作收敛到期望位姿，且在相机光轴与目标平面近似垂直的条件下能较好地克服深度估计造成的不确定性问题.     

Three-Dimensional Reconstruction of Points and Lines with Unknown Correspondence across Images

Three-dimensional reconstruction from a set of images is an important and difficult problem in computer vision. In this paper, we address the problem of determining image feature correspondences while simultaneously reconstructing the corresponding 3D features, given the camera poses of disparate monocular views. First, two new affinity measures are presented that capture the degree to which candidate features from different images consistently represent the projection of the same 3D point or 3D line. An affinity measure for point features in two different views is defined with respect to their distance from a hypothetical projected 3D pseudo-intersection point. Similarly, an affinity measure for 2D image line segments across three views is defined with respect to a 3D pseudo-intersection line. These affinity measures provide a foundation for determining unknown correspondences using weighted bipartite graphs representing candidate point and line matches across different images. As a result of this graph representation, a standard graph-theoretic algorithm can provide an optimal, simultaneous matching and triangulation of points across two views, and lines across three views. Experimental results on synthetic and real data demonstrate the effectiveness of the approach.An erratum to this article can be found at     

单目视觉中基于IEKF,DD1及DD2滤波器的位姿和运动估计

用单摄像机所获取的二维(2D)图像来估计两坐标之间的相对位姿和运动在实际应用中是可取的,其难点是从物体的三维(3D)特征投影到2D图像特征的过程是一个非线性变换,把基于单目视觉的位姿和运动估计系统定义为一个非线性随机模型,分别以迭代扩展卡尔曼滤波器(IEKF)、一阶斯梯林插值滤波器(DD1)和二阶斯梯林插值滤波器(DD2)作非线性状态估计器来估计位姿和运动.为了验证每种估计器的相对优点,用文中所提方法对每种估计器都作了仿真实验,实验结果表明DD1和DD2滤波器的特性要比IEKF好.