基于立体视觉的3D地形拼接

为了从月球车上的全景相机所捕获的立体图像对重建月球车周围的3D地形,给地面科学家制定科学探测指令提供一个直观的可视化平台,预先展开了基于立体视觉的3D地形重建的研究,主要介绍了在3D地形拼接方面的研究进展。当恢复出多个局部3D地形模型时,首先基于边缘检测和图像匹配技术提取出相邻局部模型之间的公共数据点,然后采用分离旋转变换和平移矢量的策略拟合出相邻模型之间的坐标转换关系,之后就可以将局部模型统一在同一个坐标系下。通过室内和室外多次实验验证了该拼接方案。     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

基于极值约束的鞋底边缘立体匹配

为了提取鞋底边缘特征,提出了一种中间加光源的双目立体视觉测量方法,增大边缘内外的对比度。针对鞋头和鞋跟特征匹配,提出了基于极值约束的边缘立体匹配方法。该方法分三步：采用Canny算子提取左右图像的边缘;对鞋跟和鞋头部分的边缘点利用最小二乘三项式曲线拟合,求取边缘点上与曲线极值点最近的点作为极值特征点;利用长度均分法进行其他边缘点的匹配。对鞋底进行双目三维测量实验,结果表明,中间加光源可使得图像边缘清晰,便于边缘提取;提出的匹配方法获得的鞋底边缘三维数据完整、正确,有效地抑制了匹配错误。     

改进型SIFT立体匹配算法研究

针对机器人视觉系统立体匹配中存在的匹配重复或错误等问题,提出了一种基于尺度不变特征变换（Scale Invariant Feature Transform,SIFT算法）和余弦相似度匹配规则的立体匹配方法。该方法以左、右两幅图像中特征向量较多的图像作为基准匹配图像,另一幅图像作为待匹配图像;再由二者的特征向量之间的余弦相似度所建立的匹配规则进行立体匹配。实验结果表明,改进型立体匹配方法有效地降低了匹配错误或重复比,具有较强的鲁棒性,匹配效果较佳,更加有利于机器人视觉系统的三维重建与定位。     

双目视觉的匹配算法综述

双目视觉是获取对现实世界立体感知的重要方法,在自动驾驶等领域得到了普遍 的应用。立体匹配是实现双目感知的前提,该算法对左右摄像机拍摄的照片进行像素级的匹配, 生成稠密视差图,从而获取了三维坐标信息。概述了立体匹配算法近 20 年来的发展过程,围绕 基于人工特征和深度学习两个方向进行了综述,对算法实现过程中的代价计算、代价聚合、视 差计算和视差求精进行分析讨论,评估了算法的准确性和时间复杂度。最后总结了立体匹配算 法面对的挑战和对未来发展的展望。     

3D Scene Reconstruction from Multiple Spherical Stereo Pairs

We propose a 3D environment modelling method using multiple pairs of high-resolution spherical images. Spherical images of a scene are captured using a rotating line scan camera. Reconstruction is based on stereo image pairs with a vertical displacement between camera views. A 3D mesh model for each pair of spherical images is reconstructed by stereo matching. For accurate surface reconstruction, we propose a PDE-based disparity estimation method which produces continuous depth fields with sharp depth discontinuities even in occluded and highly textured regions. A full environment model is constructed by fusion of partial reconstruction from spherical stereo pairs at multiple widely spaced locations. To avoid camera calibration steps for all camera locations, we calculate 3D rigid transforms between capture points using feature matching and register all meshes into a unified coordinate system. Finally a complete 3D model of the environment is generated by selecting the most reliable observations among overlapped surface measurements considering surface visibility, orientation and distance from the camera. We analyse the characteristics and behaviour of errors for spherical stereo imaging. Performance of the proposed algorithm is evaluated against ground-truth from the Middlebury stereo test bed and LIDAR scans. Results are also compared with conventional structure-from-motion algorithms. The final composite model is rendered from a wide range of viewpoints with high quality textures.     

根据灰度值信息自适应窗口的半全局匹配

目的 立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法 以通过AD（absolute difference）算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果 实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2.29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28.5%。结论 加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

游戏引擎中的实时特征点匹配算法

以作为游戏输入的双目视觉系统为载体,分析了双目立体视觉系统在此环境中需要满足的一些特殊的约束,结合双目视觉本身的经典约束,构造一种可以同时满足实时性和一定的精确性的图像特征点匹配方法。此方法先使用极几何校正和单应性约束求取图像偏差,然后采用快速匹配算法在局部范围内得到匹配点,充分满足了系统对实时性和精确性的要求。     

基于径向基神经网络的立体匹配算法*

针对双目视觉中的图像立体匹配问题,提出了一种基于径向基神经网络的立体匹配算法。该算法提取图像的尺度不变特征变换（SIFT）特征建立特征匹配矩阵,对特征匹配向量进行约简,最后将约简的特征匹配向量输入径向基神经网络进行识别输出。仿真和实际图像实验表明,该算法的匹配正确率比标准的SIFT有所到提高。     

Wide-baseline stereo vision for terrain mapping

Terrain mapping is important for mobile robots to perform localization and navigation. Stereo vision has been used extensively for this purpose in outdoor mapping tasks. However, conventional stereo does not scale well to distant terrain. This paper examines the use of wide-baseline stereo vision in the context of a mobile robot for terrain mapping, and we are particularly interested in the application of this technique to terrain mapping for Mars exploration. In wide-baseline stereo, the images are not captured simultaneously by two cameras, but by a single camera at different positions. The larger baseline allows more accurate depth estimation of distant terrain, but the robot motion between camera positions introduces two new problems. One issue is that the robot estimates the relative positions of the camera at the two locations imprecisely, unlike the precise calibration that is performed in conventional stereo. Furthermore, the wide-baseline results in a larger change in viewpoint than in conventional stereo. Thus, the images are less similar and this makes the stereo matching process more difficult. Our methodology addresses these issues using robust motion estimation and feature matching. We give results using real images of terrain on Earth and Mars and discuss the successes and failures of the technique.     

基于粗精立体匹配的双目视觉目标定位方法

针对双目视觉系统定位精度较低的问题,提出一种基于粗-精立体匹配的双目视觉目标定位方法。该方法采用粗-精匹配策略：在粗匹配阶段使用基于Canny-Harris特征点的随机蕨算法对左右图中的目标进行识别,提取目标矩形区域的中心点,实现中心匹配;在精匹配阶段建立一种基于图像梯度信息的二值特征描述子,将中心匹配得到的右中心点作为估计值,设定像素搜索范围,于该区域中找出左中心点的最佳匹配点。最后,将得到的中心点匹配对代入平行双目视觉的数学模型中,实现目标定位。实验结果表明,在500 mm距离范围内,所提出定位方法的定位误差控制在7 mm内,平均相对定位误差为2.53%,相比其他方法具有定位精度高、运行时间短的优点。     

基于多目立体视觉的试件飞行运动速度测量方法研究

为了测量试件的飞行速度,提出了一种基于多目立体视觉技术的飞行运动速度测量方法。首先研究了多目相机的标定方法,然后通过图像匹配的方法来获取各个相机图像中目标点的图像位置,最后根据各个相机的内部和外部参数,重建得到被测试件的三维坐标,结合相机的拍摄速度,计算出试件的飞行速度。结果表明：该方法可以较为准确的测量出试件在整个飞行过程中的运动速度,且具使用灵活,操作方便等特点。     

基于立体视觉的移动机器人导航算法

移动机器人立体视觉系统不仅提供三维地形图用于障碍规避和路径规划,其结果还可以用于视觉导航。以移动机器人立体视觉系统为基础,研究了基于前后两个位置上立体图对的视觉测量算法用于移动机器人的连续导航,讨论了影响导航精度的因素和改进方法;研究了基于局部和全局三维地形图的地形匹配算法用于定期校正位置误差,算法实现简便,定位精度取决于地形图精度。实验结果证明了两种方法的有效性,可以兼顾近距离和中远距离导航任务。     

融合双目视觉和2D激光雷达的室外定位

高精度的定位对于自动驾驶至关重要. 2D激光雷达作为一种高精度的传感器被广泛应用于各种室内定位系统.然而在室外环境下,大量动态目标的存在使得相邻点云的匹配变得尤为困难,且2D激光雷达的点云数据存在稀疏性的问题,导致2D激光雷达在室外环境下的定位精度极低甚至无法实现定位.为此,提出一种融合双目视觉和2D激光雷达的室外定位算法.首先,利用双目视觉作为里程计提供相对位姿,将一个局部时间窗口内多个时刻得到的2D激光雷达数据融合成一个局部子图;然后,采用DS证据理论融合局部子图中的时态信息,以消除动态目标带来的噪声;最后,利用基于ICA的图像匹配方法将局部子图与预先构建的全局先验地图进行匹配,消除里程计的累积误差,实现高精度定位.在KITTI数据集上的实验结果表明,仅利用低成本的双目相机和2D激光雷达便可实现较高精度的定位,所提出算法的定位精度相比于ORB-SLAM2里程计最高可提升37.9%.     

一种用于立体图像匹配的改进稀疏匹配算法

立体匹配有着广泛的应用前景,是计算机视觉领域的研究热点。立体匹配是立体视觉中最为关键和困难的一步,它的目标是计算标识匹配像素位置的视差图。文中提出的立体匹配算法基于置信传播（Belief Propagation,BP）。左图像首先经过非均匀采样,得到一个内容自适应的网格近似表示。算法的关键是使用基于置信传播的立体匹配算法,匹配稀疏的左图像和右图像得到稀疏视差图。通过左图像得到网格,稀疏视差图可以经过简单的插值得到稠密视差图。实验结果表明,该方法与现有稀疏立体匹配技术相比在视差图质量上平均有40％的提高。     

Practical Structure and Motion from Stereo When Motion is Unconstrained

This paper describes a system which robustly estimates motion, and the 3D structure of a rigid environment, as a stereo vision platform moves through it. The system can cope with any camera motion, and any scene structure and is successful even in the presence of large jumps in camera position between the capture of successive image pairs, and when point matching is ambiguous. The system was developed to provide robust obstacle avoidance for a partially sighted person.The process described attempts to maximise use of the abundant information present in a stereo sequence. Key features include the use of multiple stereo match hypotheses, efficient motion computation from three images, and the use of this motion to ensure reliable matching, and to eliminate multiple stereo matches. Points are reconstructed in 3D space and tracked in a static coordinate frame with a Kalman Filter.This results in good 3D scene reconstructions. Structure which is impossible to match with certainty is absent, rather than being incorrectly reconstructed. As a result, the system is appropriate for obstacle detection. The results of processing some indoor and outdoor scenes, are given in the paper, and practical issues are highlighted throughout.     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。