一种用于未标定图像三维重建的立体匹配算法*

提出了一种适用于未标定图像三维重建的立体匹配算法。该算法首先引入限制因子来消除Harris角点聚簇的现象,使用高斯曲面拟合内插使Harris角点达到亚像素级;接着采用特征点的Sift特征描述符进行初始匹配,利用随机抽样算法估计基础矩阵的同时剔除误匹配点对;最后在估计的基础矩阵的引导下进行双向匹配。实验证明,该算法能够很好地恢复物体的结构,是一种有效的用于未标定图像三维重建的立体匹配算法。     

基于ORB特征的误匹配点剔除算法

针对ORB算法采用传统的RANSAC算法剔除误匹配的不足,提出一种新的误匹配剔除算法。将剔除阶段分为粗剔除与精剔除两部分,粗剔除通过实验设计选定合适的Hamming阈值大小剔除部分误匹配点对,以减少精剔除阶段的计算量。精剔除利用特征点与邻域像素点的信息构造差值矩阵,将矩阵的奇异值定义为特征点的描述向量。通过计算2个向量的相关性来达到进一步剔除的效果。实验结果表明:该算法能够有效地剔除误匹配点对,且与RANSAC算法相比,精度提高了8%,匹配精度达到98.97%。     

基于三角剖分的视觉里程计特征点匹配算法

针对单目视觉里程计的精确定位问题,提出一种专门应用于单目视觉里程计的特征点匹配方法。对FAST算法提取的特征点进行DELAUNAY三角剖分,获得特征点的位置关系。采用LK算法获得匹配点,结合位置关系判断误匹配候选点。对候选点计算SIFT描述子,根据相似程度剔除误匹配点。对获得的匹配对估计基础矩阵,结合尺度信息求取位姿。实验结果表明:该算法可提升匹配点的正确率,提高单目视觉里程计的精度。     

一种用于三维重建的彩色Sift准稠密匹配算法

针对复杂光照条件下Sift算法对彩色图像匹配能力较差,基于Kubelka-Munk理论,提出了一种适用于未标定图像的准稠密立体匹配算法,有助于更精确地进行三维重建。该算法首先求出彩色图像各个像素的颜色不变量,提取彩色特征点并通过构造彩色Sift特征描述子进行初匹配,采用RANSAC鲁棒算法消除误匹配生成种子点;然后依据视差约束提出一种基于视差梯度均值自适应窗口方法,根据视差梯度均值调整搜索范围;最后采用最优先原则进行区域增长。实验证明,该算法能获得比较满意的匹配效果,是一种有效的用于三维重建的准稠密匹配算法。     

一种图像立体匹配的误匹配点剔除与校正方法

针对双目立体视觉匹配中,图像的低纹理区域及重复纹理区域容易出现误匹配的问题,基于视差连续性及三角剖分,提出了一种误匹配点剔除与校正方法。首先利用SURF算法进行特征点提取,采用双向匹配策略进行特征点匹配;然后基于视差约束条件剔除误匹配点,并用三角剖分对误匹配点进行校正。实验结果表明,该方法能够剔除误匹配点,为误匹配点找到正确匹配点,有效提高双目立体匹配的精度。     

基于改进SFM的三维重建算法研究

针对现有运动恢复结构算法重建模型存在点云稀疏等问题,提出一种利用不同匹配数据进行模型重建的算法。首先通过对比上下文直方图(CCH)生成匹配数据,利用M估计抽样一致(MSAC)估算图像基础矩阵,进而分解得到平移和旋转矩阵,并根据相机内参计算投影矩阵,然后利用KLT匹配算法更新匹配数据,最后三角化生成三维点云。该算法匹配精度高,图像基础矩阵易于收敛,通过位移实现特征点匹配,弥补了图像低频区域匹配数据不足的缺陷。实验结果表明,与现有算法相比,该算法生成的点云更致密;在真实环境下,该算法可用于物体三维重建。     

自适应邻域测试的图像误匹配点剔除算法

针对图像特征点暴力匹配与比率测试得到的匹配点对在数量与正确率不能兼顾的情况,提出了一种基于自适应邻域测试的误匹配点对剔除算法。对特征点进行暴力匹配与高阈值的比率测试得到初始匹配点集,对初始匹配点对中的每个匹配特征点进行自适应邻域测试,测试出初始匹配点集中明显的误匹配点对并将之剔除,达到只剔除误匹配而不会误剔除正确匹配的效果。实验结果表明,在保证正确率不降低的前提下,该算法获取的匹配点对数量比原算法多3成以上,并且该算法对图像旋转、尺度缩放具有较好通用性。     

面向复杂场景的未标定两视图三维重构方法

针对未标定相机视觉模型的三维重构中经典的SIFT算子初始匹配误匹配率高、传统的RANSAC算法误匹配剔除效果差的问题,提出一种基于改进的RANSAC和斜率统计的误匹配剔除算法.首先加强RANSAC剔除效果的可控性,从增强极线约束的角度对传统RANSAC进行了改进;然后提出一种迭代的斜率一致性算法在RANSAC之前进行误匹配的先期剔除,以削减RANSAC的计算量、加快其收敛速度;考虑到此算法对大尺度旋转或是倒立图像对的误匹配剔除失效的问题,提出一种基于坐标变换的斜率统计算法,可以实现对此类图像对部分误匹配的快速剔除.对专业网站的测试图像和不同场景下、重复性纹理丰富、行人遮挡严重的多组自拍摄图像进行实验,平均对极距离在0.7个像素以内;对比实验结果证实,该算法的实时性和鲁棒性明显优于同类算法;最后提出深度一致性方法对重构计划之外的匹配点进行自动剔除,获得特征点的三维坐标后利用Open GL进行了纹理贴图操作,可以清晰准确地再现出场景的细节信息.     

一种改进的M-Estimators基础矩阵鲁棒估计法

针对原M-Estimators算法完全依赖由线性最小二乘法估计得到的矩阵初始值,精度较低稳定性差的缺点,提出了一种改进的M-Estimators算法。通过考虑匹配点与对应极线的距离,计算求得较原M-Estimators算法更加精确的矩阵初始值,再利用此初始值剔除掉原匹配点集中的错误匹配点及坏点,最后运用Torr-M-Estimators法对新的匹配点集进行非线性优化计算,得到了真正的匹配点对,精确恢复了对极几何关系。以大量的模拟数据和真实图像进行了实验,给出了该算法与其他鲁棒性算法的比较结果,实验结果表明,该算法在误匹配以及高斯噪声存在的情况下,提高了基础矩阵的估计精度,并且同时具有很好的鲁棒性。     

基于ORB-SLAM2系统的快速误匹配剔除算法与地图构建

针对ORB-SLAM2系统中随机抽样一致（RANSAC）算法在误匹配剔除时因其算法本身的随机性而导致效率较低的问题和在ORB-SLAM2系统里未能构建稠密点云地图的问题,采用渐进一致采样（PROSAC）算法来改进ORB-SLAM2系统中的误匹配剔除,并在系统中添加稠密点云地图和八叉树地图构建线程。首先,与RANSAC算法相比,PROSAC算法依据评价函数对特征点进行预排序,并选取评价质量较高的特征点求解单应性矩阵,根据单应性矩阵的解与匹配误差阈值进行误匹配剔除;然后,根据ORB-SLAM2系统进行相机的位姿估计与重定位;最后,根据所选关键帧进行稠密点云地图与八叉树地图的构建。根据TUM数据集上的实验结果,PROSAC算法在进行相同图像的误匹配剔除时所用时间是RANSAC算法的50%左右,并且所提系统的绝对轨迹误差与相对位姿误差与ORB-SLAM2系统基本一致,表现出良好的鲁棒性;另外,与稀疏点云地图相比,提出的新构建地图可以直接用于机器人的导航与路径规划。     

3D Scene Reconstruction from Multiple Spherical Stereo Pairs

We propose a 3D environment modelling method using multiple pairs of high-resolution spherical images. Spherical images of a scene are captured using a rotating line scan camera. Reconstruction is based on stereo image pairs with a vertical displacement between camera views. A 3D mesh model for each pair of spherical images is reconstructed by stereo matching. For accurate surface reconstruction, we propose a PDE-based disparity estimation method which produces continuous depth fields with sharp depth discontinuities even in occluded and highly textured regions. A full environment model is constructed by fusion of partial reconstruction from spherical stereo pairs at multiple widely spaced locations. To avoid camera calibration steps for all camera locations, we calculate 3D rigid transforms between capture points using feature matching and register all meshes into a unified coordinate system. Finally a complete 3D model of the environment is generated by selecting the most reliable observations among overlapped surface measurements considering surface visibility, orientation and distance from the camera. We analyse the characteristics and behaviour of errors for spherical stereo imaging. Performance of the proposed algorithm is evaluated against ground-truth from the Middlebury stereo test bed and LIDAR scans. Results are also compared with conventional structure-from-motion algorithms. The final composite model is rendered from a wide range of viewpoints with high quality textures.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

双目视觉下基于区域生长的三维人脸重建算法

为解决传统立体匹配算法匹配低纹理人脸图像时极易产生误匹配的问题,提出一种基于区域生长的人脸立体匹配算法。该算法利用级联回归树算法提取的人脸特征点将人脸划分为不同区域以分别限制各区域的视差搜索范围,从而避免在全局范围上查找匹配点;同时利用人脸的局部形状特性,采用局部曲面拟合的方式筛除误匹配种子点并生成大量可靠种子点用于区域生长;最后,分别在实验室环境采集的人脸图像和FRGC v2.0人脸数据库上进行定性和定量实验。实验结果表明,与传统算法相比,所提算法能够重建出更加准确的三维人脸模型。经点云配准后与人脸点云真实值的均方根误差在2 mm以内,且不同光照、姿态、表情下人脸图像的重建表明所改进的立体匹配算法具有较好的鲁棒性。     

基于颜色和几何特征的图像特征点匹配算法

提出一种基于颜色和几何特征的图像特征点匹配算法。首先提取两幅图像特征点集邻域色调的局部累加直方图,然后结合图像特征点的几何特征构造亲近矩阵,再对亲近矩阵进行奇异值分解(SVD),利用分解的结果构造出一个反应特征点之间匹配程度的关系矩阵,最后根据关系矩阵实现两幅图像的特征点匹配。实验结果显示,这种图像特征点匹配算法对真实图像的平面旋转和立体旋转都具有较高的匹配精确度。     

基于MRF和颜色空间的立体图像匹配算法

为了提高立体图像匹配的效率和准确度,对基于马尔可夫随机场（Markov Random Fields,MRF）的立体图像匹配算法进行改进,提出一种基于MRF和颜色空间的立体图像匹配算法。该算法利用颜色距离构建匹配代价函数,以充分利用彩色图像中的颜色信息,并采用加速的信度传播算法进行能量最小化。分别利用灰度信息、RGB信息、HSI信息进行立体匹配实验。实验结果表明,改进后的算法能加快收敛,降低误匹配率。     

基于SIFT特征描述子的立体匹配算法

目前,立体匹配是计算机视觉领域最活跃的研究课题之一。为了克服传统的局部特征匹配算法对噪声和图像灰度的非线性变换敏感的缺点,本文提出了一种新的基于SIFT(Scale Invariant Feature Transform)特征描述子的立体匹配算法。该算法利用图像梯度信息,构造基于三维梯度方向直方图的SIFT特征描述子作为区域特征描述符,通过立体视觉理论中的极线约束将匹配特征的搜索空间从二维降到一维,最后以基于特征描述子欧氏距离的最近邻匹配得到匹配结果。实验结果表明,该方法匹配精度高,对图像灰度的非线性变换比较鲁棒,可以应用于对匹配算法鲁棒性要求比较高的立体视觉系统中。     

3D reconstruction of human face based on an improved seeds-growing algorithm

An algorithm based on binocular stereo vision is proposed to generate 3D (three-dimensional) dense points cloud model of the human face. A two-step matching strategy from sparse to dense is developed. Firstly, an improved seeds-growing algorithm is utilized to acquire sparse matching of high confidence. Secondly, based on the control points method and piecewise dynamic programming, the dense matching is completed. Experimental results show that the proposed algorithm can produce smooth and dense 3D points cloud model of the human face.     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.