基于未标定彩色图像三维重建的立体匹配算法

提出了一种用于三维重建的未标定彩色图像立体匹配算法。针对Harris角点的聚簇现象,引入了限制因子来消除,通过采用精度较高的邻域彩色相关法进行匹配。针对相机平移旋转较小的情况,提出了利用抖率一致性剔除明显的误匹配,然后运用随机抽样算法估计基础矩阵,同时进一步剔除误匹配点对,最后用基础矩阵引导未匹配特征点进行匹配。实验表明,该算法用于三维重建,能够较好地恢复物体的结构,是一种有效的匹配算法。     

一种用于未标定图像三维重建的立体匹配算法*

提出了一种适用于未标定图像三维重建的立体匹配算法。该算法首先引入限制因子来消除Harris角点聚簇的现象,使用高斯曲面拟合内插使Harris角点达到亚像素级;接着采用特征点的Sift特征描述符进行初始匹配,利用随机抽样算法估计基础矩阵的同时剔除误匹配点对;最后在估计的基础矩阵的引导下进行双向匹配。实验证明,该算法能够很好地恢复物体的结构,是一种有效的用于未标定图像三维重建的立体匹配算法。     

基于最大熵和互信息最大化的特征点配准算法

点配准问题在机器视觉、医学图像等领域，有着非常重要的应用基础．通过在最大化熵原理的基础上，将互信息相似性测度引入到点配准算法中，提出了一种新的快速、准确的健壮性的点配准算法．首先建立起表示两个特征点集之间匹配对应关系的联合概率分布匹配矩阵，通过最大化熵和互信息最大化，建立起一个包含匹配矩阵和空间变换参数的新的能量函数，通过确定性退火算法，可以获得最优的匹配矩阵和空间变换参数，从而解决点的对应性问题和出界点(outliers)确定．实验结果表明，算法具有较强的鲁棒性，具有较高的配准精度和较快的计算速度．     

基于二阶相似性测度的点云配准网络

为了提高点云配准在异常点移除以及位姿变换矩阵求取时的精度，设计了一种点云配准方法，在PointDSC网络的基础上，将二阶相似性测度引入到特征聚合模块，嵌入到匹配点对的特征之中，提高了特征提取时内点与异常点的初始特征差异；引入二阶兼容性矩阵到谱匹配模块中，改进了相容性矩阵的求取，通过嵌入的特征去估计特征点对是内点还是异常点的置信度，提高了异常点与内点的区分精度，更好地移除异常点；利用局部-全局的配准方法根据内点求解点云的位姿变换矩阵，提高了位姿变换矩阵的求取速度及精度。在3DMatch数据集上进行了配准实验，验证了提出的方法在多种不同的数据集场景下都能够很好地实现点云配准任务，提高了配准的速度与精度。     

改进的RANSAC方法在基础矩阵中的应用

为提高求解精度,提出一种基于改进的随机抽样一致性（RANSAC）算法的基础矩阵求解方法。采用加权策略,将局内点占全部匹配点的比例作为权重函数的自变量;利用本质矩阵和基础矩阵的关系,鉴于本质矩阵两个非零奇异值应该相等这个特性,利用加权因子和本质矩阵的奇异值构造目标函数,这两点改进意味着目标函数中有两个约束条件的限制;利用matlab遗传算法工具箱来求解目标函数的最小值,可以得到准确的基础矩阵。模版图像实验和场景图像实验验证了该算法的有效性。     

基于隐含相似性的光学和SAR图像配准方法

异质图像配准是多源图像融合的关键步骤之一,通常需要精确提取和匹配图像的同名特征,这种同名特征在成像机理差异巨大的光学和SAR图像中进行提取和匹配十分困难,利用相同场景图像中的隐含相似性可以有效避开这一难点.为了对光学和SAR图像进行配准,提出了一种基于隐含相似性的光学和SAR图像配准方法,该算法首先选用高梯度幅值像素作为隐含特征点集,然后通过像素迁移来构建相似测度准则函数,并用遗传算法对准则函数解空间进行全局优化搜索来获取配准解,这样就将图像配准问题归于模型参数优化求解过程.实验结果表明,该方法有效可行,配准图像能达到像素级配准精度.     

基于三视图约束的基础矩阵估计

考虑到只依赖对极几何关系的匹配点余差并不能完全区分匹配点的正确与否,从而影响内点集选取的情况,提出基于三视图约束的基础矩阵估计算法。首先,使用传统随机抽样一致性（RANSAC）算法计算三视图的任意两对相邻图像间的基础矩阵,确定三视图中共有的匹配点对,并计算估计基础矩阵时非共用图像上的匹配点在共用图像上的极线;然后,计算两条极线的交点与共用图像上对应匹配点间的距离,以距离值的大小作为内点判断的依据,得到新的内点集。在新内点集的基础上,采用M估计算法重新计算基础矩阵。实验结果表明：该方法可以同时降低噪声和错误匹配对基础矩阵精确计算的影响,精度优于传统鲁棒性算法,使点到极线的距离限制在0.3个像素左右,而且计算结果具有稳定性,可以被广泛地应用到基于图像序列的三维重建和摄影测量等领域中。     

基于张量投票的摄像机自标定方法研究

针对传统的基于Kruppa方程摄像机自标定算法的欠鲁棒性,首次提出将鲁棒的张量投票算法用于摄像机自标定方法中。利用基于尺度不变的SIFT算法查找并匹配出每对图像的特征点,其中待匹配图像由摄像机对同一场景从三个不同角度位置拍摄,对图像张量投票后按棒张量特征值降序排序,由此筛选得到具有鲁棒性边缘特征的前八对特征点,利用八点算法求解相应的基础矩阵和极点,根据Kruppa方程和三维重建（SFM）算法求得摄像机参数矩阵。实验结果证明,该方法具有较高标定精度,并通过加入高斯噪声的仿真实验证明该算法是一种鲁棒的摄像机自标定方法。     

基于均匀角点匹配的基础矩阵估计方法

鉴于Harris角点匹配时产生的聚簇现象,引入邻近点剔除策略,可以提取到较为均匀的匹配角点.在此基础上,进一步对计算基础矩阵的8点算法进行改进,通过对匹配点进行分组求解基础矩阵,以每组得到的基础矩阵求平均值作为最终值.实验结果表明,该方法求解的基础矩阵具有较高精度.     

基于改进LMedS算法和贪心估计的相位立体匹配

为了改善基于相位测量轮廓术的测量系统测量效率低、系统稳定性差等缺陷,提出一种基于改进LMedS算法和贪心估计策略的快速相位立体匹配方法.首先在LMedS算法中引入平差函数模型,通过及时剔除错误样本减少计算成本函数的累加次数,不仅保持了LMedS算法的良好鲁棒性,而且有效地减少了算法的计算量;用贪心估计策略对改进的LMedS算法获得的初始内点集进行优化,剔除相对匹配程度较差的内点,并用优化的内点集求解基本矩阵,进一步提高算法的估计精度和鲁棒性;最后结合相位立体匹配原理对实物进行了三维重建,分析比较了传统的基于摄像机标定结果的相位立体匹配方法与改进方法的性能.实验结果表明,该方法满足三维形貌测量对实时性、鲁棒性和精度的要求,测量数据完整、可靠.     

Three-Dimensional Reconstruction of Points and Lines with Unknown Correspondence across Images

Three-dimensional reconstruction from a set of images is an important and difficult problem in computer vision. In this paper, we address the problem of determining image feature correspondences while simultaneously reconstructing the corresponding 3D features, given the camera poses of disparate monocular views. First, two new affinity measures are presented that capture the degree to which candidate features from different images consistently represent the projection of the same 3D point or 3D line. An affinity measure for point features in two different views is defined with respect to their distance from a hypothetical projected 3D pseudo-intersection point. Similarly, an affinity measure for 2D image line segments across three views is defined with respect to a 3D pseudo-intersection line. These affinity measures provide a foundation for determining unknown correspondences using weighted bipartite graphs representing candidate point and line matches across different images. As a result of this graph representation, a standard graph-theoretic algorithm can provide an optimal, simultaneous matching and triangulation of points across two views, and lines across three views. Experimental results on synthetic and real data demonstrate the effectiveness of the approach.An erratum to this article can be found at     

一种基于无人机序列成像的地形地貌重建方法

以无人机平台上普通摄像机获取的序列图像为对象,提出了一种对地三维重建的自动化处理方法。首先提出了基于视差分析的序列图像关键帧选择方法,对关键帧图像特征点进行鲁棒性的提取与匹配;第二步用加权的RANSAC算法估计基础矩阵,同时获取准确匹配的内点集。根据已标定的像机内参数,解算相对运动并进行优化。最后对待重建的目标点提出几何约束和单应约束融合的方法实现快速准确匹配,通过三角交会完成目标形貌三维重建。仿真实验结果表明该算法对序列图像具有较好的自动化程度和鲁棒性。     

Uncertainty propagation and the matching of junctions as featuregroupings

The interpretation of the 3D world from image sequences requires the identification and correspondences of key features in the scene. We describe a robust algorithm for matching groupings of features related to the objects in the scene. We consider the propagation of uncertainty from the feature detection stage through the grouping stage to provide a measure of uncertainty at the matching stage. We focus upon indoor scenes and match junctions, which are groupings of line segments that meet at a single point. A model of the uncertainty in junction detection is described, and the junction uncertainty under the epipolar constraint is determined. Junction correspondence is achieved through matching of each line segment associated with the junction. A match likelihood is then derived based upon the detection uncertainties and then combined with information on junction topology to create a similarity measure. A robust matching algorithm is proposed and used to match junctions between pairs of images. The presented experimental results on real images show that the matching algorithm produces sufficiently reliable results for applications such as structure from motion     

基于仿射点对应的分层重构

提出了一种基于仿射点对应的分层重构方法,所谓仿射点对应是指相差一个仿射变换的两个空间点集的图像对应．该方法主要分为以下三个步骤：首先,从点对应计算准仿射重构;然后,由仿射点对应的准仿射重构建立一个三维射影变换,并利用这个射影变换的特征向量来确定无穷远平面,从而得到仿射重构;最后,从仿射重构所获得的无穷远平面单应矩阵标定摄像机内参数,进而得到度量重构．在上述三个步骤中,第二个步骤是最关键的,即如何确定对应于无穷远平面的特征向量,这也是该文的新思想和主要贡献所在．仿真和真实图像实验均表明,该文的方法是有效的,并且有很好的鲁棒性．     

基于未标定多幅图的三维重建算法

为得到鲁棒的三维重建效果,提出了一种基于未标定多幅图像的三维重建算法。该算法首先采用Harris算法检测特征点,针对双向匹配算法匹配速度慢的缺点,使用改进的双向匹配算法进行特征点匹配,在已知摄像机参数的情况下进行两幅图的三维重建;接着采用四元数算法进行坐标转换,将由每两幅图得到的不同部分的重建结果转移到同一坐标系下,实现了多幅图像的三维重建;最后利用集束调整优化重建结果。实验结果证明,该算法能获得比较满意的重建效果。     

自适应柱状全景图拼接

为了实现高效高精度的全景图拼接,提出了一种面向柱状全景图的自适应拼接方法。该方法首先使用基于灰度边缘特征点的图像匹配来获得匹配坐标,并由匹配坐标唯一性计算焦距;然后在该焦距参数估计的基础上,采用新的自适应混合图像灰度匹配方法生成初期拼接图像,并根据其宽度以及相关判别条件进行焦距估计的调整,再重复迭代,以获得准确的焦距参数;最后利用基于角度1维投影的图像匹配方法进行匹配坐标的小范围校正,以及使用线性平滑算法生成最终柱状全景图。该法在精确焦距的基础上,结合了多种图像匹配算法,并根据自相关指数自适应选取结果,实现了水平和垂直两方向上的匹配定位和错位检测。实验证明,该方法不仅在真实图像上的可行,且具有较高的实时性、精度和鲁棒性。     

Affine structure from line correspondences with uncalibrated affinecameras

This paper presents a linear algorithm for recovering 3D affine shape and motion from line correspondences with uncalibrated affine cameras. The algorithm requires a minimum of seven line correspondences over three views. The key idea is the introduction of a one-dimensional projective camera. This converts 3D affine reconstruction of “line directions” into 2D projective reconstruction of “points”. In addition, a line-based factorization method is also proposed to handle redundant views. Experimental results both on simulated and real image sequences validate the robustness and the accuracy of the algorithm     

面向半稠密三维重建的改进单目ORB-SLAM

构建更详细的地图以及估计更精准的相机位姿一直都是同时定位与地图构建（Simultaneous Localization And Mapping,SLAM）技术所追求的目标,但是以上目标与实时性要求、较低的计算代价和受限的计算资源条件是相矛盾的。提出一种在单目ORB-SLAM（Oriented FAST and Rotated BRIEF-SLAM）方法的基础上利用关键帧中提取到的直线特征进行半稠密三维重建的方法。由ORB-SLAM实时提供一组关键帧及其对应的相机位姿信息和一系列地图点,提出一种关键帧再剔除算法进一步减少冗余帧数目,使用直线段提取方法提取各帧中的直线段,使用纯几何约束方法对以上检测得到的直线段进行匹配,生成一个由直线段构成的半稠密三维场景模型。实验结果表明新方法持续稳定的运行,能在低计算代价条件下快速地在线三维重建。     

New algorithm for 3D facial model reconstruction and its application in virtual reality

3D human face model reconstruction is essential to the generation of facial animations that is widely used in the field of virtual reality (VR). The main issues of 3D facial model reconstruction based on images by vision technologies are in twofold: one is to select and match the corresponding features of face from two images with minimal interaction and the other is to generate the realistic-looking human face model. In this paper, a new algorithm for realistic-looking face reconstruction is presented based on stereo vision. Firstly, a pattern is printed and attached to a planar surface for camera calibration, and corners generation and corners matching between two images are performed by integrating modified image pyramid Lucas-Kanade (PLK) algorithm and local adjustment algorithm, and then 3D coordinates of corners are obtained by 3D reconstruction. Individual face model is generated by the deformation of general 3D model and interpolation of the features. Finally, realistic-looking human face model     

6D scan registration using depth-interpolated local image features

This paper describes a novel registration approach that is based on a combination of visual and 3D range information. To identify correspondences, local visual features obtained from images of a standard color camera are compared and the depth of matching features (and their position covariance) is determined from the range measurements of a 3D laser scanner. The matched depth-interpolated image features allow one to apply registration with known correspondences. We compare several ICP variants in this paper and suggest an extension that considers the spatial distance between matching features to eliminate false correspondences. Experimental results are presented in both outdoor and indoor environments. In addition to pair-wise registration, we also propose a global registration method that registers all scan poses simultaneously.