基于序列图像的植株三维重建试验与分析

如何在保证精度的前提下实现更为高效、快捷以及廉价的植株三维重建是智慧农业领域研究的重要课题。本研究从实用的植株三维重建角度出发,利用3DSOM软件开展了植株的三维重建方法研究,搭建了一套植株序列图像获取系统,可以精确地获得植株的360?视角的序列图像,为后期进行植株的三维重建奠定了基础。本试验以圣女果植株和树木植株为研究对象,分别利用8、16、32、64、80、96幅序列图像和20、40、60、80幅序列图像开展了植株的三维重建试验与对比测试。试验结果表明,对于树木植株,由于其枝干较多且不同角度的枝干间存在重叠,重建图像会丢失部分枝干细节信息,而对于小型植株如圣女果植株的重建效果较好;测试结果表明,最少利用16幅序列图像即可重建圣女果植株,最少利用20幅序列图像即可重建树木植株;圣女果植株的重建时间在14分钟以内,树木植株的重建时间在18分钟以内,且随着序列图像数量的增加,重建时间增长缓慢,表明重建用序列图像的数目对重建时间影响较小。为进一步验证该方法的三维重建精度,对圣女果植株的枝干选取了5个截段进行了实际测量,其重建误差在0.05%-2.36%之间;同时选取树木4个截段进行了实际测量,其重建误差在0.11%-2.67%之间,重建精度满足植株三维测量、树形修剪等的要求。     

基于分段式序列图片集的运动恢复结构

多视图运动恢复结构（Structure from Motion,SFM）是三维重建中相机姿态估计的一种最常用的方法。传统SFM采用增量方式处理图片,算法的时间复杂度是[O(n4)],当图片数量较多时,重建时间很长。此外,由于图片噪声影响,漂移误差将随着图片数量增加不断累加,影响最终的重建质量。添加集束调整（Bundle Adjustment,BA）可以优化重建结果,但是需要花费更长的时间。在现有增量式算法的基础上,提出基于分段式序列图片集的方法,将序列图片集按照相似度划分为小集合,对每个小集合进行并行计算,减少误差累积量和重建时间,最后再用BA进行全局优化。实验结果表明,该方法能在保持一定精度的前提下,有效减少重建时间。     

基于图像运动的三维重建及虚拟化应用

提出了一种稳定、快速地获取摄像机视频运动图像的三维重建方法,并对该运动图像做适当的虚拟化处理以展示重建效果。采用基于尺度不变特征点匹配的摄像机标定进行三维重建。尺度不变特征对于视频图像中的特征具有优秀敏锐的匹配能力,极大地放宽了摄像机标定对于设备上的限制,拓宽了实时三维重建的适用范围。通过对系统的一系列优化,不但提升了三维重建的精度,减少了错误匹配对摄像机标定的影响,而且进一步提升了处理速度。通过在三维重建的基础之上进行虚拟化处理,展示了本系统的三维重建效果。实验结果表明,该系统适用范围广,处理速度较快,重建精度高,实现了基于视频运动图像的三维重建。     

基于三维重建的大区域无人机影像全自动拼接方法

低成本无人机由于不具有精密的惯性导航系统,其拍摄区域有可能是一些难以布设控制点的无人区,因此无法采用传统的航空摄影测量处理手段获得拍摄区域的拼接影像。为此,提出一种基于三维重建的无人机影像全自动拼接方法。利用从运动恢复结构和多视角立体算法重建拍摄区域的密集点云,根据密集点云数据采用一种基于邻点分布约束的点坐标插值算法内插待定点空间坐标,运用间接微分纠正方法对影像进行几何校正,从而获得几何一致的拼接影像。实验结果表明,该方法全程无需人工干预且拼接耗时短,相邻影像之间几何拼接精度约为2.5个像素。     

面向增强视频的基于结构和运动恢复的摄像机定标

提出了一种高效鲁棒的长序列摄像机定标算法,能稳定处理焦距未知且变化的视频序列,适用于增强视频的应用．该算法从长视频序列中根据特征匹配点提炼出相互之间具有较长基线的关键帧,以保证求解的稳定性．算法先在关键帧序列上渐进式求解,以准确恢复特征匹配点的互维结构信息;利用精确恢复的三维点,求解整个序列的摄像机运动参数．该算法选择最适合初始化的三帧求解,并将解及时从射影空间转换到欧氏空间．实验结果显示了所恢复的摄像机参数和三维点的高度精确性,证明了该方法稳定高效,能够满足增强视频的高端要求．     

图像序列的增量式运动结构恢复

目的 传统增量式运动结构恢复算法中,初始图像对选择鲁棒性差,增量求解过程效率较低,捆绑调整策略存在计算冗余,模型修正后仍存在较大误差。为解决上述问题,以基于图像序列的3维重建为基础,提出一种新的增量式运动结构恢复算法（SFM-Y）。方法 首先,采用改进的自适应异常值过滤方法增强初始图像对选择的鲁棒性,得到用于初始重建的初始图像对;其次,通过增量迭代重建丰富点云模型,采用改进的EPNP（efficient perspective-n-point）解算方法提高增量添加过程的计算效率和精确度;最后,采用优化的捆绑调整策略进行模型修正,解决模型漂移问题,修正重投影误差。结果 实验选取不同数据规模的数据集,在本文方法及传统方法间进行测试对比,以便更加全面地分析算法性能。实验结果表明,SFM-Y算法相比传统的增量式运动结构恢复算法,在计算效率和结果质量方面均有所提高,根据性能分析对比的结果所示,本文方法较传统方法在计算效率和重建精度上约有10%的提升。结论 提出的增量式运动结构恢复算法能够高效准确地实现基于图像序列的3维重建优于传统方法,计算效率较高,初始重建鲁棒性强,生成模型质量较好。     

动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。     

摄像机沿光轴运动下的场景三维重建

讨论了采用针孔摄像机进行摄像机沿光轴运动下的场景三维重建的方法．基于摄像机轴向运动的特点和性质,利用该方法找到图像间的缩放因子,进而解决了轴向运动下的特征匹配;采用Sturm的摄像机自标定方法得到摄像机的内外参数;从而实现了摄像机沿光轴运动下的场景三维重建．     

分层的线性迭代三维重建方法

为了重建三维物体,提出了一种基于分层的线性迭代三维重建方法,该方法首先利用所有图像序列构成的行向量生成的线性子空间之和与空间结构点构成的行向量生成的子空间是同一线性子空间及在该子空间中任何一个基底都可以作为射影重建的特性,线性迭代地完成射影重建,然后利用相机参数之间的相互约束关系,线性迭代地实现相机的自定标,完成到欧氏重建的过渡.模拟实验和真实实验表明:该重建方法具有鲁棒性好、收敛性好及重投影误差小等优点.     

基于彩色结构光的实时三维重建

提出一种新颖的基于彩色结构光的实时三维重建方法RRCS（Real-time 3D Reconstruction based on Color-coded Structured light）,利用投影在物体表面的彩色结构光的彩色信息,快速准确地还原相位,计算出物体的高度,最终重建物体的三维模型。针对RRCS的特殊性,设计了基于拓扑排序的解相位算法,以及针对点线的快速三角网化算法。实验结果表明,RRCS对设备的要求低,效果较好,具备基本的实时性能。     

Correspondence-free Structure from Motion

We present a novel approach for the estimation of 3D-motion directly from two images using the Radon transform. The feasibility of any camera motion is computed by integrating over all feature pairs that satisfy the epipolar constraint. This integration is equivalent to taking the inner product of a similarity function on feature pairs with a Dirac function embedding the epipolar constraint. The maxima in this five dimensional motion space will correspond to compatible rigid motions. The main novelty is in the realization that the Radon transform is a filtering operator: If we assume that the similarity and Dirac functions are defined on spheres and the epipolar constraint is a group action of rotations on spheres, then the Radon transform is a correlation integral. We propose a new algorithm to compute this integral from the spherical Fourier transform of the similarity and Dirac functions. Generating the similarity function now becomes a preprocessing step which reduces the complexity of the Radon computation by a factor equal to the number of feature pairs processed. The strength of the algorithm is in avoiding a commitment to correspondences, thus being robust to erroneous feature detection, outliers, and multiple motions. The authors are grateful for support through the following grants: NSF-IIS-0083209, NSF-IIS-0121293, NSF-EIA-0324977, NSF-CNS-0423891, NSF-IIS-0431070, and ARO/MURI DAAD19-02-1-0383. The author is grateful for the generous support of the ARO MURI program (DAAD-19-02-1-0383) while at U. C. Berkeley.     

基于骨架跟踪的动作捕捉重建方法研究

在光学动作捕捉中最常见的问题是因遮挡而产生的标记点丢失,这需要大量后处理工作来恢复缺失标记,甚至直接导致后期重建失败.针对这一问题,本文提出一种基于骨架跟踪的动作还原方法.该方法在三维重建和跟踪过程中,通过校准、三维标记重建、骨架初始化和全局拟合等步骤来预判标记的位置,并使用人体骨架模型来协助完成三维重建.实验结果证明...     

基于多视角视频的运动重建

为了更逼真地从视频图像序列中实现三维人体骨架动画形式的提取,以便进一步地对人体运动进行分析与研究,提出了一种基于多视角视频的运动重建的方法。该方法充分利用了标记点的信息,其核心步骤有标定摄像机,提取标记点,跟踪标记点和人体运动三维重建四个主要方面。其中,在跟踪标记点时,使用了基于多视觉的目标跟踪算法,该算法由结合了扩展卡尔曼滤波预测与标记点轨迹平滑性约束所构成的双目立体视觉跟踪与多目视觉数据融合两个方面。实验结果证明了所提方法的有效性与可行性。     

Practical Structure and Motion from Stereo When Motion is Unconstrained

This paper describes a system which robustly estimates motion, and the 3D structure of a rigid environment, as a stereo vision platform moves through it. The system can cope with any camera motion, and any scene structure and is successful even in the presence of large jumps in camera position between the capture of successive image pairs, and when point matching is ambiguous. The system was developed to provide robust obstacle avoidance for a partially sighted person.The process described attempts to maximise use of the abundant information present in a stereo sequence. Key features include the use of multiple stereo match hypotheses, efficient motion computation from three images, and the use of this motion to ensure reliable matching, and to eliminate multiple stereo matches. Points are reconstructed in 3D space and tracked in a static coordinate frame with a Kalman Filter.This results in good 3D scene reconstructions. Structure which is impossible to match with certainty is absent, rather than being incorrectly reconstructed. As a result, the system is appropriate for obstacle detection. The results of processing some indoor and outdoor scenes, are given in the paper, and practical issues are highlighted throughout.     

Structure from Motion Using Sequential Monte Carlo Methods

In this paper, the structure from motion (SfM) problem is addressed using sequential Monte Carlo methods. A new SfM algorithm based on random sampling is derived to estimate the posterior distributions of camera motion and scene structure for the perspective projection camera model. Experimental results show that challenging issues in solving the SfM problem, due to erroneous feature tracking, feature occlusion, motion/structure ambiguity, mixed-domain sequences, mismatched features, and independently moving objects, can be well modeled and effectively addressed using the proposed method.     

轨迹空间中基于特征符号搜索算法的非刚体三维运动重建研究

现有研究一般是在正交约束条件下采用最小二乘法来求解三维运动轨迹基重建问题,然而这些算法的性能容易受噪声影响,产生不适定性。为此,通过利用离散线性的方法为三维运动搜索最优轨迹基系数和三维结构,建立了一种基于特征符号搜索算法的三维运动轨迹基重建方法。利用该方法,对一系列单目图像序列进行了重建实验研究,结果表明所提出的方法是可行的,并提高了重建算法的准确性。     

Closed Form Solutions for Reconstruction Via Complex Analysis

We address the problem of control-based recovery of robot pose and environmental lay-out. Panoramic sensors provide a 1D projection of characteristic features of a 2D operation map. Trajectories of these projections contain information about the position of a priori unknown landmarks in the environment. We introduce the notion of spatiotemporal signatures of projection trajectories. These signatures are global measures, characterized by considerably higher robustness with respect to noise and outliers than the commonly applied point correspondence. By modeling the 2D motion plane as the complex plane we show that by means of complex analysis the reconstruction problem can be reduced to a quadratic—or even linear in some cases—equation. The algorithm is tested in simulations and in a real experiment.     

基于MAP-MRF的旋转3维超声心动图断层重建及降噪

提出了一种基于最大后验概率准则(MAP)-马尔可夫随机场(MRF)的3维超声图像重建算法,在3维重建的过程中可以有效地去除超声图像特有的斑点噪声。首先提出了3维重建的数学模型,它假设所要估计的空间灰度值属于某个函数向量空间,这个向量空间的基函数因支持区域的不同而不同,将Rayle igh分布和G ibbs分布作为先验知识,通过后验概率最大化(MAP)来估计基函数前的系数,在重建算法中,通过将邻点联系强度α设定为随梯度的变化而变化,从而达到了保边界的各向异性滤波特性。采用ICM算法求解这个系数向量。为了提高该算法的效率,又进一步提出了其改进算法,最后的实验结果显示,这种基于MAP-MRF的重建算法可以有效地去除超声图像中的斑点噪声。