基于GPU的散斑三维重建系统

散斑相关算法可以用来估计场景的深度信息,但因易受到噪声干扰且计算量大而难以应用在基于普通计算机的三维重建系统中。采取零均值归一化互相关函数(ZNCC)作为相关算法的匹配代价函数,对传统的ZNCC快速计算方法进行修改并将其应用于计算机的通用图形处理器(GPU),实现了实时的场景三维重建效果。对比实验表明,在精度一致的前提下,提出的GPU计算方法的速度是CPU算法的39倍。     

改进的实时反走样透视阴影图算法及实现

为解决透视阴影图算法中,物体被非线性比例导致愈加明显的自阴影或表面波纹现象,提出一种基于GPU的实时反走样透视阴影图改进算法。该算法结合透视阴影图算法以及D.Weiskopf的dual depth layers算法,通过采用GPU深度剥离技术采样场景的双层深度值信息,并引入自适应偏移量zbias来计算场景的深度偏移量。该算法采用C语言实现,同时使用GPU顶点渲染器和像素渲染器编程有效避免程序复杂度。实验结果表明,该改进算法较好解决了透视阴影图的自阴影问题,提高了渲染阴影质量。     

基于ToF相机的三维重建技术

针对利用ToF相机实现物体的重建提出一种新的三维重建算法,通过分析物体重建过程的特点,对KinectFusion的重建算法进行改进。点云匹配过程包括粗匹配和精匹配两个过程,最后进行全局优化,提高相机位姿估计的精度,从而得到更精确的三维重建结果。利用泊松重建算法重建物体表面,相比于TSDF算法,能够实现完整表面的重建。提出结合强度图对深度图进行多边滤波的算法以及一种新的补空洞法则,增强深度图像。多边滤波算法在PSNR和SSIM的评估中都优于双边滤波结果,提出的三维重建算法与KinectFusion三维重建结果对比,表面更完整,重建结果更优。     

基于深度图像的三维场景重建系统

针对计算机图形学和视觉领域研究热点--三维场景重建,首先分析了 Kinect v2 (Kinect for Windows v2 sensor)获取深度图像的原理,说明深度图像噪声的来源。然后根据获取 深度图像的原理设计一种算法对点云采样范围进行裁剪。其次对点云离群点进行去除,填补点 云孔洞,以提高重建质量。常见的三维场景重建大都采用了 KinectFusion 的一个全局立方体方 案,但只能对小范围内的场景进行重建。对此设计了一种对大场景进行点云匹配的 ICP 算法。 最后对点云进行曲面重建,实现一套低成本、精确的针对大场景的三维重建系统。     

大场景三维重建中多核并行捆集调整算法

将三维重建中捆集调整算法用于优化重建结果,是非常关键的步骤,然而传统单核串行算法耗时量大不太适合大场景重建。对此,首先对捆集调整算法本身进行了改进;然后在此基础上提出了多核并行捆集调整算法并采用图像处理器(GPU)实现该算法。实验表明,所提出的多核并行捆集调整算法提高了算法优化参数的精度和处理速度。     

基于GPU自适应的环境遮挡算法

针对传统的环境光遮挡算法中不能自适应的问题,提出了基于GPU自适应的环境遮挡算法.该算法充分利用了GPU并行计算技术和离屏渲染技术,快速计算出适合所载入场景的自适应步长;并将传统环境遮挡采样方法和抖动采样的思想相结合,对采样方法进行了改进;同时也简化了传统环境光遮挡算法中最终遮挡值的计算.实验结果表明,该方法不局限于特定场景,不需要对场景进行预处理,可以准确高效的计算环境光的遮挡情况,并且实现实时绘制.     

利用多尺度小波变换的光度立体快速三维表面重建算法

光度立体三维测量中,需要通过三维重建算法从二维梯度场重建三维表面深度.针对传统的三维重建算法如全局迭代优化算法,在高分辨率情况下耗时较长的问题,提出利用多尺度小波变换的光度立体快速三维表面重建算法.首先利用梯度场代替传统小波通道,实现多尺度Haar小波变换,得到一种改进的多尺度小波变换算法;然后将该算法应用于光度立体三维表面重建中,提高了三维重建的速度.实验结果表明:与传统算法时间复杂度均高于线性阶相比,文中算法的时间复杂度与梯度场分辨率成线性阶关系;该算法适用于从高分辨率梯度场重建三维表面,并具有误差较小、鲁棒性好的优点.     

PMVS算法的CPU多线程和GPU两级粒度并行策略

PMVS(Patch-based Multi-View Stereo)三维重建算法被广泛应用于无人机航拍影像的三维场景重建中。针对PMVS三维重建算法计算量大、时间复杂度高的问题,提出了PMVS算法的CPU多线程和GPU两级粒度并行策略(Multithread and GPU Parallel Schema,MGPS),方法具体包括:基于GPU的PMVS算法特征提取和片面扩散的并行设计;多影像的GPU和CPU任务分配机制,以使得部分任务分配给CPU采用多线程并行,部分任务分配给GPU并行时,程序总运行时间最短。实验采用搭载24核CPU和NVIDIA Tesla K20 GPU的高性能服务器作为测试平台,针对分辨率为4081×2993的16幅无人机影像进行三维重建。实验结果表明,相比串行的PMVS算法,基于MGPS的PMVS算法取得4倍左右的加速比,其中特征提取最高加速13倍,计算误差在10%以内,该方法实现了更高效的PMVS三维重建。基于MGPS的PMVS算法还可用于文物保护、医学图像处理、虚拟现实等领域。     

聚类立即辐射度及在增强现实中的应用

提出一种聚类立即辐射度方法,以实现增强现实等领域需要高度真实感的全局光照算法来实现实时交互的绘制效果要求。为此,改进了传统的立即辐射度方法,将大量的用于表达间接光照的虚拟点光源聚类到少量的虚拟面光源中,并使用实时软阴影算法快速计算可见性。同时,借助图形硬件GPU加速场景绘制。实验结果表明,算法在增强现实环境等领域中支持完全动态场景,且在保证良好视觉效果的前提下获得了实时绘制帧率。     

基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建

受光照变化和纹理缺乏等因素的影响,基于单幅室内场景图像的像素级和区域级三维重建算法很难恢复场景结构细节.本文提出了一种基于空洞卷积残差连接和多尺度特征融合网络的分段平面三维重建算法.该算法通过融合利用加入空洞卷积的ResNet-101网络产生的浅层高分辨率细节特征,从而减小随着网络结构的层次加深导致空间信息的丢失对三维重建细节的影响,使模型能够学习单幅图像中室内复杂场景的细节特征,并通过将全连接条件随机场优化的定位精度与深度卷积神经网络的识别能力相耦合,更好地处理了边界定位问题.实验结果表明,本文算法对复杂背景的室内场景的平面预测鲁棒性强,平面分割结果准确,且深度预测精度平均可达到92.27％.     

基于尺度不变Harris特征的准稠密匹配算法

准稠密匹配是多视图三维重建的重要技术,其性能对重建结果至关重要。针对常用的Sift算法提取的种子点进行准稠密匹配正确率较低、重建效果不佳的问题,提出了一种基于尺度不变Harris角点特征的准稠密匹配算法。该算法首先在图像多尺度空间构造尺度不变Harris特征,并采用余弦距离测度对不同视图进行双向匹配;然后根据稀疏匹配获取种子点,采用最优最先匹配扩散策略进行准稠密扩散;最后采用局部非极大值抑制策略对匹配结果进行重采样。实验表明,本文算法提取的种子点既能够体现场景结构信息,又具有尺度不变特性,用于准稠密匹配能够提高匹配的效果和精度,是一种有效的用于三维重建的准稠密匹配算法。     

利用并查集的多视匹配点提取算法

多视匹配点的提取是多视影像场景三维重建的核心问题之一,提取结果将直接影响三维重建的精度。将多视匹配点的提取问题转化为动态连通性问题,设计了基于并查集算法的解决方案。采用高效的树结构来组织并查集中的节点,在树中采用parent-link连接方式,使得每次增加匹配点对的过程中只需修改单个节点的寻址参数,避免了遍历数组来比较寻址参数的计算过程,提高了查找和修改的效率。同时通过加权策略对算法进行优化,利用加权编码方式替代常用的硬编码,可以平衡树状图的结构,降低树中节点的平均深度。多组影像集的实验结果表明,基于并查集的算法可以提取更多的多视匹配点,并且计算效率要优于传统的广度优先搜索算法。     

Combining 3D flow fields with silhouette-based human motion capture for immersive video

In recent years, the convergence of computer vision and computer graphics has put forth a new field of research that focuses on the reconstruction of real-world scenes from video streams. To make immersive 3D video reality, the whole pipeline spanning from scene acquisition over 3D video reconstruction to real-time rendering needs to be researched. In this paper, we describe latest advancements of our system to record, reconstruct and render free-viewpoint videos of human actors. We apply a silhouette-based non-intrusive motion capture algorithm making use of a 3D human body model to estimate the actor’s parameters of motion from multi-view video streams. A renderer plays back the acquired motion sequence in real-time from any arbitrary perspective. Photo-realistic physical appearance of the moving actor is obtained by generating time-varying multi-view textures from video. This work shows how the motion capture sub-system can be enhanced by incorporating texture information from the input video streams into the tracking process. 3D motion fields are reconstructed from optical flow that are used in combination with silhouette matching to estimate pose parameters. We demonstrate that a high visual quality can be achieved with the proposed approach and validate the enhancements caused by the the motion field step.     

RGB-Fusion: Monocular 3D reconstruction with learned depth prediction

Generating large-scale and high-quality 3D scene reconstruction from monocular images is an essential technical foundation in augmented reality and robotics. However, the apparent shortcomings (e.g., scale ambiguity, dense depth estimation in texture-less areas) make applying monocular 3D reconstruction to real-world practice challenging. In this work, we combine the advantage of deep learning and multi-view geometry to propose RGB-Fusion, which effectively solves the inherent limitations of traditional monocular reconstruction. To eliminate the confinements of tracking accuracy imposed by the prediction deficiency of neural networks, we propose integrating the PnP (Perspective-n-Point) algorithm into the tracking module. We employ 3D ICP (Iterative Closest Point) matching and 2D feature matching to construct separate error terms and jointly optimize them, reducing the dependence on the accuracy of depth prediction and improving pose estimation accuracy. The approximate pose predicted by the neural network is employed as the initial optimization value to avoid the trapping of local minimums. We formulate a depth map refinement strategy based on the uncertainty of the depth value, which can naturally lead to a refined depth map. Through our method, low-uncertainty elements can significantly update the current depth value while avoiding high-uncertainty elements from adversely affecting depth estimation accuracy. Numerical qualitative and quantitative evaluation results of tracking, depth prediction, and 3D reconstruction show that RGB-Fusion exceeds most monocular 3D reconstruction systems.     

基于智能的配电网电力大数据三维场景可视化分析

配电网电力大数据的三维场景重构是实现数据优化挖掘的关键,提出基于人工智能的配电网电力大数据三维场景可视化分析方法。建立配电网电力大数据三维场景的网格分布结构模型,并进行配电网电力大数据三维场景实时数据监测,根据监测结果进行配电网电力大数据的统计特征分析,对配电网电力大数据三维场景实时数据采用信息融合和模糊层析性分析方法进行信息融合和自适应调度,提取配电网电力大数据的三维可视化分布特征量,采用视觉特征重构技术,实现对配电网电力大数据三维场景可视化重构,在人工智能算法控制下提高电力大数据三维场景可视化重构的精度。仿真结果表明,采用该方法进行配电网电力大数据三维场景可视化重构的精度较高,提高了配电网电力大数据挖掘的效能。     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面...     

复杂场景中快速碰撞检测算法及GPU加速

为了保证在大规模复杂场景中,碰撞检测的实时性和精确性,提出了一种基于图形空间与改进的图像空间相结合,并利用GPU加速的快速碰撞检测方法.利用AABB包围盒的检测策略,快速剔除不相交物体,确定潜在碰撞对象.改进传统的基于图像空间的碰撞检测算法,设计了基于向指定平面投影、模板测试和深度测试的碰撞检测算法.在此基础上,利用GPU的并行计算能力加速整个检测过程,有效地减少了碰撞检测时间.通过在虚拟驾驶系统当中的应用,验证了该方法在大规模复杂场景中碰撞检测的实时性和精确性.     

景像匹配辅助导航系统中的图像匹配算法研究

图像匹配算法是景像匹配辅助导航系统的核心，而且其性能决定了系统的总体性能，为了提高景像匹配辅助导航系统导航的实时性和精度，就必须选用合适的图像匹配算法，为此，给出了一种快速有效的基于图像特征的图像匹配算法，该算法选用部分Hausdorff距离作为图像匹配时的相似性度量，并利用图像特征提取后的二值化图像进行图像匹配，同时在联合了3种图像匹配加速技术的基础上，将邻域技术引入到图像匹配搜索终止条件中，从而大大提高了图像匹配效率。仿真结果表明，该算法可以保证图像匹配的鲁棒性和有效性，同时，能有效克服图像噪声和几何畸变的影响。该算法实施景像匹配能够在5s以内完成，并与GPS输出周期(1s)相当，可以满足景像匹配辅助导航系统匹配导航的准确性和实时性的性能要求。