基于FPGA的三维视频系统实时深度估计

深度估计是基于视频加深度图像的三维视频系统中前端预处理的核心技术,其主要技术难题包括准确性、实时处理和大分辨率深度图获取等。本文提出一种实时深度估计的硬件实现方案,主要解决处理速度问题,并兼顾了准确性和大分辨率问题。本方案采用单片FPGA实现深度估计,其中采用census变换与SAD(Sum of Absolute Differences)混合的算法进行逐点匹配得到稠密深度图。硬件设计充分利用FPGA的大规模并行能力,并采用流水线设计提高数据通路的数据吞吐量,提升整个设计的时钟频率。实验表明,所提出的方案可实现全高清(1 920×1 080)分辨率视频实时深度估计。为了支持大分辨率图像并能观测距离相机较近的物体深度,本文方案视差搜索范围可以达到240pixels,帧率最高可达69.6fps,达到了实时和高清的处理目的。     

一种高分辨率深度图实时提取算法与硬件实现

深度提取问题往往由于其巨大的立体匹配计算量成为整个立体视觉系统实现效率的瓶颈,对于高分辨率的视差图尤甚。针对深度图提取不能满足3D系统实时应用的现状,提出了一种基于硬件的深度图实时提取算法;改进了传统的CT变换,提出了大范围稀疏CT变换进行立体匹配,利用RAM资源以Verilog程序在FPGA中加以实现;得出视差图像每一个像素对应的视差,速度是PC软件实现的200倍以上,可实时应用,且支持分辨率高达1 920×1 080的视差图。     

实时3DV系统中面向虚拟视绘制的快速深度编码

在基于深度的三维视频系统中,合成视的质量与深度图的质量息息相关。为加快深度数据的压缩速度并保证重建虚拟视点图像的质量,提出了一种面向虚拟视点绘制的快速深度编码算法。根据深度数据的特点及深度失真对绘制视质量的影响,将深度图像划分为边缘区域与平坦区域,并相应地为深度编码中的宏块模式选择设计了两种搜索策略。对边缘区域及纹理复杂区域采用全搜索策略,对平坦区域及低纹理区域采用SKIP模式、帧间16×16模式和帧内模式搜索。实验结果表明,与X264编码方案相比,本文方法在保证虚拟绘制图像质量与编码码率不变的前提下,显著提高了编码速率,可应用于实时的基于深度的三维视频系统中。      

视差可控的多视点立体图像校正算法

提出了一种视差可控的多视点立体图像校正算法。该算法通过对多视点信息进行旋转、垂直视差调整和视差均衡的预处理操作,使得立体图像符合立体显示器的要求,并且对图像中的目标物体可根据需要显示为正视差、负视差或者零视差。通过在多视点立体显示系统上的实验可看出,该算法校正后的多视点图像在观看时立体感强,符合人眼观看的特点,并且可根据内容的需要使场景内的目标物体显示出不同的深度。