多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。     

基于几何模型的高质量虚拟视点绘制

该研究主要完成用kineet获得的“单路纹理+深度图像”来生成新的虚拟视点图像.针对深度图像的虚拟视点绘制技术(Depth Image Based Rendering,DIBR)生成的虚拟图像空洞问题,利用高斯混合模型分离前背景,背景空洞采用背景值填充,前景空洞采用改进的图像修复技术方法来填充.实验证明生成的虚拟视点图像具有较好的视觉效果.     

构造全局背景的虚拟视点合成算法

虚拟视点合成技术是三维电视、多视点视频等诸多领域中的关键技术。目前,基于深度图像的绘制(DIBR)受到了广泛的关注,而这一技术的主要难点在于如何降低映射过程中产生的空洞。为解决这个问题,提高合成图像的质量,同时降低所需参考视点的数量,本文提出了一种基于全局背景图像的虚拟视点合成算法。首先,我们利用视频序列的帧间互补信息生成一张全局背景图像,并以此为辅助图像,去填补从参考视点映射到虚拟目标视点的各帧图像。与传统方法相比,本文算法能使用空洞区域对应的真实像素进行填充,提高了图像的质量。最后,对填补后仍余留的空洞采用图像修复算法进行处理,得到最终的虚拟视点图像。实验结果表明,这个算法优于传统算法,并且只利用了一个参考视点。      

基于逆向映射的空洞填补方法

为了有效填补虚拟视点图像中的公共空洞,提出 了一种基于逆向映射的空洞填补方法。 首先利用深度图像绘制(DIBR)技术将左、右参考视点映射到虚拟视点位置,利用图像膨胀方 法将映射的虚拟视图中的空 洞区域进行扩大,以消除虚拟视点图像中的伪影瑕疵;然后,提取出膨胀后空洞区域的边界 ,并将其逆映 射到原始的参考图像中,根据空洞与边界的相对位置,选取原始图像中相对位置上的像素来 填充虚拟视图 中的空洞区域;最后,将空洞填补之后的左、右视点映射的虚拟视图进行融合获得最终的虚 拟视图。实验 证明,本文方法有效解决了传统空洞填补方法容易将前景像素填充到背景区域的问题,能 够获得较好的视觉观看效果和较高的客观峰值信噪比(PSNR)值。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

基于卷积神经网络的虚拟视点空洞填补

为了提高虚拟视点绘制中空洞填补的质量,本文提 出一种基于卷积神经网络的虚拟视点空洞填补算 法,包括图像预处理、特征提取和空洞填补三部分。首先,对双视点虚拟视点图像进行预处 理,即利用深 度图像绘制(Depth Image Based Rendering,DIBR)技术得到空洞填补前的图像和空洞掩膜 ;然后,通过卷积 神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络 ;最后,利用 提取的特征填补虚拟视点中的空洞。实验结果表明,本文算法能较好地保持虚拟视点图像前 景和背景的锐 利边缘,主观视觉感知效果佳,同时,对不同场景测试序列的客观评价指标PS NR和SSIM都能取得满意结果,该方法能有效地填补虚拟视点中的空洞。     

基于虚拟曝光图像的立体高动态范围图像合成算法

本文提出基于多视点多曝光图像的立体高动态范围图像合成算法。首 先,考虑多视点多曝光 图像以及相机响应函数曲线的特性,提出一种虚拟曝光图像绘制算法,将不同曝光的图像绘 制到同一视点;然后, 为了使绘制曝光图像保留更多细节和结构,需要对绘制虚拟曝光图像进行空洞填补及边缘修 复,故引入了边缘差值 掩膜图,对图像边缘信息进行校正平滑处理;最后利用绘制的虚拟曝光图像合成立体高动态 范围图像。实验结果表 明,获得的绘制曝光图像与参考曝光视点图像之间的结构相似性高达0.99以上,且合成的 高动态范围图像质量高。     

基于GPU加速的深度图像绘制

基于深度图像的绘制(DIBR)广泛应用于虚拟视点的合成,但是目前实现DIBR的算法复杂度都比较高,很难较实时地应用到3DTV系统中。采用单路纹理图像和其对应的深度图像进行虚拟视点的合成,在图形处理单元(GPU)上应用CUDA(Compute Unified Device Architecture)技术实现了基于深度图像的绘制。通过在NVIDIA Telsa C2050图形卡上运行,绘制分辨力1 024×768和640×480的图像速率分别达到了15 f/s(帧/秒)和24 f/s,分别能够准实时或实时地应用到3DTV系统中;同时本文的绘制方法有效地节约了传输带宽,绘制图像的主观质量良好。     

自由立体显示中基于深度卷积神经网络的虚拟视点生成方法

传统虚拟视点生成采用像素填充法对生成的虚拟视点图像进行空洞填充和伪影修复,其修复效果无法满足自由立体显示需求。为了获取高质量的虚拟视点图像,提出了一种基于深度卷积神经网络的虚拟视点生成方法。该方法采用随机初始化的深度卷积神经网络作为图像先验,经过卷积神经网络结构的不断迭代,对虚拟视点图像的空洞和伪影进行修复,并将得到的高质量虚拟视点图像合成为自由立体图像,用于自由立体显示。修复后的虚拟视点图像的PSNR均值为25.6,相比传统像素填充方法有明显提升。实验结果表明,所提方法能够实现高质量的自由立体显示效果。     

一种基于时间导向的DIBR空洞填补方法

在立体成像系统中,填充新视点合成时图像中产生的空洞是虚拟视点合成技术的重要环节,已有方法是对空洞区域周围的像素进行水平的推测运算来得到填洞像素,其正确率不高而且容易造成图像边缘失真。提出一种基于时间导向的DIBR空洞填补方法,首先通过结构相似帧的方法得到与关键帧拥有相同背景的前后帧图像,然后比较空洞位置对应的前后帧图像的深度值,利用背景信息对空洞区域进行填补。实验结果表明,新方法得到的填补后的图像效果可以较为真实地还原特定的场景,与原始视点的结构相似性可达到91.36%,比传统方法提高了8.38%。