基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。     

基于图像频谱分析三维网格模型数字浮雕生成算法

由3维模型生成2.5维数字浮雕曲面是最近国内外数字浮雕研究的热点,通过对三维网格模型频率域的能量进行压缩来得到几何高度被压缩的浮雕模型.算法通过对三维模型进行重新采样,获得视线方向上的规则化深度图,然后利用图像傅里叶变换对深度图进行频谱分析,最后将模型高度的压缩转换为频谱域能量系数的压缩来得到浮雕曲面模型.在压缩过程中,应用高通滤波器工具对低频能量进行压缩、应用对数压缩函数对高频边缘压缩,从而使得生成的浮雕达到较好的效果.实例表明在频率域对三维模型的能量进行压缩来生成浮雕是可行的,算法对细节不太丰富的模型同样具有较好的效果.     

基于区域融合的单视点图像深度信息提取

将2D转换为3D是目前3D多媒体成功应用的重要解决方法之一.而在2D至3D转换过程中,单视点图像中深度信息提取是最具挑战的任务.提出一种基于区域融合的单视点图像深度信息提取方法,利用区域融合对单视点图像进行区域融合,用先验假设的深度梯度图对区域进行深度分配,得到基于区域融合的深度图.实验结果表明通过所提方法得到的深度图...     

引入零视差缓冲的DIBR改良方法

针对图像部分像素深度值失真,导致图像变形后物体边缘失真的问题,提出了一种引入“零视差缓冲”的方法。首先选取四幅具有不同复杂程度场景的图像,引入零视差缓冲对图像进行变形,其次采用传统图像质量评价体系（结构相似度SSIM和模糊系数K）对得到的图像进行质量评价,最后对比传统DIBR方法和引入零视差缓冲方法得到的视点图中物体边缘的表现。实验结果表明,该方法对于变形图像的SSIM平均提高了4.66%, K平均下降了1.73%。提高了视点图中物体边缘的质量,提高了3D图像的整体质量。     

一种低延迟的3维高效视频编码中深度建模模式编码器

为了更好地对3D视频中深度图进行编码,该文将3维高效视频编码(3D-HEVC)标准新引入了深度建模模式(DMMs),新模式在提高了编码质量的同时改进了原有算法的复杂度。在设计DMM-1编码器电路时,传统架构电路的编码周期均较长,只能满足较低分辨率和帧率的视频实时编码要求。为了进一步提高3D-HEVC中DMM-1编码器的性能,该文对DMM-1算法架构进行了研究,针对其中楔形块评估无数据相关性的特点,提出了一种5级流水线架构的DMM-1编码器硬件电路,以期能够降低一个深度块编码所需的编码周期,并使用Verilog HDL进行实现。实验表明:该架构与Sanchez等人(2017年)的工作相比,以电路门数增加约1568门为代价,可减少至少52.3%的编码周期。     

三维视频编码技术的发展与挑战

介绍了三维视频编码的核心技术。首先比较了纯视频格式和深度增强格式三维视频编码技术的发展方向及面临的挑战,其中重点分析了深度估计技术和视点合成技术的研究思路;然后概括了国际3DV/FTV标准的制定现状;最后对三维视频编码技术进行了总结和展望。     

基于不确定度评价的Kinect深度图预处理

针对应用在机器人三维(3D)场景感知测量中,Kinect深度图的联合双边滤波(JBF)存在降低原始场景深度信息精确度的制约性问题,提出一种新的预处理算法。首先,通过构建深度图的测量和采样模型,得到深度图的蒙特卡罗不确定度评价模型;其次,依据该模型计算得到深度值估计区间,实现噪声点与非噪声点的判定及滤除;最后,利用估计区间均值完成噪声点的修复。实验结果表明,该算法在噪声滤波的同时保证了非噪声的不变性;非噪声的不变性以及基于估计均值的噪声修复使原始深度梯度具有不变性;与联合彩色深度图的双边滤波相比,预处理结果图物体边缘轮廓清晰不变且其均方误差降低了15.25%~28.79%。因此,该预处理算法达到了提高三维场景深度信息精确度的目的。     

基于空间加权的虚拟视点绘制算法

在自由视点视频系统中,如何能在视频终端得到高质量的视频图像已成为基于深度图的绘制（DIBR）技术所研究的主要任务,其中虚拟视点像素插值是该技术中影响绘制质量的一个重要环节。针对虚拟视点绘制标准方案中存在的问题,提出了一种基于空间加权的像素插值算法。它是通过对多个投影像素点的深度值和水平方向绝对距离进行加权操作来实现像素插值的。在插值过程中,该算法考虑了不同区域投影像素点个数对像素插值准确性的影响,从而剔除了部分失真像素点,并且在图像输出前还分别对左、右参考虚拟视点进行了失真检测和矫正。实验结果表明,该算法改善了绘制的主、客观质量,其中,PSNR平均提高0.30 dB,SSIM平均提高0.001 3。因此,该算法可以有效地抑制像素插值过程引入的噪声,提高像素插值的精度。     

基于Quaternion-Gabor小波运动估计的深度图获取技术

深度图是“二维视频+深度图”格式3D显示器的关键技术所在。在对四元数及Gabor滤波器进行研究的基础上提出了基于Quaternion-Gabor小波运动估计的深度图获取技术。通过计算普通视频运动图像的全局运动向量,估计出图像背景运动模型,获得图像运动场,最后分离出图像的前景与背景,从而得到图像的深度图。将普通的Gabor滤波器扩展到Quaternion-Gabor滤波器,不仅把图像变换到频率域获得额外的信息,而且可以对每个像素的RGB分别独立滤波。实验结果表明,使用Quaternion-Gabor小波运动估计方法得到的深度图变化很平滑,边缘更突出。