多遮挡场景的光场深度优化估计

光场相机可以同时从多个视点记录场景的方向和光强信息,因此,光场图像具有更大的信息量及更强的可塑性。随着光场技术的发展,针对光场图像的深度估计逐渐成为研究热点,但多遮挡是尚未得到解决的技术难点问题。为此,提出了一种多遮挡场景的光场图像深度优化估计方法。该方法使用优化的高低阈值比的Canny边缘检测算法提取遮挡区域的边缘,在传统的AP聚类算法中引入了迭代加权更新的带加速算子,有效地提高了聚类的精度,较好地解决光场深度估计中的多遮挡问题。采用匹配成本估计初始深度,使用马尔科夫随机场对初始深度结果进行优化处理,得到最终的深度估计结果。实验结果表明,与现有的基于光场图像的深度估计方法相比,本方法不仅抗多遮挡效果显著,而且获得了更低的MSE值,得到了更好的深度估计结果。     

基于语义导向的光场图像深度估计

光场图像的深度估计是3维重建、自动驾驶、对象跟踪等应用中的关键技术。然而,现有的深度学习方法忽略了光场图像的几何特性,在边缘、弱纹理等区域表现出较差的学习能力,导致深度图像细节的缺失。该文提出了一种基于语义导向的光场图像深度估计网络,利用上下文信息来解决复杂区域的不适应问题。设计了语义感知模块的编解码结构来重构空间信息以更好地捕捉物体边界,空间金字塔池化结构利用空洞卷积增大感受野,挖掘多尺度的上下文内容信息;通过无降维的自适应特征注意力模块局部跨通道交互,消除信息冗余的同时有效融合多路特征;最后引入堆叠沙漏串联多个沙漏模块,通过编解码结构得到更加丰富的上下文信息。在HCI 4D光场数据集上的实验结果表明,该方法表现出较高的准确性和泛化能力,优于所比较的深度估计的方法,且保留较好的边缘细节。     

基于多视点伪序列的光场图像压缩

近年来，作为一种能够提供更富有沉浸感的多媒体媒质，光场图像（Light Field Image，LFI）引起广泛的关注。针对光场图像数据量巨大的问题，本文提出了一种基于多视点伪序列的光场图像高效压缩方案。在编码端，所提方法首先将光场相机捕获得到的原始光场图像根据相机的微透镜阵列分解成子孔径图像。接着根据子孔径图像存在较强视点内和视点间相关性，选取部分子孔径图像进行多视点伪序列构建，基于MV-HEVC设计适用于多视点伪序列的预测编码结构进行编码。在解码端，所提方法基于已解码多视点伪序列通过视频帧插值方法重建出未编码传输的子孔径视图，从而重建出全部光场图像。实验结果表明本文所提算法优于现有基于视差引导稀疏编码的光场图像压缩方法，BD-rate平均节约18.5%，BD-PSNR平均提高1.28dB。      

面向编码和绘制的多视点图像深度估计

针对自由视点三维电视系统中深度估计不准确将给后续多视点深度编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点图像深度估计算法。首先对初始深度进行一致性检查,并采用自适应匹配误差策略删除不可靠的匹配以减小初始深度的误匹配。然后根据融合准则将多幅参考深度图合成为一幅深度图以提高深度图的精度。最后,采用多边滤波...     

太赫兹光场成像的深度估计方法与实验研究

在前期工作中,通过对太赫兹光场图像进行离散余弦变换(Discrete Cosine Transform,DCT)滤波和数字重聚焦,初步实现了图像去噪和前后景分割。为了进一步得到质量更高的太赫兹光场原数据并达到更加精确的深度分割效果,改进了实验方案及处理方法,并提出了一种基于极平面图像(Epipolar Plane Image,EPI)的太赫兹光场深度估计方法。在太赫兹图像特性的基础上,给出了深度与视差的关系,并利用局部视差和置信度构建了全局深度图,从而达到了深度估计的目的。最后,在实验中通过10×10的相机阵列采集太赫兹光场数据,得到了准确聚焦于不同平面的重聚焦结果和高分辨度的深度估计图,实现了太赫兹光场成像的深度估计。     

基于视点图像与EPI特征融合的光场超分辨率

光场（Light Field, LF）成像能同时捕获场景中光线的空间信息和角度信息,应用广泛。然而,它的分辨率受到成像设备硬件以及空间和角度分辨率之间制衡的限制。过低的空间分辨率严重影响了光场图像的质量及其应用。因此,本文充分利用光场特性增强图像细节,提出一种基于视点图像（Viewpoint Image, VI）和极平面图像（Epipolar Plane Image, EPI）特征融合的端到端光场超分辨率方法,能够同时超分辨率所有视点图像。本方法将低分辨率光场图像按照水平和垂直EPI方向堆叠排列,利用三维视点图像堆栈中包含EPI信息的特点,采用双分支结构的3D递减卷积网络处理输入的四维光场数据。这样能够同时对视点图像和EPI信息进行特征提取和融合,充分探索光场的纹理信息及几何一致性。在真实和合成光场数据集上的实验结果均表明,该方法相比现有主流方法不仅在客观指标上具有更好的表现,主观质量上也能保持更好的几何一致性,同时还具有更少的模型参数和更快的执行速度。      

基于自适应窗口的深度视频预处理算法

在自由视点视频系统中,由深度估计算法得 到的深度视频并不精确,对虚拟视点的绘制质量和深度视频的编码效率有很大的影响。本文 提出了一种基于自适应窗口的深度视频预处理算法来提高深度视频的压缩效率和虚拟视点的 绘制质量。首先,将深度视频划分为不连续区域、连续区域中的前景区域和连续区域中的背 景区域。然后,提取出深度视频各区域中的对象边界。最后对不连续区域中的非边界区域进 行高斯滤波,降低深度值骤变对虚拟视点绘制质量的影响,对连续区域中的非边界区域采用 自适应窗口滤波平滑处理以提高压缩效率。实验结果表明,提出的算法可以使深度视频的编 码码率节省8.33~34.39%,同时可使绘制的虚拟视点质量平均提高0.21dB。和Silva的算法相比,在更具实际意义的低码率 端编码效率更显著,绘制结果中对象边界得到了更好的保护。     

基于分割的离焦图像深度图提取方法

针对影视作品中的大量离焦图像,提出了一种离焦图像的深度图提取方法。将离焦图像的聚焦前景和离焦背景进行分离。对离焦背景提出了深度图模型匹配的方法,构建深度图模型并结合人眼视觉对场景深度的敏锐判断,将背景与对应的深度图模型进行匹配,实现背景深度图的构建;提出了基于颜色分割的深度图再处理,来进一步提高场景深度图的精度。对前景采用单深度赋值,并结合背景深度图融合生成最终深度图。实验表明采用该方法提取的深度图在深度跳跃和深度平滑区域都得到了好的效果。     

基于机器视觉技术的光场尺度空间局部特征提取研究

目前光场尺度空间局部特征提取没有对光场尺度空间深度进行估计,存在局部特征点匹配时间长,提取时间长,特征点识别率低的问题。提出基于机器视觉的光场尺度空间局部特征提取方法,首先对光场尺度空间进行深度估计,利用光场相机中的微透镜对物体发出的不同方向的光线进行重聚焦处理,最终成像到传感器上,获得宏像素。利用四维空间对宏像素处理得到多视角。经过运算解出多视角之间的视角差,最终获得光场尺度空间深度。在光场尺度空间深度内通过机器视觉的四维光场重聚焦模型确定光线与重聚焦光线间的关系,利用辐射理论对原光场相机重新采样积分提取出光场尺度空间的所有图像,即得到焦点堆栈图像,并提取焦点堆栈图像的颜色特征和纹理特征,将颜色和纹理特征融合在一起,实现对光场尺度空间局部特征的提取。实验结果表明,所提方法的局部特征点匹配平均为11.5 s,提取时间平均为91.6 s,特征点识别率平均为89.5%,具有一定的有效性。     

恰可察觉深度差异模型的深度图优化方法

针对人眼视觉对空间深度变化的灵敏度特性,研究人眼对深度细节感知的最小可察觉差值。通过大量的主观实验得到恰可察觉深度差异(JNDD,just noticeable depth difference)模型,并提出基于此JNDD的三边滤波深度图优化算法,用来抑制不被感知的深度细节,减少由于深度估计过程中引入的噪声而导致的深度绘制失真。主观和客观实验结果证明本文所提出的基于JNDD模型的三边滤波深度图优化算法,在降低深度编码码率的情况下,可使合成虚拟视点图像中物体的边缘更加平滑,减少了边缘噪声。     

RLP-AGMC: Robust label propagation for saliency detection based on an adaptive graph with multiview connections

There have been remarkable improvements in the salient object detection in the recent years. During the past few years, graph-based saliency detection algorithms have been proposed and made advances. Nevertheless, most of the state-of-the-art graph-based approaches are usually designed with low-level features, misleading assumption, fixed predefined graph structure and weak affinity matrix, which determine that they are not robust enough to handle images with complex or cluttered background.In this paper, we propose a robust label propagation-based mechanism for salient object detection throughout an adaptive graph to tackle above issues. Low-level features as well as deep features are integrated into the proposed framework to measure the similarity between different nodes. In addition, a robust mechanism is presented to calculate seeds based on the distribution of salient regions, which can achieve desirable results even if the object is in contact with the image boundary and the image scene is complex. Then, an adaptive graph with multiview connections is constructed based on different cues to learn the graph affinity matrix, which can better capture the characteristics between spatially adjacent and distant regions. Finally, a novel RLP-AGMC model, i.e. robust label propagation throughout an adaptive graph with multiview connections, is put forward to calculate saliency maps in combination with the obtained seed vectors. Comprehensive experiments on six public datasets demonstrate the proposed method outperforms fourteen existing state-of-the-art methods in terms of various evaluation metrics.     

应用分层MRF/GRF模型的立体图像视差估计及分割

视差估计与分割是立体图像编码及立体视觉匹配的核心问题,本文提出一种基于分层MRF/GRF模型和交叠块匹配(HMOM)视差估计算法以及结合主动轮廓模型的视差分割提取算法.该混合视差估计方法,可得到光滑准确,且具有清晰边缘的视差场;并便于用主动轮廓模型提取感兴趣对象(OOI)的视差轮廓.与通常的变尺寸块匹配(VSBM)相比,本算法得到的视差补偿图像的峰值信噪比可提高2.5dB左右.本文得到的视差场及对应的轮廓可进一步用于立体图像编码以及视频对象分割.     

Adaptive depth truncation filter for MVC based compressed depth image

In multiview video plus depth (MVD) format, virtual views are generated from decoded texture videos with corresponding decoded depth images through depth image based rendering (DIBR). 3DV-ATM is a reference model for the H.264/AVC based multiview video coding (MVC) and aims at achieving high coding efficiency for 3D video in MVD format. Depth images are first downsampled then coded by 3DV-ATM. However, sharp object boundary characteristic of depth images does not well match with the transform coding based nature of H.264/AVC in 3DV-ATM. Depth boundaries are often blurred with ringing artifacts in the decoded depth images that result in noticeable artifacts in synthesized virtual views. This paper presents a low complexity adaptive depth truncation filter to recover the sharp object boundaries of the depth images using adaptive block repositioning and expansion for increasing the depth values refinement accuracy. This new approach is very efficient and can avoid false depth boundary refinement when block boundaries lie around the depth edge regions and ensure sufficient information within the processing block for depth layers classification. Experimental results demonstrate that the sharp depth edges can be recovered using the proposed filter and boundary artifacts in the synthesized views can be removed. The proposed method can provide improvement up to 3.25 dB in the depth map enhancement and bitrate reduction of 3.06% in the synthesized views.     

Hole‐Filling Methods Using Depth and Color Information for Generating Multiview Images

This paper presents new hole‐filling methods for generating multiview images by using depth image based rendering (DIBR). Holes appear in a depth image captured from 3D sensors and in the multiview images rendered by DIBR. The holes are often found around the background regions of the images because the background is prone to occlusions by the foreground objects. Background‐oriented priority and gradient‐oriented priority are also introduced to find the order of hole‐filling after the DIBR process. In addition, to obtain a sample to fill the hole region, we propose the fusing of depth and color information to obtain a weighted sum of two patches for the depth (or rendered depth) images and a new distance measure to find the best‐matched patch for the rendered color images. The conventional method produces jagged edges and a blurry phenomenon in the final results, whereas the proposed method can minimize them, which is quite important for high fidelity in stereo imaging. The experimental results show that, by reducing these errors, the proposed methods can significantly improve the hole‐filling quality in the multiview images generated.     

基于图像局部结构的区域匹配变分光流算法

针对变分光流算法的计算精度与鲁棒性问题,提出一种基于图像局部结构的区域匹配变分光流算法.光流估计能量泛函的数据项采用图像结构守恒与灰度守恒相结合,并引入规则化非平方惩罚函数,保证了光流估计的精度与鲁棒性;平滑项采用随图像局部结构自适应变化的扩散策略结合区域匹配约束函数能够有效地保护运动物体或场景的边缘轮廓信息;在光流计算过程中引入金字塔分层细化策略克服图像序列中大位移运动引起的像素点漂移现象,并采用数学方法证明光流估计模型的鲁棒性和收敛性.多组实验表明,本文方法在图像中存在剧烈光照变化、非刚性物体复杂运动以及多目标大位移运动等情况下具有较高的计算精度、较好的鲁棒性.