对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.     

采用几何复杂度的室外场景图像分割和深度生成

本文提出一种采用几何复杂度的室外场景图像几何分割和深度生成算法。该算法首先通过图像中主要线段的角度统计分布将室外场景图像的几何结构规划为四种类型;然后,利用meanshift分割算法将输入图像分割成若干小区域,依据该图像的场景几何结构将这些小的区域逐步融合成为三个大的区域,每个区域具有一致的深度分布特点,由此实现输入图像的几何分割;最后,根据几何类型定义标准的深度图,结合输入图像的几何分割结果获得图像的深度图。实验结果表明可以通过简单的线段角度统计分布实现图像的几何分割,并进一步获得图像的深度图,与已有算法相比,提出的算法可以更好地保持深度图细节,更接近场景的真实的深度信息。      

基于背景重构的视频分割技术及应用

针对背景静止的立体视频提出了一种快速的基于背景重构的视频分割算法.先利用帧差法分别确定出左右视频的前景运动区域,再重构出该区域的背景图像,最后,通过视频图像和背景图像的对比来准确地提取运动前景.然后,先匹配左右图像序列的背景图像,并保存它们的匹配结果,再分别对各立体图像对的运动前景进行匹配.采用该方法将立体视频分割可以...     

单幅图像的深度标签流形学习

图像中背景与前景对象的空间位置决定了场景在图像中的相对深度,利用图像的局部特征相似性和流形结构的降维性能,并应用salient区域DCT高频系数分布的深度排序索引性能,定义出图像深度的马尔科夫概率图模型MRF。通过划分场景对象检测salient区域模糊度,最后估计得出图像场景的相对深度图。通过学习图像数据的流形嵌入对数据流形分布概率密度函数进行迁移,得出遵循相似流形分布的对象特征类别标记概率密度分布。进一步检测空间变化salient区的模糊程度,融合多尺度梯度幅度的高频离散余弦变换DCT系数特征,依据模糊变化高频特征计算深度标记索引确定深度标签的层级次序,融合类别标签以生成深度图。这种模型框架下检测单个图像中模糊和未模糊的区域,可获得图像中场景的相对深度,而无需了解相机设置或模糊类型的先验参数。在典型的深度图估计数据集中应用MRF深度图模型评测图像的深度估计性能,实验结果给出该方法在检测场景分布和划分场景深度次序上的准确率,验证了方法的有效性。     

加权SIFT流深度迁移的单幅图像2D转3D

2D视频转3D视频是解决3D片源不足的主要手段,而单幅图像的深度估计是其中的关键步骤.提出基于加权SIFT流深度迁移和能量模型优化的单幅图像深度提取方法.首先利用图像的全局描述符从深度图数据库中检索出近邻图像;其次通过SIFT流建立输入图像和近邻图像之间像素级稠密对应关系;再次由SIFT流误差计算迁移权重,将近邻图像对应像素点的深度乘以权重后迁移到输入图像上;然后利用均值滤波对迁移后的近邻图像深度进行融合;最后建立深度图优化能量模型,在尽量接近迁移后近邻图像深度的前提下,平滑梯度较小区域的深度.实验结果表明,该方法降低了估计深度图的平均相对误差,增强了深度图的均匀性.     

融合显著深度特征的RGB-D图像显著目标检测

深度信息被证明是人类视觉的重要组成部分,然而大部分显著性检测工作侧重于2维图像上的方法,并不能很好地利用深度进行RGB-D图像显著性检测。该文提出一种融合显著深度特征的RGB-D图像显著目标检测方法,提取基于颜色和深度显著图的综合特征,根据构图先验和背景先验的方法进行显著目标检测。首先,对原始深度图进行预处理：使用背景顶点区域、构图交点和紧密度处理深度图,多角度融合形成深度显著图,并作为显著深度特征,结合颜色特征形成综合特征;其次,从前景角度,将综合特征通过边连接权重构造关联矩阵,根据构图先验,假设多层中心矩形为前景种子,通过流形排序方法计算出RGB-D图像的前景显著图;从背景角度,根据背景先验以及边界连通性计算出背景显著图;最后,将前景显著图和背景显著图进行融合并优化得到最终显著图。实验采用RGB-D1000数据集进行显著性检测,并与4种不同的方法进行对比,所提方法的显著性检测结果更接近人工标定结果,PR(查准率-查全率)曲线显示在相同召回率下准确率高于其他方法。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

基于图像深度重定义的雾天车道线特征提取

为了解决雾天车道线特征不清晰、车道线特征分割阈值选取困难的问题,提出了一种结合图像深度重定义去雾模型的雾天车道线特征提取方法.首先,将采集装置与道路之间的实际场景映射到几何模型上.其次,在抽象好的几何模型上提出图像深度图的定义,并根据图像深度图以及雾天图像模型计算去雾之后的图像.最后,利用图像HSV颜色模型,构建图像分割模型,对车道线特征和非车道线特征进行初步分割,并结合OSTU阈值调优方法对车道线特征进行二次分割.实验结果显示,去雾之后车道线特征清晰,阈值分割比传统的OSTU分割效果更好,最终非车道线特征的占比要比基于灰度算法的平均减少14％.     

基于Kinect的景深提取算法研究

景深提取算法的研究是近年来兴起的热点,其在三维重建的流程中发挥着最重要的作用。本文将要探讨利用微软产品Kinect for windows进行景深提取,我们利用Kinect SDK进行接口编程,提取出相同时间相同场景下所对应的深度图和RGB图像,并对图像作伸缩和剪切处理使得两幅图像对应像素对齐,对于无法检测的区域利用改进的中值插值算法来重建深度信息。最后将处理后的深度图和RGB图像制作成符合条件的2D+Z格式,在柱状透镜裸眼显示器终端上显示。     

3D saliency detection based on background detection

Unlike 2D saliency detection, 3D saliency detection can consider the effects of depth and binocular parallax. In this paper, we propose a 3D saliency detection approach based on background detection via depth information. With the aid of the synergism between a color image and the corresponding depth map, our approach can detect the distant background and surfaces with gradual changes in depth. We then use the detected background to predict the potential characteristics of the background regions that are occluded by foreground objects through polynomial fitting; this step imitates the human imagination/envisioning process. Finally, a saliency map is obtained based on the contrast between the foreground objects and the potential background. We compare our approach with 14 state-of-the-art saliency detection methods on three publicly available databases. The proposed model demonstrates good performance and succeeds in detecting and removing backgrounds and surfaces of gradually varying depth on all tested databases.     

Background subtraction based on circulant matrix

Detecting moving objects in a scene is a fundamental and critical step for many high-level computer vision tasks. However, background subtraction modeling is still an open and challenge problem, particularly in practical scenarios with drastic illumination changes and dynamic backgrounds. In this paper, we present a novel background modeling method focused on dealing with complex environments based on circular shift operator. The background model is constructed by performing circular shifts on the neighborhood of each pixel, which forms a basic region unit. The foreground mask is obtained via two stages. The first stage is to subtract the established background from the current frame to obtain the distance map. The second is to adopt the graph cut on the distance map. In order to adapt to the background changes, the background model is updated with an adaptive update rate. Experimental results on indoor and outdoor videos demonstrate the efficiency of our proposed method.     

基于场景模式的立体图像舒适度客观评价模型

为了预测双目立体图像内容对视觉健康可能产生的危害,该文提出一种基于场景模式的立体图像舒适度客观评价模型。根据场景中前景目标和后景区域相对于显示屏幕的凹凸性以及是否处于舒适观看区,将自然场景抽象为多种场景模式。在模式选择阶段,从视差图中自适应分割出前景目标和后景区域,根据前、后景的视差角特征确定场景所属的模式;在建模阶段,采用前、后景的视差角特征结合前景的宽度角和曲折度特征对各个场景模式分别进行建模,并量化了前、后景视差因素对视觉舒适度的影响。在IVY数据库上的实验结果表明,所提出的模型与主观感知存在较好的一致性,Pearson相关系数高于0.91, Spearman相关系数高于0.90, Kendall相关系数高于0.74,平均绝对值误差低于0.24,均方根误差低于0.32,与现有的方法相比,该文所提出的模型的评价效果更好,更接近于主观测试结果。     

INPAINTING ALGORITHM FOR KINECT DEPTH MAP BASED ON FOREGROUND SEGMENTATION简

The depth information of the scene camera, and depth extraction is a key technology indicates the distance between the object and the in 3D video system. The emergence of Kinect makes the high resolution depth map capturing possible. However, the depth map captured by Kinect can not be directly used due to the existing holes and noises, which needs to be repaired. We propose a texture combined inpainting algorithm in this paper. Firstly, the foreground is segmented combined with the color characteristics of the texture image to repair the foreground of the depth map. Secondly, region growing is used to determine the match region of the hole in the depth map, and to accurately position the match region according to the texture information. Then the match region is weighted to fill the hole. Finally, a Gaussian filter is used to remove the noise in the depth map. Experimental results show that the proposed method can effectively repair the holes existing in the original depth map and get an accurate and smooth depth map, which can be used to render a virtual image with good quality.     

基于共焦图像序列的自适应聚焦度量场景深度估计方法

为了估计场景深度信息,提出了基于共焦图像序列的自适应聚焦度量方法。首先,利用相机阵列获取场景多视角图像,用相机阵列模拟一个虚拟孔径相机并合成共焦图像序列。接着,采用自适应聚焦度量方法计算共焦图像序列中每个像素点的聚焦度量值并找出最大度量值作为清晰点。最后,根据相机阵列与共焦图像序列的几何配置估计出场景的深度。此方法提高了场景中深度不连续处的准确度,能较准确地恢复出场景的深度信息。     

Semi-automatic 2D-to-3D video conversion based on background sprite generation

This paper presents a technique for semi-automatic 2D-to-3D stereo video conversion, which is known to provide user intervention in assigning foreground/background depths for key frames and then get depth maps for non-key frames via automatic depth propagation. Our algorithm treats foreground and background separately. For foregrounds, kernel pixels are identified and then used as the seeds for graph-cut segmentation for each non-key frame independently, resulting in results not limited by objects’ motion activity. For backgrounds, all video frames, after foregrounds being removed, are integrated into a common background sprite model (BSM) based on a relay-frame-based image registration algorithm. Users can then draw background depths for BSM in an integrated manner, thus reducing human efforts significantly. Experimental results show that our method is capable of retaining more faithful foreground depth boundaries (by 1.6–2.7 dB) and smoother background depths than prior works. This advantage is helpful for 3D display and 3D perception.