对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.     

基于非局部随机游走和运动补偿的2D转3D优化方法

D转3D技术可以从2D资源中获取深度信息,以满足3D显示对3D内容的需求。针 对2D转 3D深度估计中的深度优化问题,提出一种基于非局部随机游走(NRW)和运动补偿的 深度优化算 法。本文方法在采用NRW和移动双边滤波(SBF)获得关键帧和非关键帧深度图的基础上,为 了锐化非关 键帧深度序列对象边界,结合纹理信息利用NRW算法优化深度图,同时又考虑相邻帧间的时 域信息,采 用运动补偿的方法对非关键帧深度序列进行优化,获得高质量的深度视频序列。实验结果表 明,本文方法可以得到对象边界更加准确的深度视频估计结果。     

具有容错能力的L1最优化半自动2D转3D

半自动2D转3D的关键是将用户分配的稀疏深度转换为稠密深度.现有方法没有充分考虑纹理图像和深度图之间的结构差异,以及2D转3D对用户误标注的容错性.针对上述问题,借助L₁范数对异常数据的抵制,在一个统一框架下实现结构相关具有容错能力的稀疏深度稠密插值.首先,利用L₁范数表示估计深度和用户分配深度在标注位置的差异,建立数据项;其次,根据特征的相似性用L₁范数计算局部相邻像素点之间的深度差异,建立局部正则项;再次,对图像进行超像素分割,根据不同超像素内代表性像素点之间深度差异的L₁测度,建立全局正则项;最后,用上述数据项和正则项构建能量函数,并通过分裂Bregman算法予以求解.无误差和有误差情况下的实验结果表明,与边缘保持的最优化插值、随机游走、混合图割与随机游走、软分割约束的最优化插值和非局部化随机游走相比,本文估计深度图绘制的虚拟视点图像空洞和伪影损伤更小.在误操作情况下,本文比上述方法PSNR改善了0.9dB以上,且在视觉上屏蔽了用户误操作的影响.     

新一代基于HEVC的3D视频编码技术

HEVC标准出台后,新一代基于HEVC的多视点加深度编码也将正式推出。基于HEVC的3D视频编码作为HEVC标准的扩展部分,主要面向立体电视和自由立体视频。从该编码方式的基本结构出发,较全面地介绍了视频编码方式、深度图编码方式和对深度图的编码控制三个方面的关键技术,包括视点间运动预测、深度图建模模式和视点合成优化等技术。     

基于图割的高质量深度图获取方法

3DTV作为下一代视频广播系统,还有许多技术难点有待解决,其中深度估计是3DTV的关键技术之一。为了获取高质量的深度图,提出基于图割(graph cut)的深度估计方法。该算法在构建能量函数的数据项时,通过对窗口内各个像素赋予自适应权重,引入梯度信息以抑制因亮度差异导致的误匹配问题并保护边缘信息。然后,经过交叉检测将深度图像素分为可靠点与不可靠点两类。对检测后的深度图进行后处理迭代优化,从而提高所获取深度值的可靠性。实验表明此算法估计出的深度图用VSRS绘制虚拟合成视时比标准的深度估计软件DERS5.1可有效提高虚拟视质量。     

一种用于深度图编码的虚拟视失真估计模型

多视视频加深度(MVD,multi-view video plus depth)的3D视频格式中,深度图提供视频的场景几何信息,其不在终端成像显示而是通过基于深度图像的绘制(DIBR)技术用于绘制虚拟视图像。在深度图的压缩编码过程中,深度图的失真会引起绘制的虚拟视图像的失真。深度图用于绘制而不用于显示的特性使得准确估计深度图绘制的虚拟视失真可以提高深度图编码的率失真性能。本文分析了不同的深度图失真引起的不同的虚拟视失真,进而提出一种估计深度图失真引起虚拟视失真的指数模型,并将模型用于深度图编码的率失真优化(RDO)中。实验结果表明,本文提出的模型可以准确估计深度图失真引起的虚拟视失真,提高深度图编码性能,相比于HTM的VSO可以降低约10%的编码时间,并且虚拟视质量略优于HTM。     

基于单目双焦及SIFT特征匹配的深度估计方法

提出一种基于单目双焦及SIFT特征匹配的深度估计方法.根据空间景物的深度在不同焦距下其成像的矢量位置和对应的焦距形成几何关系的原理,通过单相机获取两幅不同焦距下的图像后,运用SIFT算法对两幅图像进行特征提取和特征匹配,得出同一景物像素点距中心点的偏移位置比,从而通过几何关系公式计算出像素点的深度值,以此获取深度图.经实验验证了该方法的可行性,实验结果表明,使用该方法获取深度值仅需单台相机这一设备,方法简单易行,且成本低,具有广阔的应用范围.     

基于分割的离焦图像深度图提取方法

针对影视作品中的大量离焦图像,提出了一种离焦图像的深度图提取方法。将离焦图像的聚焦前景和离焦背景进行分离。对离焦背景提出了深度图模型匹配的方法,构建深度图模型并结合人眼视觉对场景深度的敏锐判断,将背景与对应的深度图模型进行匹配,实现背景深度图的构建;提出了基于颜色分割的深度图再处理,来进一步提高场景深度图的精度。对前景采用单深度赋值,并结合背景深度图融合生成最终深度图。实验表明采用该方法提取的深度图在深度跳跃和深度平滑区域都得到了好的效果。     

结合预处理的深度视频帧内快速编码算法

多视点彩色加深度(MVD)视频是三维(3D)视频的 主流格式。在3D高效视频编码中,深度视频帧内编码 具有较高的编码复杂度;深度估计软件获取的深度视频由于不够准确会使深度图平坦 区域纹理增加, 从而进一步增加帧内编码复杂度。针对以上问题,本文提出了一种联合深度处理的深度视频 帧内低复杂度 编码算法。首先,在编码前对深度视频进行预处理,减少由于深度图不准确而出现的纹理信 息;其次,运 用反向传播神经网络(BPNN,backpropagation neural network)预测最大编码单元 (LCU,la rgest coding unit)的最大划分深度;最后联合深度视频的边缘信 息及对应的彩色LCU最大划分深度进行CU提前终止划分和快速模式选取。实验结果表明, 本文算法在保证 虚拟视点质量的前提下,BDBR下降0.33% ,深度视频编码时间平均节省50.63%。     

基于多特征提取的3D人体姿态估计算法

作为人工智能计算机视觉领域一项重要的任务,3D人体姿态估计受到了广泛的关注,并成功地应用在人机交互、电影游戏制作等领域。然而,3D人体姿态估计仍然面临着很大的挑战,主要是人体遮挡问题和数据集视角冗余问题,这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的3D人体姿态估计方法。首先通过采集多个相机视角下的图片数据,将所采图片数据放入2D人体关节点检测网络模型中,得到人体2D关节点。接着将采集到的人体数据输入到关节点置信度计算网络模型,得到视角图片中各个关节点的权重值。随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重,将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图。最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中,映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重,同时提取了反映热图特征质量的权重矩阵,以提高遮挡视图中热图的特征质量。此外,使用感知哈希算法对Occlusion-Person数据集进行去视角实验,在保证结果准确性的同...     

基于空间金字塔匹配的单目热成像深度估计

热成像能够反映场景的温度分布,对热成像进行深度估计,可以恢复出场景的三维温度场,在故障诊断、夜视导航等领域具有重要意义。本文提出一种面向单目热成像深度估计的非参深度采样方法。为了克服热像纹理缺乏、轮廓模糊的缺点,使用了空间金字塔匹配(Spatial Pyramid Matching,SPM)来进行热像的特征分析。首先,基于SPM特征匹配,从数据库中筛选出与待估计深度的热像具有相似场景的候选热像;然后,采用SIFT Flow变形算法对候选热像的深度图进行采样,并将深度信息传递给待估计的热像。实验结果表明,这种方法能够对单目热像进行有效的深度估计,与同类算法相比具有明显优势。     

基于Harris-SIFT算法的双目立体视觉定位

针对基于尺度空间对图象保持不变性的SIFT算法在双目立体视觉应用时实时性差、误匹配等问题,提出一种运用Harris-SIFT算法进行双目立体视觉定位方法.通过介绍双目立体视觉的模型原理,利用Harris-SIFT算法从左右摄像机分别获取的图像中检测目标,并获取匹配目标的特征点,对两幅图像中目标物体的坐标标定,通过计算可得到目标物体的深度距离,还原其三维信息.实验证明,运用Harris-SIFT算法使该系统的实时性能和距离精度得到提高.     

融合显著与深度信息的缝切割重定向方法

针对当前内容感知的重定向方法中可能出现的变形和失真问题,提出一种融合显著与深度信息的缝切割重定向方法.首先利用GBVS算法获取图像显著信息,结合图像梯度信息与通过SIFT匹配方法获取的图像深度信息构建更精确的重要度图;其次,根据重要度图的能量分布,对原始图像进行处理,得到最终的重定向结果.基于公开数据库在两个不同评价标准下与多种重定向方法的对比表明,本文方法能够最大程度的保留图像的显著部分.     

Research on a face recognition algorithm based on 3D face data and 2D face image matching

Under the condition of weak light or no light, the recognition accuracy of the mature 2D face recognition technology decreases sharply. In this paper, a face recognition algorithm based on the matching of 3D face data and 2D face images is proposed. Firstly, 3D face data is reconstructed from the 2D face in the database based on the 3DMM algorithm, and the face depth image is obtained through orthogonal projection. Then, the average curvature map of the face depth image is used to enhance the data of the depth image. Finally, an improved residual neural network based on the depth image and curvature is designed to compare the scanned face with the face in the database. The method proposed in this paper is tested on the 3D face data in three public face datasets (Texas 3DFRD, FRGC v2.0, and Lock3DFace), and the recognition accuracy is 84.25%, 83.39%, and 78.24%, respectively.     

基于二维最大熵阈值分割的SIFT图像匹配算法

提出了一种基于二维灰度直方图最大熵阈值分割的SIFT图像特征匹配算法。与传统SIFT算法相比,该算法首先综合利用图像像素的灰度信息和邻域空间信息,生成图像二维灰度直方图,并基于此直方图的最大熵对图像进行阈值分割,然后检测分割后图像的DoG尺度空间局部极值,并以此作为特征点进行图像匹配。实验结果表明,基于所提出的匹配算法,可以有效降低图像背景噪声和边缘像素点对目标匹配的干扰,进而提高图像目标的匹配性能。     

Using binarization and hashing for efficient SIFT matching

The well-known SIFT is capable of extracting distinctive features for image retrieval. However, its matching is time consuming and slows down the entire process. In the SIFT matching, the Euclidean distance is used to measure the similarity of two features, which is expensive because it involves taking square root. Moreover, the scale of the image database is usually too large to adopt linear search for image retrieval. To improve the SIFT matching, this paper proposes a fast image retrieval scheme transforms the SIFT features to binary representations. The complexity of the distance calculation is reduced to bit-wise operation and the retrieval time is greatly decreased. Moreover, the proposed scheme utilizes hashing for retrieving similar images according to the binarized features and further speeds up the retrieval process. The experiment results show the proposed scheme can retrieve images efficiently with only a little sacrifice of accuracy as compared to SIFT.     

基于改进SIFT算法的多源遥感影像配准研究

提出了一种新的基于SIFT(scale invari-ant features transform)算法的遥感图像配准算法.首先用Harris角点检测法代替了传统SIFT算法中的图像特征检测方法,再采用SIFT算法中的特征描述对图像特征进行描述,最后在参考图像上确定搜索范围,利用两幅图像之间的相关系数建立一对一的匹配关...     

A High Quality Depth Map Upsampling Method Robust to Misalignment of Depth and Color Boundaries

In recent years, fusion camera systems that consist of color cameras and Time-of-Flight (TOF) depth sensors have been popularly used due to its depth sensing capability at real-time frame rates. However, captured depth maps are limited in low resolution compared to the corresponding color images due to physical limitation of the TOF depth sensor. Most approaches to enhancing the resolution of captured depth maps depend on the implicit assumption that when neighboring pixels in the color image have similar values, they are also similar in depth. Although many algorithms have been proposed, they still yield erroneous results, especially when region boundaries in the depth map and the color image are not aligned. We therefore propose a novel kernel regression framework to generate the high quality depth map. Our proposed filter is based on the vector pointing similar pixels that represents the unit vector toward similar neighbors in the local region. The vectors are used to detect misaligned regions between color edges and depth edges. Unlike conventional kernel regression methods, our method properly handles misaligned regions by introducing the numerical analysis of the local structure into the kernel regression framework. Experimental comparisons with other data fusion techniques prove the superiority of the proposed algorithm.