基于深度传感器图像分割技术的研究

首先详细介绍了深度传感器获取深度信息的工作原理,并利用深度传感器获取到用户的深度图像信息。然后,对深度图像进行校正,具体包括深度距离与实际距离的转换、深度图像到空间三维坐标的转换、深度图像到RGB图像的配准。最后,利用最优阈值法实现了将预处理后的深度信息中人体与背景的分割。实验结果表明,此方案可以比较完整的提取出人体区域。     

深度学习框架下的红外与可见光图像融合算法综述

红外与可见光图像融合是图像融合领域的重要分支。将红外与可见光传感器获取的图像进行互补融合,融合后的图像既具有红外图像的整体信息又具有可见光图像的细节信息,并广泛应用于日常生活和军事领域。由于深度学习在计算机视觉和图像处理领域具有显著优势,因此将深度学习框架应用于红外与可见光图像融合领域成为近年来的研究热点。本文首先根据融合算法的特点及原理,对现有基于深度学习框架的融合算法进行分类概述,并详细介绍算法的研究进展;其次,对图像融合领域的评价指标进行介绍;再次,选取不同分类中的典型算法进行融合试验,利用六种评价指标对实验结果进行评价;最后,分析总结融合算法存在的缺陷,对红外与可见光图像融合算法的发展方向进行展望。     

融合显著与深度信息的缝切割重定向方法

针对当前内容感知的重定向方法中可能出现的变形和失真问题,提出一种融合显著与深度信息的缝切割重定向方法.首先利用GBVS算法获取图像显著信息,结合图像梯度信息与通过SIFT匹配方法获取的图像深度信息构建更精确的重要度图;其次,根据重要度图的能量分布,对原始图像进行处理,得到最终的重定向结果.基于公开数据库在两个不同评价标准下与多种重定向方法的对比表明,本文方法能够最大程度的保留图像的显著部分.     

基于自监督深度学习的全景图像深度估计研究

深度估计在虚拟现实、场景重建、自动驾驶和目标检测等领域发挥着重要作用。全景图像包含全向视野信息,逐渐成为深度估计领域的研究热点。但是,全景图像存在图像畸变的问题,而且深度数据采集、标注较为困难。对此,提出采用自监督方式,利用自监督深度学习算法,引入通道优化多空间融合注意力机制,增强远距离特征提取,以获取全局和局部信息。同时,引入全景感受野块,扩充感受野以获取多尺度信息。     

基于DRF-MAP模型的单目图像深度估计的改进算法

图像深度信息获取是机器视觉领域的活跃研究课题之一.将图像深度估计问题归结为模式识别问题,以单目图像深度为模式类,在多尺度下从图像块中提取绝对和相对深度特征,并选择表征上下文关系的DRF(Discriminative Random Field)方法来表述某图像块的深度和其邻域深度之间的关系,从而构建起基于DRF-MAP(Maximum a posteriori)的单目图像深度估计模型.通过实验,得到了一类单目图像对应的深度图像,从而证明了单目图像深度估计模型对应的改进算法的有效性.     

基于Kinect骨架信息的人体动作识别

深度图像属计算机视觉研究范畴,数据表达方式有一定差异,其现有图像处理算法多可借鉴和扩展。本文在深度图像基础上,对人体运动特征模型和识别算法进行研究,为动作识别思路和方法提供参考,重点分析Kinect深度图像获取Kinect人体关节点识别。     

基于红外与雷达的夜间无人车驾驶决策方法

速度与方向的决策建议是夜间无人车驾驶研究的关键,针对夜间无人车速度与方向决策,基于红外图像与雷达信息,提出了一种包含深度信息的红外图像多任务分类网络用来给出速度与方向决策.通过红外摄像头及雷达采集的数据训练深度网络,其中雷达采集的深度图像作为训练标签,采用卷积-反卷积神经网络来进行红外图像的深度估计,进而获得深度信息.利用深度信息制作分类网络训练标签,通过AlexNet分类网络得到速度决策建议.再根据红外图像的道路信息训练方向分类网络,将无人车的驾驶决策问题转化为分类模型,并将分类模型与深度估计网络相结合.实验结果表明,网络的角度准确率及速度准确率分别为87.43%和85.89%,并且利用训练得到的模型对图像进行决策的时间为0.04 s/帧,能够达到实时性的要求。     

基于Kinect的空中手势跟踪识别的研究与实现

本文以肢体语言中的手势为出发点,利用微软的Kinect体感设备,采集RGB彩色图像和深度图像,研究并提出一套手势跟踪识别的设计思路与实现方法。首先,利用Kinect所获取的色彩及深度信息,建立人体骨骼图从而更方便地定位手部位置并获取手部轮廓。其次,从HSI彩色空间对手部的深度图像进行二值化,并进行腐蚀、细化处理,去除手掌掌心部分。最后,通过对手指的计数定义相应操作。经实验测试,该系统具有对手势的识别功能,可以达到用空中手势动作进行人机交互的目的。     

基于Kinect传感器的近场手势识别追踪系统的实现

利用Kinect深度传感器所获取的图像深度信息实现手部从背景中的分割,并通过零均值离散高斯滤波、二值化、取最小外包矩形、欧式距离变换等一系列过程对手势目标进行识别,最后把得到的识别结果显示在电脑上,实现实时追踪。该系统相较其它类似系统具有算法简单,实时性好,实现成本低等特点。     

仿真假体视觉下基于深度图像的手势识别研究

针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,研究使用Kinect获取彩色图像以及深度图像进行手势识别。通过Kinect提取的骨骼信息与提取的深度图像结合,将人体与背景图像分离,对OpenCV库分离后的图像进行降噪,并进行像素化处理。在不同分辨率(32×32,48×48,64×64)下进行彩色图像和深度图像的手势识别实验。实验结果表明,随着分辨率的增加,手势识别的准确率也不断增加。同一分辨率下,深度图像下的手势识别率总体高于彩色图像下的手势识别率,且在32×32分辨率下,二者差异显著。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

INPAINTING ALGORITHM FOR KINECT DEPTH MAP BASED ON FOREGROUND SEGMENTATION简

The depth information of the scene camera, and depth extraction is a key technology indicates the distance between the object and the in 3D video system. The emergence of Kinect makes the high resolution depth map capturing possible. However, the depth map captured by Kinect can not be directly used due to the existing holes and noises, which needs to be repaired. We propose a texture combined inpainting algorithm in this paper. Firstly, the foreground is segmented combined with the color characteristics of the texture image to repair the foreground of the depth map. Secondly, region growing is used to determine the match region of the hole in the depth map, and to accurately position the match region according to the texture information. Then the match region is weighted to fill the hole. Finally, a Gaussian filter is used to remove the noise in the depth map. Experimental results show that the proposed method can effectively repair the holes existing in the original depth map and get an accurate and smooth depth map, which can be used to render a virtual image with good quality.     

基于Kinect的虚拟视点生成技术

传统的多视点生成方法是基于多相机阵列系统的关键技术。现提出了基于Kinect的多视点成像计算方法。首先对Kinect的深度图使用三边滤波器进行平滑,根据修复好的深度图配合彩色图,利用DIBR技术生成多个存在空缺信息的彩色视点;最后结合彩色图的纹理结构信息和深度图的背景信息对有丢失信息的彩色图进行修复。实验结果表明,文中提出的深度修复方法能够有效地修补Kinect的深度图,生成的虚拟视点图在3DTV上效果明显,立体视觉效果显著。     

基于3D体感技术的动态手势识别

提出了一种基于3D体感机Kinect的图像处理手势识别算法,通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect提供的骨骼图像中20个骨点中,选取2个离手部最近的骨骼点,通过追踪这两个骨骼点的位置来实现对手部的追踪,再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。     

基于像素滤波和中值滤波的深度图像修复方法

针对Kinect相机采集的深度数据一般有噪声和黑 洞现象,直接应用于场景三维重建系统中效果差的问 题,提出了像素滤波器和中值滤波器相结合的Kinect 深度图像修复方法。首先对一帧图片 上的像素进行搜索, 找到像素值为0的点,以该点为中心,利用其邻域内的像素,定义一个两层的滤波器,根据 像素滤波器的原理 对其进行修复,填充深度图片的黑洞;然后采用中值滤波器,在平滑深度图像的同时保留边 缘信息,去除孤立 噪声点。实验结果表明,本文方法去噪的同时也能对黑洞进行修补,与原始深度图像相比, 空洞明显减少,深度图像质量大大提高。     

一种新的深度传感器内部参数标定方法研究

针对双镜头深度传感器(以Kinect为例)出厂标 定参数精度不高的问题,提出一种新的标定方法。 对于Kinect 2.0深度镜头,利用空间线定长约束,通过间接平差方法求解待求参数;根据求 解参数,将深度图 像坐标转转换值Kinect坐标并将其与对应的彩色影像坐标点进行关联,基于中心投影方程标 定彩色镜头。实 验结果表明,本方法将深度影像点转换到Kinect坐标时精度优于2.5 mm,深度影像坐标转换至彩色影像坐标 时精度优于1pixel,高于Kinect微软开发包内置参数的计算精度,对一些需要较高参 数精度的应用,本文算法解算的参数更优。     

Colored 3D surface reconstruction using Kinect sensor

A colored 3D surface reconstruction method which effectively fuses the information of both depth and color image using Microsoft Kinect is proposed and demonstrated by experiment. Kinect depth images are processed with the improved joint-bilateral filter based on region segmentation which efficiently combines the depth and color data to improve its quality. The registered depth data are integrated to achieve a surface reconstruction through the colored truncated signed distance fields presented in this paper. Finally, the improved ray casting for rendering full colored surface is implemented to estimate color texture of the reconstruction object. Capturing the depth and color images of a toy car, the improved joint-bilateral filter based on region segmentation is used to improve the quality of depth images and the peak signal-to-noise ratio (PSNR) is approximately 4.57 dB, which is better than 1.16 dB of the joint-bilateral filter. The colored construction results of toy car demonstrate the suitability and ability of the proposed method.     

一种基于改进DTW算法的动态手势识别方法

结合Kinect传感器提出了一种基于改进的DTW算法的动态手势识别方法。首先,通过SDK对Kinect传感器获得的深度信息进行分析,获得人体骨骼点3D位置,选取其中4个点作为手部运动特征;然后,用加权距离和全局路径限制的方法对传统的DTW算法进行改进;最后,用改进的DTW算法进行模板训练和实现动态手势的识别。实验表明：该方法能很好地实现动态手势的识别,实时性好,在背景干扰和光照方面有较强的鲁棒性,较传统的DTW算法在识别速度和识别正确率方面有所提高。     

基于Kinect深度图像的人体识别分析

介绍了深度图像在模式识别中的研究现状及其在人体识别中的应用。针对目前普通相机拍摄的图像识别在光照、姿态、遮挡等因素影响下性能下降的问题,以微软推出的Kinect设备为平台,通过分析Kinect相机获取的深度图的特征,提出以综合点特征和梯度特征的局域梯度特征的方式来对人体部位区分判定,并以手肘为例作了简要论证。     

Pose Depth Volume extraction from RGB-D streams for frontal gait recognition

We explore the applicability of Kinect RGB-D streams in recognizing gait patterns of individuals. Gait energy volume (GEV) is a recently proposed feature that performs gait recognition in frontal view using only depth image frames from Kinect. Since depth frames from Kinect are inherently noisy, corresponding silhouette shapes are inaccurate, often merging with the background. We register the depth and RGB frames from Kinect to obtain smooth silhouette shape along with depth information. A partial volume reconstruction of the frontal surface of each silhouette is done and a novel feature termed as Pose Depth Volume (PDV) is derived from this volumetric model. Recognition performance of the proposed approach has been tested on a data set captured using Microsoft Kinect in an indoor environment. Experimental results clearly demonstrate the effectiveness of the approach in comparison with other existing methods.