基于深度信息的动态手势识别算法

针对目前手势识别方法计算复杂、特征量提取不可靠等问题,提出基于Kinect传感器深度信息快速动态手势识别算法。通过Kinect的深度摄像头获取深度图像,利用阈值分割法对深度图像进行预处理;结合深度信息,利用OpenCV函数库来提取前景;选用动态时间规整(dynamic time warping)算法计算测试行为模板与参考行为模板之间的相似度以实现样本的分类;最终结合OpenNI和OpenCV,在VS2010环境下实现了该算法。与其他算法相比,该算法改进动态手势特征的提取方法和分类过程,能够快速跟踪手部,有效分割手势。实验结果表明,本方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下具有较好的鲁棒性。     

基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.     

深度残差特征与熵能量优化运动目标跟踪算法

针对模型更新的运动目标跟踪算法准确率、实时性和鲁棒性较低的问题,提出一种基于深度残差特征与熵能量优化的运动目标跟踪算法。通过深度残差网络从视频序列中提取深度残差特征,计算深度残差特征的熵能量,并通过二维核变换计算深度频率。由微分方程从深度频率中计算出深度平衡,通过极大似然估计出目标位置和速度等状态信息,完成对运动目标的跟踪。为了验证算法的可行性与有效性,在目标跟踪基准数据集(object tracking basis, OTB)上进行算法对比试验,验证各个算法在运动目标跟踪上的准确性和鲁棒性。试验结果表明,该研究提出的算法比当前最佳算法在运动目标跟踪的速度和位置准确性上都有显著的提升,通过深度残差特征的熵能量优化,使运动目标跟踪算法具有更好的灵活性和鲁棒性。     

深度残差特征与熵能量优化运动目标跟踪算法

针对模型更新的运动目标跟踪算法准确率、实时性和鲁棒性较低的问题,提出一种基于深度残差特征与熵能量优化的运动目标跟踪算法。通过深度残差网络从视频序列中提取深度残差特征,计算深度残差特征的熵能量,并通过二维核变换计算深度频率。由微分方程从深度频率中计算出深度平衡,通过极大似然估计出目标位置和速度等状态信息,完成对运动目标的跟踪。为了验证算法的可行性与有效性,在目标跟踪基准数据集(object tracking basis, OTB)上进行算法对比试验,验证各个算法在运动目标跟踪上的准确性和鲁棒性。试验结果表明,该研究提出的算法比当前最佳算法在运动目标跟踪的速度和位置准确性上都有显著的提升,通过深度残差特征的熵能量优化,使运动目标跟踪算法具有更好的灵活性和鲁棒性。     

基于时空域Adaboost算法的人体动作识别研究

基于Kinect深度传感器提取人体骨骼信息,提出了一种有效的动作识别方法。首先利用Kinect传感器获取人体骨骼中20个骨骼点位置信息和旋转角度信息,用四元数的形式来表示,提取一个时间段的每一个骨骼点的四元数参数,作为80个时空特征;用支持向量机(Support Vector Machine,SVM)对每一个时空特征进行训练,得到80个弱分类器;最后利用Adaboost算法进行训练,得到相应的动作特征集和强分类器,并对强分类器进行融合。实验结果证明,该方法对不同体型的人的动作都具有很高的识别准确率和鲁棒性。     

一种基于ResNet网络特征的视觉目标跟踪算法

针对复杂场景下目标容易丢失的问题,提出了一种基于深度残差网络（ResNet）特征的尺度自适应视觉目标跟踪算法.首先,通过ResNet提取图像感兴趣区域的多层深度特征,考虑到修正线性单元（ReLU）激活函数对目标特征的抑制作用,在ReLU函数之前选取用于提取目标特征的卷积层;然后,在提取的多层特征上分别构建基于核相关滤波的位置滤波器,并对得到的多个响应图进行加权融合,选取响应值最大的点即为目标中心位置.目标位置确定后,对目标进行多个尺度采样,分别提取不同尺度图像的方向梯度直方图（fHOG）特征,在此基础上构建尺度相关滤波器,从而实现对目标尺度的准确估计.在视频集OTB100中与其他6种相关算法进行了比较,实验结果表明,所提算法取得了较高的跟踪成功率和精确度,能够较好地适应目标的尺度变化、背景干扰等复杂场景.     

基于助老机器人的行人检测与跟踪算法研究

行人检测与跟踪是助老机器人的基本功能之一。针对行人检测中目标需人工标定图像初始帧、目标检测准确性差、行人丢失较难重新跟踪的问题,提出一种基于行人检测和核相关滤波器(KCF)的跟踪算法。通过Kinect2摄像头获取环境视觉信息,采用方向梯度直方图(HOG)提取行人特征,使用支持向量机(SVM)的方法训练模型实现自动检测,应用KCF跟踪算法跟踪行人,并结合深度数据,计算其世界坐标,驱动机器人实现行人稳定跟踪。在Ubuntu16.04系统和ROS平台下搭建软件系统,并在实验Turtlebot移动平台进行实验测试。结果表明,该算法可自动检测行人并在复杂环境中对行人进行稳定跟踪,有效提高了助老机器人的移动、感知性能。     

融合颜色和梯度方向直方图的粒子滤波跟踪算法

针对基于单一颜色特征的粒子滤波跟踪算法在复杂环境下会导致跟踪失败的问题,提出了一种融合颜色直方图和梯度方向直方图,形成一种新的综合直方图特征的粒子滤波跟踪算法.颜色直方图是对目标在彩色图像中的全局描述,而梯度方向直方图包含了一定的结构信息,两者可以互为补充.实验结果表明,采用综合直方图特征能够在背景颜色干扰导致目标颜色特征鉴别能力丧失的情况下,仍能稳定可靠地跟踪目标,提高了跟踪精度,具有较强的鲁棒性.     

基于Kinect深度信息的指尖检测

指尖检测是目前人机交互研究的热点之一,针对基于普通摄像机的指尖检测容易受到复杂背景的影响而无法准确定位的问题,提出了基于Kinect深度信息的指尖获取方法。利用Kinect获取的深度信息将手单独分离出来,从而更好的实现手或手指与虚拟物体的交互。研究了一种利用NITE库函数定位手的位置的方法,根据获取的手的位置能够迅速而准确的从复杂背景中提取手部信息。再利用道格拉斯-普克算法得到手的轮廓曲线,最后利用轮廓分析法从凸包点中识别出指尖。实验表明该方法能够精确的定位到手的各个指尖位置,识别率达到80%,该方法实现简单,实时性好,有较好的鲁棒性。     

基于Kinect深度信息的手势识别

设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。