基于Kinect视觉功能的机器人控制方法

介绍了一种基于Kinect装置的机器人控制方法,该方法涉及机器人控制领域,并且具体应用于两轮自平衡机器人运动控制和人机交互系统。该方法针对两轮自平衡机器人的运动控制系统利用Kinect与DTW手势识别算法对其进行控制。实验结果表明：该方法能够实现人与两轮自平衡机器人的自然交互控制,并且具有良好的实时性和鲁棒性。     

基于Kinect深度信息的手势识别

设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。     

基于Kinect骨骼跟踪技术的人机交互

基于Kinect提供的深度信息和骨骼跟踪技术进行手势识别,利用手势代替鼠标实现人机交互.首先,引入以人体为参考系的人体坐标系统,将手势位置通过坐标系变换映射到计算机屏幕,实现计算机屏幕上光标的位置显示和跟踪.其次,研究计算机操作系统响应鼠标事件的工作模式,设计固定的手势静态及动态工作模式,通过一定的映射关系将特定的一组手势与计算机系统基本操作指令进行对应.并定义状态机,根据手势状态触发系统操作事件,从而达到对计算机系统的体感控制.实验表明,该人机交互系统自然、合理、有效.     

基于深度图像的在线手势识别方法与性能研究

对Kinect设备获取到的深度图像进行手部区域分割,分别比较扫描法和区域生长法的图像分割效果,并提取手部的轮廓信息实现手掌心和指尖的定位,以区域协方差作为手势的特征变量,结合指尖识别算法实现了在线手势识别。结果表明：扫描法比区域生长法所识别出的手掌点和轮廓点更多,与自适应PCA识别算法相比具有更好的识别效果,静态手势测试的指尖平均识别率达93%,在线运动手势识别的准确率均在80%以上。     

基于Kinect传感器的音乐喷泉控制系统

利用Kinect传感器的手势识别技术对喷泉进行控制的理论和实现方法,采用Kinect深度图像的骨骼跟踪和动态图像识别技术提取各种手势动作,替代计算机的键盘和鼠标实现人机互动。将Kinect采集的三维数据转换为控制音乐喷泉的二维数据,通过PC机串行接口下传到喷泉控制器实现对喷泉的水型和灯光的多种变化的控制。Kinect采用的自然人机交互技术使计算机像人一样对外界进行反应,增强人机交互体验,丰富音乐喷泉的功能和人们的乐趣。     

基于深度学习的单目摄像头动态手势识别与交互

现有手势识别的应用多为基于特定设备实现的,如Kinect、Leap motion等,因其价格和实用性的原因,无法得到大规模的普及.而单目摄像头则是电脑或移动设备最为常见的配件,结合相应手势识别与交互算法,便可以进行手势交互.因此文中研究了基于单目摄像头的手势识别与交互算法,通过单目摄像机捕捉图像,利用肤色进行图像分割,...     

基于人体手臂关节信息的非接触式手势识别方法

为了实现在复杂环境中对连续动态手势的识别,以人体固有的手臂关节之间的约束关系及特定手势在三维空间的运动轨迹为特征,提出了一种非接触式手势识别方法. 首先,通过Kinect传感器获取人体手臂关节的三维数据;然后,对手势轨迹进行分割,并将具有三维空间特征的手势轨迹转化为一维的手势轨迹;最后,将手势预判断过程与改进的动态时间规整( dynamic time warp, DTW)算法相结合,实现对动态手势的快速高效识别. 实验结果表明:该方法对具有时空连续特征的动态手势识别率较高,在复杂背景和不同光照环境中都有较强的鲁棒性.     

基于Kinect深度信息的动态手势识别

针对复杂动态手势识别问题,本文首先通过体感传感器Kinect获取人体深度图像,利用阈值分割法分割出手势深度图像,然后建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的HMM-FNN模型进行动态手势识别。本文的动态手势主要是针对虚拟变电站中对设备的常用操作手势来进行人机交互研究的。HMM-FNN模型将复杂动态手势特征分解为三个子特征序列,分别建立HMM模型,然后进行模糊推理对手势进行分类识别。经实验验证,HMM-FNN模型能快速有效识别复杂动态手势,且鲁棒性强,识别效果明显优于HMM模型。     

基于视觉和肌电信息融合的手势识别方法

针对人机交互技术对手势识别的可识别种类和识别正确率的问题,提出一种基于视觉方向梯度直方图(HOG)特征和肌电信号(EMG)时域特征融合及支持向量机(SVM)分类器的手势识别方法.利用视觉传感器和智能臂环分别采集手势图像信息和肌电信号,预处理后提取对应的HOG特征和时域特征;采用串行融合的方式将2种特征进行特征级融合;以...     

基于深度信息的动态手势识别算法

针对目前手势识别方法计算复杂、特征量提取不可靠等问题,提出基于Kinect传感器深度信息快速动态手势识别算法。通过Kinect的深度摄像头获取深度图像,利用阈值分割法对深度图像进行预处理;结合深度信息,利用OpenCV函数库来提取前景;选用动态时间规整(dynamic time warping)算法计算测试行为模板与参考行为模板之间的相似度以实现样本的分类;最终结合OpenNI和OpenCV,在VS2010环境下实现了该算法。与其他算法相比,该算法改进动态手势特征的提取方法和分类过程,能够快速跟踪手部,有效分割手势。实验结果表明,本方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下具有较好的鲁棒性。     

Human-Robot Interface for Unmanned Aerial Vehicle via a Leap Motion

The unmanned aircraft vehicles industry is in the ascendant while traditional interaction ways for an unmanned aerial vehicle (UAV) are not intuitive enough. It is difficult for a beginner to control a UAV, therefore natural interaction methods are preferred. This paper presents a novel interactive control method for a UAV through operator''s gesture, and explores the natural interaction method for the UAV. The proposed system uses the leap motion controller as an input device acquiring the gesture position and orientation data. It is found that the proposed human-robot interface can track the movement of the operator with satisfactory accuracy. The biggest advantage of the proposed method is its capability to control the UAV by just one hand instead of a joystick. A series of experiments verified the feasibility of the proposed human-robot interface. The results demonstrate that non-professional operators can easily operate a remote UAV by just using this system.     

Hand gesture tracking algorithm based on visual attention

In the majority of the interaction process, the operator often focuses on the tracked 3D hand gesture model at the "interaction points" in the collision detectionscene, such as "grasp" and "release" and objects in the scene, without paying attention to the tracked 3D hand gesture model in the total procedure. Thus in this paper, a visual attention distribution model of operator in the "grasp", "translation", "release" and other basic operation procedures is first studied and a 3D hand gesture tracking algorithm based on this distribution model is proposed. Utilizing the algorithm, in the period with a low degree of visual attention, a pre-stored 3D hand gesture animation can be used to directly visualise a 3D hand gesture model in the interactive scene; in the time period with a high degree of visual attention, an existing "frame-by-frame tracking" approach can be adopted to obtain a 3D gesture model. The results demonstrate that the proposed method can achieve real-time tracking of 3D hand gestures with an effective improvement on the efficiency, fluency, and availability of 3D hand gesture interaction.     

复杂背景下的实时手势分割算法及其硬件实现

在分析肤色的信息特征和手势的运动特性基础上,构建一种基于肤色集、运动集、模糊手势集的手势分割及跟踪算法并采用硬件实现.该算法对颜色空间建立肤色集和对视频流空间建立运动集,通过模糊运算得到模糊手势集,其中加入跟踪算法和背景实时更新,克服了复杂背景和光照因素的干扰.整个算法在现场可编程门阵列(FPGA)上实现,利用流水线和并行处理技术实现了手势的实时分割和跟踪.实验结果表明,该方法有较好的准确性、实时性和鲁棒性,在系统时钟100 MHz时,对640×480分辨率的图像可实现100帧/s的处理速度.     

EyeScreen： A Vision-Based Gesture Interaction System

EyeScreen is a vision-based interaction system which provides a natural gesture interface for humancomputer interaction （HCI） by tracking human fingers and recognizing gestures. Multi-view video images are captured by two cameras facing a computer screen, which can be used to detect clicking actions of a fingertip and improve the recognition rate. The system enables users to directly interact with rendered objects on the screen. Robustness of the system has been verified by extensive experiments with different user scenarios. EyeScreen can be used in many applications such as intelligent interaction and digital entertainment.     

Sign Language Synthesis in Multi-function Perception Machine

ＳｉｇｎＬａｎｇｕａｇｅＳｙｎｔｈｅｓｉｓｉｎＭｕｌｔｉ┐ｆｕｎｃｔｉｏｎＰｅｒｃｅｐｔｉｏｎＭａｃｈｉｎｅＸＵＬｉｎＧＡＯＷｅｎ（徐琳）（高文）（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨａｒｂｉｎＩｎｓｔｉｔｕｔ...     

基于视频数据特性的动态手势识别

针对现有动态手势识别方法环境适应性低、计算复杂的问题,提出了一种基于视频数据特性的动态手势识别方法.使用基于密度的聚类算法DBSCAN直接从视频编码数据中的运动矢量提取出运动趋势特征,再通过随机森林分类运动趋势,结合卷积神经网络（CNN）提取的手型特征识别动态手势.实验结果表明,该方法对剑桥大学和美国西北大学数据集中动态手势的平均识别率分别达到94.22%和94.48%,并且与CNN结合长短期记忆网络的识别方法相比,手势识别时间减少了85%.在背景图像复杂且光照条件不足时,该方法仍然能够维持较高的识别率,表现出较好的鲁棒性.     

线上线下结合的实时手势跟踪系统

手势识别跟踪一般采用线下训练分类器,不能有效检测跟踪形变的手势,针对手势形变及在窗口的暂时性消失等问题,提出了一种通过线下训练结合线上提取样本对分类器进行训练的检测方法,同时采用跟踪一检测一学习(TLD)的方法不断对跟踪器的结果进行纠正.试验结果表明,本算法对手势形变、短暂消失具有很好的适应性,与TLD算法相比较具有更好的稳定性.     

混联数控机床中并联机构的空间位姿解析方法研究

混联数控机床是机器人与机床技术相结合的产物,研究了混联机床中一种并联机构的空间位姿解析方法.