基于USBD12和加速度计的空中键鼠

设计基于USBD12和加速度计的空中键鼠,通过手势在空中的动作便可控制鼠标的移动。设计的研发调试过程中,采用了加速度传感器数据采集、USB设备gadget层HID设备、LCD-NOKIA5110显示、AVR单片机熔丝位的配置、蓝牙模块、手势动作识别算法、菜单与UI界面等模块的软、硬件调试,接收端有一个USB口,插入PC后被识别为一个标准HID人体学输入设备,无须驱动,即插即用。用户的操作达到可动态交互的目的。采用动作手势识别算法,蓝牙模块等实现了通过手势在空中的动作便可控制鼠标的移动,通过按键进行对键盘的操作,并且不需要连接线,通过蓝牙与插在电脑上的接收端相连接通信,达到动态交互的目的。     

基于深度摄像头的VR家庭影院手势交互

基于VR家庭影院的深度摄像头技术,提出了一种新颖的手势交互系统理论,实现了手势控制影院相关功能。创建一个综合的手势轮廓信息数据库以及对应的手部标记图,在这个数据库中通过随机森林算法分类,以此在深度轮廓信息中识别手部信息,最后在已识别出的手部信息基础上,通过手势交互生成控制命令。在真实手势上测试系统,从五个不同的对象上获得的平均识别率为98.0%。用户可以通过手势来控制VR家庭影院的菜单选择换台,调节音量等。     

融合图像轮廓矩和傅立叶描叙子的手势识别

针对手势识别中人手是复杂变形体,手部特征描叙容易受到环境因素影响的特点,提出了一种基于混合轮廓特征的手势识别的新方法.首先根据手的颜色信息将手从复杂的背景中分离出来,然后提取出手轮廓的矩不变量和Fourier描叙子特征,然后将2种特征融合构成混合特征,最后将新特征输入BP神经网络进行识别.实验表明:此方法具有较好的鲁棒性和较高的识别率.     

基于结构光源的大屏幕交互技术

 本文提出采用结构光源充分表达用户手部运动的想法,设计了结构光源和识别软件,从光点序列中提取出光点运动轨迹和用户手势的旋转信息,搜索光点位置序列的平坦区段锁定目标位置,将旋转手势解释成交互原语以扩充激光笔的交互语义.最后的性能评估结果表明,结构光源在丰富交互语义和加速目标选择方面都有着较大的改进.     

基于深度数据的手势识别方法研究

针对当前传统手势识别技术受环境和手部自身条件干扰较大,如当手腕处存在大袖口或其他干扰物的情况下,难以准确识别手势的问题,提出一种基于深度数据的手势识别方法。首先,通过预处理提取手形;其次,利用提出的N-Iterate、C-Loop判定等方法识别手掌最大内切圆;然后,计算手形所有轮廓点到掌心距离的直方图及其波峰索引,并结合角度提取指尖个数;将得到的3类特征作为改进SVM的输入,映射到高维空间,进行手势0～5的识别。实验结果表明,该方法在复杂背景和手部自干扰等影响下具有较高的识别准确率和实时性,平均准确率提高至98.57%,识别耗时降低至37.923 ms,较大程度提高了识别效率。     

手势和语音识别——智能家电人机交互新趋势

从鼠标、键盘、遥控器到触屏、语音控制、手势控制、体感、眼控,电子设备的人机交互方式在不断往简单、自然升级进化的同时也带来了更新奇有趣的操控体验。现今手势控制和语音控制等技术不仅在智能电视中流行,而且在智能家居中也开始渗透,相信未来人们只要通过语音、手势、表情等输入家电就知道该干什么的理想状况不会太遥远。     

基于改进Inception V4的面部表情识别算法的研究

面部表情识别是地铁、火车站、机场等复杂环境中安检监控的重要任务,通过识别监控图像中行人的面部表情可以筛选出可疑分子。针对因监控图像模糊和面部表情拍摄不全而引起的识别准确率低等问题,提出一种改进的InceptionV4面部表情识别算法,改进InceptionV4的网络结构,使其更好地适应面部表情识别任务。基于深度学习中的Tensorflow平台对面部表情类数据进行训练,在面部表情验证集上进行测试,在输入图像为299×299时,识别准确率高达97.9%,改进后的算法在保证识别精度的同时,降低表情在类内差距较大、图像模糊和面部表情拍摄不全情况下的误识率,提高系统鲁棒性。     

基于Kinect的手势识别及在虚拟装配技术中的应用

为了实现在Virtools环境下自然方便的人机交互过程,设计开发了基于Kinect的虚拟装配交互技术。该技术通过三维多手指检测并结合Kalman滤波来稳定跟踪指尖,同时基于指尖特征自定义了多种装配所需的手势;以Mir-crosoft Visual Studio 2010为开发工具,设计了手势操控相关功能块的编辑后集成于Virtools环境中,实现了手势在虚拟装配中的交互控制。实例证明,该技术能很好地完成虚拟装配过程,效果良好。     

基于Kinect深度图像的指尖识别及手势判定

在基于微软Kinect体感设备开发的交互应用系统中,使用传统的鼠标、键盘等交互设备难以达到理想的效果。针对这种情况,提出一种基于指尖识别的手势判定方法。采用Kinect传感器获取图像的深度信息,通过OpenNI的内置模块获取手心的位置信息,使用最近邻法实现手部的分割并对手形进行提取;并采用射线求交法优化Graham Scan算法获取凸包点集合,利用轮廓分析法从凸包点中识别出指尖。在此基础上,结合指尖数目和面积比例实现对“抓取”手势的判定。实验结果表明,该方法能有效地识别抓取动作的手势,且具有良好的鲁棒性。     

一种新型智能电视遥控器的设计与实现

针对当前手势识别的摄像头安装在电视机上,存在受距离和视角的影响以及手势识别率较低的问题,设计并实现了一种将摄像头集成到遥控器,让遥控器完成手势识别,并通过红外通信方式传送到智能电视实现控制的手势识别系统。该遥控器还设计实现了绝对坐标空中鼠标的功能,给电视用户提供更加方便、快捷的智能交互体验。     

A hand gesture recognition technique for human–computer interaction

We propose an approach to recognize trajectory-based dynamic hand gestures in real time for human–computer interaction (HCI). We also introduce a fast learning mechanism that does not require extensive training data to teach gestures to the system. We use a six-degrees-of-freedom position tracker to collect trajectory data and represent gestures as an ordered sequence of directional movements in 2D. In the learning phase, sample gesture data is filtered and processed to create gesture recognizers, which are basically finite-state machine sequence recognizers. We achieve online gesture recognition by these recognizers without needing to specify gesture start and end positions. The results of the conducted user study show that the proposed method is very promising in terms of gesture detection and recognition performance (73% accuracy) in a stream of motion. Additionally, the assessment of the user attitude survey denotes that the gestural interface is very useful and satisfactory. One of the novel parts of the proposed approach is that it gives users the freedom to create gesture commands according to their preferences for selected tasks. Thus, the presented gesture recognition approach makes the HCI process more intuitive and user specific.     

Research on unified recognition model and algorithm for multi-modal gestures

In gesture recognition,static gestures,dynamic gestures and trajectory gestures are collectively known as multi-modal gestures.To solve the existing problem in different recognition methods for different modal gestures,a unified recognition algorithm is proposed.The angle change data of the finger joints and the movement of the centroid of the hand were acquired respectively by data glove and Kinect.Through the preprocessing of the multi-source heterogeneous data,all hand gestures were considered as curves while solving hand shaking,and a uniform hand gesture recognition algorithm was established to calculate the Pearson correlation coefficient between hand gestures for gesture recognition.In this way,complex gesture recognition was transformed into the problem of a simple comparison of curves similarities.The main innovations:1) Aiming at solving the problem of multi-modal gesture recognition,an unified recognition model and a new algorithm is proposed;2) The Pearson correlation coefficient for the first time to construct the gesture similarity operator is improved.By testing 50 kinds of gestures,the experimental results showed that the method presented could cope with intricate gesture interaction with the 97.7% recognition rate.     

电视机手势遥控系统设计

提出了一种基于手势识别的交互方式用于遥控电视机,系统利用CMOS图像传感器捕捉用户手势信息,结合采集到的人手运动轨迹和手势识别技术,与标准手势的样本信息进行比对,从而判断出与之对应的控制信号,最后通过红外发射器完成对电视机各项基本功能的调控,实现了自然友好的人机交互操作,该系统使人们摆脱了传统的遥控器,可用于数字娱乐、...     

多种手势对应同一语义的柔性映射交互算法的研究

针对智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个基本问题,本文设计并实现了基于手势交互的智能教学界面,该系统可以通过获取教师的手势信息与教师进行交互.主要创新点在于提出了多种手势对应同一语义的柔性映射交互算法.本文选取了14种自然交互手势,分析了对应同一语义的多种手势之间的共同特征.实验结果显示,该算法能够有效降低用户负荷.该算法已经用于一个基于手势交互的智能教学系统界面中.     

Human–robot interaction based on gesture and movement recognition

Human–robot interaction (HRI) has become a research hotspot in computer vision and robotics due to its wide application in human–computer interaction (HCI) domain. Based on the explored algorithms of gesture recognition and limb movement recognition in somatosensory interaction, an HRI model of a robotic arm is proposed for robot arm manipulation. More specifically, 3D SSD architecture is used for the location and identification of gesture and arm movement. Then, DTW template matching algorithm is adopted to trace the dynamic gestures. The interactive scenarios and interactive modes are designed for experiment and implementation. Virtual interactive experimental results have demonstrated the usefulness of our method.     

基于FPGA的课堂交互手势识别系统

手势是一种自然而直观的人际交流模式,基于视觉的手势识别是实现新一代人机交互所不可缺少的关键技术。文中主要围绕手势识别展开,结合了手势识别和幻灯片系统的控制,定义了4种动态手势。通过抓捕手势移动质心,恰好避开了手势复杂多变这一缺点。以FPGA作为主要的运行平台,结合Matlab的仿真,最终实现方便快捷的课堂交互的手势识别系统。     

基于多目标Camshift手势识别

基于单目视觉下的手势识别技术一般由手势建模、特征提取、手势匹配等几个关键技术构成。手势跟踪算法目前主流的是粒子滤波算法和Camshift算法。系统采用Camshift算法,将人手图像由RGB空间转换到HSV空间后,在HSV空间利用半自动预定义模板颜色对人手进行分割,并对其进行改进实现多目标跟踪,由于Camshift算法为半自动算法,在对手势进行跟踪前需对手势进行手动标定,系统采用了手势跟踪与手势识别技术结合的方法,改进了Camshift算法,解决了Camshift的半自动问题和实现多目标跟踪,实现双手的手势识别。     

智能电视手势识别与绝对定位空中鼠标遥控器的设计与实现

针对当前手势识别的摄像头安装在电视机上,存在受距离和视角的影响以及手势识别率较低的问题。设计并实现了一种将摄像头集成到遥控器,让遥控器完成手势识别,并通过红外通信方式传送到智能电视实现控制的手势识别系统。该遥控器还设计实现了绝对坐标空中鼠标的功能,给电视用户提供更加方便、快捷的智能交互体验。