基于多点手势识别的人机交互技术框架

提出了一种基于机器视觉的多点手势识别方法及其人机交互技术框架。指尖跟踪和手势识别服务程序通过一个普通的摄像机捕获用户手的运动,对多个指尖目标进行实时检测和跟踪,在指尖跟踪结果基础上利用BP神经网络实现多点手势识别,并根据指尖跟踪和手势识别结果构造相应的消息(包括低级指点消息和高级手势消息)发送给客户端应用程序,客户端响应消息并进行相应的处理。该框架可以帮助开发人员的在应用程序中增加类似iPhone多点触摸控制的多点手势识别控制功能,实现更加自然的人机交互,提高用户操作体验。     

基于特征跟踪的人机交互多点手势识别仿真

传统人机交互多点手势识别方法无法获取可信度高的特征跟踪点,滤波效果也不理想,导致手势识别误差较大.为此,提出基于特征跟踪的人机交互多点手势识别方法.通过图像曲面拟合提取多点手势特征,以手势图像某一帧内可信度最高的特征点为跟踪点,通过手势图像仿射变换矩阵完成手势目标定位.以定位结果为基础,引入卡尔曼滤波器,实现人机交互多...     

基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

基于手势识别的人机交互设计与实现

人机交互技术(HCI)作为一种很有前景的人机交互手段,受到了人们的广泛关注。人机交互(HMI)是指通信和交互通过用户界面在人和机器之间进行通信。近年来,手势操控成为人机交互领域里新的趋势,通过手势识别技术可以代替完成键盘和鼠标等输出设备的输入动作。基于人工智能深度学习技术实现手势识别的人机交互模式,采用开源计算机视觉(OpenCV)算法模块对手势动作进行识别及跟踪,通过MediaPipe技术实时生成手掌检测模型及手部坐标模型体,同时调用Pycaw库操作系统音频参数,并将手势实时跟踪的结果和音频参数关联起来,对系统音频进行实时控制与操作,以此实现基于手势识别的人机交互功能与设计。     

基于RGB-D摄像头的实时手指跟踪与手势识别

近些年,基于视觉的手部跟踪与手势识别一直是人机交互和计算机视觉等领域的研究热点。传统方法主要是使用单目或多目RGB摄像头等设备获得手部位置、方向等信息,但RGB摄像头易受到复杂背景、光照变化、纹理的限制,导致其准确性、实时性和鲁棒性都较差。随着可获得场景深度信息的家用RGB-Depth(RGB-D)摄像头的发展和上市,可以利用深度信息较好地克服上述环境问题。首先定义了一个基于RGB-D摄像头的3D交互空间,根据深度信息将手部区域从复杂背景、多变的光照条件下进行分割;然后提出了一种基于深度摄像头的手指识别和跟踪方法,该方法基于手部轮廓对人手及手指进行识别和跟踪;最后通过对手指位置和轨迹的跟踪进行手势识别,从而实现人机交互。对提出的方法进行的实验验证了它的准确性、实时性和鲁棒性。     

基于MediaPipe的数字手势识别

跟以往与计算机交互时使用的键盘鼠标等传统设备而言,现如今,在能直接实现人机交互的计算机视觉领域,利用摄像头和相关的视觉检测设备,通过特定的手势对电脑发出指令控制的技术,正逐渐地被人们所重视。本文提出了一种基于MediaPipe的快速数字手势识别方法,重点介绍了该方法的基本实现过程和必要的功能模块,通过创建手部检测模型,关键点定位和构建数字手势识别模块等具体流程充分实现基于MediaPipe的数字手势识别技术。本文在手势检测和动作跟踪方面具有一定的实用参考价值,也为其他模式识别技术提供了借鉴。     

多点触摸人机交互技术综述

从硬件、软件、应用领域及发展趋势4个方面对基于光学的多点触摸技术进行了综述.硬件部分主要介绍了硬件系统结构,搭建光学多点触摸系统的5种技术以及搭建大尺寸多点触摸屏时所要使用的投影技术.软件部分首先介绍了如何从硬件平台获取触点信息,然后介绍了手势识别的相关内容,给出了多点触摸软件框架并对触点信息如何通过TUIO协议传递给上层应用程序作了说明.最后对多点触摸技术的应用领域和发展趋势进行了阐述.     

基于虚拟现实的人机交互中的多特征手势识别追踪算法的研究

文章首先分析了虚拟现实人机交互中的要点部分,总结为视线选择与虚拟场景构建,并对其中的构成要点技术加以论述。在此基础上重点探讨实现虚拟现实人机交互环境下多特征手势识别的追踪算法,结合实际案例整理出识别后的多特征手势虚拟图,帮助人们更直观地了解虚拟现实技术下手势识别效果。     

基于表情识别的人机交互系统研究与设计

本文在研究人机交互应用的基础上,设计出基于表情识别的人机交互系统,包括虚拟人表情产生模块、人脸表情识别模块及虚拟人语言表达模块。经试验发现,本系统运行稳定高效,并在识别人脸表情过程中有较高的准确率。     

基于多线索混合的交通标志检测与跟踪

提出一种基于多特征融合的交通标志检测、识别和跟踪算法.在检测阶段,先利用颜色信息提取出感兴趣的区域:然后利用角点、几何特征等信息检测出交通标志.在识别阶段,首先根据颜色和形状的对应关系进行粗分类;然后针对每一类标志建立一个二叉树结构的支持向量机多分类器用于识别其具体含义.为了减少误识别率,在跟踪阶段采用Lucas-Kanade的特征点跟踪算法跟踪交通标志.实验结果表明,该方法具有很好的鲁棒性.     

图像处理耦合模板定位的答题卡识别研究与应用

当前大多数机器阅卷中采用的识别算法基于模糊识别,即针对某类型的试卷,更换多种试卷或者同种试卷不同采集方式下很难准确对应,具有一定的局限性。对此,本文提出一个基于OpenCV耦合模板定位的答题卡识别机制。首先基于人机交互划定学号区与客观题区;然后基于图像处理算法定位得到填涂位置,评价填涂结果,完成答题卡识别。本系统模板制作模块由C#编程实现,答题卡识别由C++和OpenCV实现。最后测试本文机制性能,结果表明：与基于模糊识别的普通方法相比,本文机制具有更好的定位效果和识别准确度。     

人体自由运动状态下的视线追踪算法研究*

针对人体在大空间范围内自由运动时视线方向难以追踪的问题,构建了一套基于光学跟踪设备的头戴式视线追踪系统。系统通过被动式光学追踪设备和头戴式眼部摄像机获取使用者的头部运动状态与眼部图像,然后依据初始标定结果来估计使用者自由运动状态下的视线方向;最后对系统进行简化,得到了适用于同类环境、与具体硬件设备无关的视线跟踪三点三面三变换几何模型。对系统进行应用实验和误差分析表明,使用者在3.0 * 3.2 * 2.0 m的大工作空间内自由运动时视线追踪误差为1.69度,频率为20赫兹。     

交互式桌面及其相关技术研究

交互式桌面Tabletop现已成为人机交互领域的一大研究热点。在对现有Tabletop硬件平台和交互技术全面调查和深入分析的基础上,深入探讨Tabletop的发展方向及其关键技术,其中着重分析了物理仿真和空间交互技术在提高Tabletop自然交互方面的重要性。该课题的研究有助于新型Tabletop交互系统的设计和评估,同时也将对普适计算、自然用户界面等相关研究领域起到重要的借鉴作用。     

基于OPENCV的手势识别系统的设计与实现

人与计算机的交互技术是一种新型的计算机技术,且逐渐演变为一种主流技术和计算机领域的技术热点;为了能够更好地识别手势和跟踪手势的运动轨迹,提出了基于OPENCV的手势识别系统,系统引入了OPENCV计算机视觉库,OPENCV作为优秀的计算机视觉库,为设计的实现提供了便捷的代码,利用OPENCV技术中的图像处理算法,首现通过摄像头采集数据图像,并对采集到的图像进行一系列的缩放,去噪以及锐化等处理,然后对人体手势建立肤色模型,然后经过灰度阈值化来转换成二值图像,得到手轮廓的数据图像后,采用轮廓匹配方法识别出手型;最后通过10种基本的手势模型对比验证了本系统具有一定的实时性,并且识别率可以达到95％以上.     

基于人机互动系统情感分析计算研究

由于人的情感包含大量的信息,特别是面部的表情与手势图像中存在大量干扰信息,造成了情感计算正确率下降,为此提出了一种从用户的面部表情与手势中系统地分析情感线索的方法。对面部表情与手势进行分析是感情丰富的人机交互系统的基本组成部分,采用非语言线索算法来判断用户的感情状态。从图像序列中提取与表情相关的特征,通过智能法则系统分析用户的情感状态,得到的感情信息最终与用户的真实反映相适应。最后采用基于主体接口技术来处理如沮丧或愤怒等特定的情绪状态。实验结果表明,提出的方法能够准确地分析计算出用户的情感信息。     

A comparative study on face detection and tracking algorithms

Face localization is the first stage in many vision based applications and in human-computer interaction. The problem is to define the face location of a person in a color image. The four boosted classifiers embbeded in OpenCV, based on Haar-like features, are compared in terms of speed and efficiency. Skin color distribution is estimated using a non parametric approach. To avoid drifting in color estimate, this model is not updated during the sequence but renewed whenever the face is detected again, that gives the ability to our system to cope with different lighting conditions in a more robust way. Skin color model is then used to localize the face represented by an ellipse: connected component segmentation and a statistical approach, namely the coupled Camshift of Bradsky, are compared in terms of efficiency and speed. The pursuit algorithms are tested on various video sequences, corresponding to various scenarios in terms of illumination, face pose, face size and background complexity (distractor effects).     

移动设备视线跟踪技术研究进展

针对移动设备视线跟踪技术研究现状进行了综述,介绍了视线跟踪技术的发展及移动设备的资源劣势,将移动设备视线跟踪技术分为利用自身集成硬件和使用外接硬件设备两类,并分别进行了说明。最后,总结分析了移动设备视线跟踪存在的问题,并对其未来发展及研究方向进行展望。     

面向智能家居的挥手识别算法

目的 用手势控制家电是智能家居发展的趋势之一,传统的静态手势识别算法难以适应复杂的居家环境,特别当使用广角相机或环境干扰大时,为此提出一种动态的挥手识别算法,可以对视频序列中的挥手动作做出响应,以达到控制家电的目的。方法 挥手动作具有周期性且频率相对稳定,算法首先调整长滤波器和短滤波器使其检测到视频内周期性运动的区域,然后利用人手识别算法对周期性运动区域进行验证并确认人手。结果 通过与主流的手势识别算法的对比,在复杂环境下,本文算法将成功次数提高了3%,误触发次数降低了44%,响应时间也降低了近0.4 s。结论 实验结果表明,算法能够满足实际应用需求。此外,算法不基于运动目标检测,运算量极低,可以在较高的图像分辨率下实时运行,并能被移植到嵌入式平台下。     

分层交互式蚁群优化算法及其应用

传统蚁群优化算法在求解优化性能指标难以数量化的定性系统问题时无能为力,为此提出一种利用人对问题解进行评价的分层交互式蚁群优化算法。设计了一个基本交互式蚁群优化模型结构,讨论了信息素的更新策略和性质。给出分层的思想、分层的时机和分层的具体实现方法。算法用户参与评价时,只需指出每一代中最感兴趣的解,而不必给出每个解的具体数量值,可以极大降低用户评价疲劳。将算法应用于汽车造型设计,实验结果表明所提出算法具有较高运行性能。