一种采集手臂肌电信号的神经接口设计方法

在人机交互的智能控制中,对人体肌电信号的采集成为了人机交互中的重要环节,本文设计了一种16路通道肌电信号采集和滤波电路,并通过DSP28335实现对肌电信号的采集、处理以及与上位机通讯,够任意的给定采样频率和通信速率,以满足不同的实验或设备的要求。实验结果表明,所设计的肌电信号神经接口装置稳定性较好,抗干扰能力强,能够有效的采集手臂肌电信号,保留其动作特征,满足肌电信号手势神经解码的要求。     

基于双通道表面肌电信号的在线手势识别系统研究

为了获得更加便捷和简单的人机交互方式,采用由Arduino UNO开发板和肌电传感器组成的双通道表面肌电信号采集系统采集手前臂的表面肌电信号,并在上位机中利用MATLAB（R2018b）对采集到的信号进行预处理、活动段检测、特征提取和分类器训练与预测;在识别出手势动作之后,利用GUI界面实时地显示出识别结果。该系统从肌电信号到手势识别、再从手势识别到计算机系统的人机交互方式展现了巨大的潜力和应用空间,尤其是在虚拟现实领域。     

基于动态手势的人机交互系统的研究与设计

该系统是一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的系统;手势手套主要由弯曲传感器、陀螺仪加速度计、电阻电压转换电路和无线通信模块组成,来实现手势信息的采集、去噪、前压缩、解算等功能,并通过无线通信将实时手势信息交付给上一层;无线中继端将其与多种传感器电路、显示屏、摄像头、通信接口和常用的工业控制接口等集成到一块上,采集其他传感器信息结合前级的手势信息,在短时间深度上对多种信息进行融合并通过控制算法输出给控制器件;上位机主要负责手势信息的建模还原和更长时间序列上和多维度的信息处理;网络云端可以实现手势信息的大数据处理、匹配和远程交互等功能。经实际检测达到了理想的设计要求。     

基于表面肌电图像的灵巧假手控制系统

设计了一种通过佩戴阵列型表面肌电传感器,实时识别受试者的8种手势,并控制一个自主研发的六自由度灵巧操作假手进行同步动作的人–机协同控制系统.控制假手的手势识别策略基于神经网络算法,受试者仅需在首次训练阶段重复完成预先设定的8种手势动作(分别为放松、手腕外翻、手腕内翻、握拳、伸掌、手势2、手势3和竖大拇指),之后该系统即能够实时识别受试者随机完成8种手势中的任意一种手势.本文提出的网络参数随机搜索算法和梯度下降算法,与目前同规模的神经网络相比提高了网络的训练速度和手势预测精度;该手势识别算法使用Tensorflow机器学习框架学习权值并进行了可视化分析;采用经过优化的手势训练方式既缩短了受试者的手势训练时间,同时提高了手势训练的熟练度.本文对一名肌肉无损伤的受试者进行表面肌电信号采集、训练和预测,对8种手势的综合预测精度达到97%,且再次佩戴时不再需要进行训练.受试者实际控制假手时,使用投票算法对实时手势预测结果进行深度优化,最终假手的动作同步率到达99%.     

脑电信号在线采集系统设计与实现

为了实现对脑电信号的实时采集,设计了一种基于ADS1299的无线脑电信号采集系统。该系统由硬件和软件两部分构成,硬件部分由以ADS1299为核心构成的信号采集模块、ATmega328主控制模块、RFD22301数据传输模块组成;软件部分则使用Java编写上位机检序,能够实时显示与处理脑电信号。高共模抑制比和高信噪比的前置放大器设计是信号采集模块设计的关键。同时,对经典的双T陷波电路进行改进,使得Q因子可调。通过一系列的采集和处理,最终实现脑电信号在上位机上的实时显示。     

一种基于循环时空深度神经网络的手势识别方法

针对表面肌电信号解码模型因缺乏时空信息等重要性表征,面临解码精度低、鲁棒性差等问题,提出了一种基于循环时空深度神经网络的手势识别模型,来提高挖掘表面肌电信号的表征能力。首先,设计多通道卷积神经网络,并融入双向循环神经网络来提取强判别力的时空特征信息。其次,采用通道注意力机制来捕捉时空特征中通道重要性信息,设计基于时空特征的注意力模块以进一步增强时空特征信息。同时,基于特征金字塔网络思想来设计多尺度特征融合模块,从多尺度、多角度获取多级特征信息,提高模型对肌电信号的解码能力。最后,将所提出的手势识别模型在大型手势识别数据库Ninapro上进行测试,结果表明所提方法能有效提高对表面肌电信号的表征挖掘能力,为人体手势动作识别的深度学习建模工作提供借鉴意义。     

基于ZigBee的温室环境监测系统的设计

针对现有温室环境监测系统存在的不足,设计了一种基于ZigBee无线传感器网络的监测系统,通过软硬件相结合实现了温室环境数据的实时监测。硬件部分以CC2530为核心构建ZigBee无线传感器网络,包括传感器节点、汇聚节点;软件部分包括传感器节点的数据采集和发送、汇聚节点数据接收和发送、上位机监测管理3个部分。采用LabVIEW对上位机监测软件系统进行开发,人机交互界面友好。测试结果表明,该系统工作性能稳定,结构简单,布点灵活,可以实现温室内环境数据的无线监测。     

基于TwinCAT及VC++的水下发射系统研究

针对水下15 m的发射系统,从系统硬件设计和系统软件设计两部分对其进行运动控制。其中,硬件主要基于TwinCAT进行下位机控制设计,用于实时控制电机并将电机的运动状态实时传输给上位机管理软件;而软件则是基于VC++进行上位机管理系统设计,其作用是将控制信号准确地传输给下位机并实时接收下位机反馈的点击运动信息。着重分析了VC++与TwinCAT之间的通信,使其能够根据用户需求进行相应的轨迹运动。通过搭建实验平台,对水下发射装置进行不同轨迹运动试验。实验结果表明,基于TwinCAT和VC++设计的水下控制系统能够精确地控制发射,满足用户不同的运动需求。     

汽轮发电机组转轴振动监测系统设计

设计了一种发电机组转轴振动监测系统。电涡流变送器将振动信号转换为电信号并传送至系统硬件平台。硬件平台使用FPGA作为控制核心对电信号进行模数转换、FIR滤波及温度矫正,并通过USB 2.0接口传输至上位机。硬件平台提供USB 2.0和RS-232两种接口,分别用来传输数据和控制命令。上位机采用LabVIEW开发平台,通用性强,通过VISA组件与硬件平台USB 2.0接口和RS-232接口通信,获取数据并控制硬件平台,实现实时振动波形分析、频域分析和轴心轨迹分析。系统可以进行远程控制与发布,并能将数据存储进SD卡及数据库中。测试及分析结果显示,整个系统运行良好、稳定、实时性强。     

基于DirectShow的脑机接口图像视觉刺激器

视觉刺激器是刺激脑电信号的重要方式.为了满足想象左右手运动的脑机接口系统的特定需求,为其提供人机交互界面,采用了DirectShow、多线程和并口通信技术,在DirectShow中自定义过滤器,设计并实现了基于DirectShow的实时图像视觉刺激器.系统的开发工具是VC++,运行环境是Windows,脑机接口的数据采集仪器为Biosemi公司生产的Active One多道生理信号采集系统.最后通过脑机接口实验证明:能在满足时间精度要求的前提下,完成图像刺激的控制、并口通信等功能,为想象运动脑电的效果提供了很好的保证.     

Visual interpretation of hand gestures for human-computerinteraction: a review

The use of hand gestures provides an attractive alternative to cumbersome interface devices for human-computer interaction (HCI). In particular, visual interpretation of hand gestures can help in achieving the ease and naturalness desired for HCI. This has motivated a very active research area concerned with computer vision-based analysis and interpretation of hand gestures. We survey the literature on visual interpretation of hand gestures in the context of its role in HCI. This discussion is organized on the basis of the method used for modeling, analyzing, and recognizing gestures. Important differences in the gesture interpretation approaches arise depending on whether a 3D model of the human hand or an image appearance model of the human hand is used. 3D hand models offer a way of more elaborate modeling of hand gestures but lead to computational hurdles that have not been overcome given the real-time requirements of HCI. Appearance-based models lead to computationally efficient “purposive” approaches that work well under constrained situations but seem to lack the generality desirable for HCI. We also discuss implemented gestural systems as well as other potential applications of vision-based gesture recognition. Although the current progress is encouraging, further theoretical as well as computational advances are needed before gestures can be widely used for HCI. We discuss directions of future research in gesture recognition, including its integration with other natural modes of human-computer interaction     

Motion estimation based on optical flow and an artificial neural network (ANN)

Motion estimation provides an attractive alternative to cumbersome interface devices for human-computer interaction (HCI). Worthy of note is that the visual recognition of hand gestures can help to achieve an easy and natural interaction between human and computer. The interfaces of HCI and other virtual reality systems depend on accurate, real-time hand and fingertip tracking for an association between real objects and the corresponding digital information. However, they are expensive, and complicated operations can make them troublesome. We are developing a real-time, view-based gesture recognition system. The optical flow is estimated and segmented into motion fragments. Using an artificial neural network (ANN), the system can compute and estimate the motions of gestures. Compared with traditional approaches, theoretical and experimental results show that this method has simpler hardware and algorithms, but is more effective. It can be used in moving object recognition systems for understanding human body languages.     

适用于机器人视觉的手势识别系统

手势是一种高效的人机交互和设备控制的方式,基于视觉的手势识别是人机交互、模式识别等领域的一个富有挑战性的研究课题。文章提出并实现了一个可用于与机器人交互的静态手势检测和识别系统。该系统用摇动检测的方法定位人手;用基于现场采样得到的肤色模型进行手的分割;用简化并改进的CAMSHIFT算法对手势进行跟踪;最后用模式识别的方法提取简单特征进行识别。实验证明,该系统快速、稳定而有效。     

虚拟现实手部康复训练系统的设计与实现

将虚拟现实技术应用到康复医学领域,可有效克服传统康复训练方法的局限性,实现安全、舒适和主动的康复训 练。本文设计并实现了一套虚拟现实手部康复训练系统,系统由交互设备、人机交互软件和虚拟环境三部分组成。交互 设备采用 5DT 公司生产的 5DT Data Glove 14 Ultra 数据手套,而人机交互软件运用 Visual Studio 2012 作为开发工具,基于 MFC 编写,实现了用户管理、数据采集、手势信号分类、实时手势识别测试等功能。构建的虚拟场景使用 Flash 游戏, 通过 MFC 和 Flash 游戏之间通讯使用者能使用手势信号实现游戏操控。本文的实验结果表明：虚拟现实手部康复训练系 统能够指导使用者进行有效的手部康复训练,Flash 康复训练游戏能有效提高使用者进行康复训练的积极性和主动性。     

基于视觉的手势识别技术

近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动。文中介绍了手势识别方法的发展、手势识别的技术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法。     

基于DTW算法的肌电信号手势识别方法

为了提高肌电信号手势识别算法的准确度,增强实时性,提出了一种基于动态时间规整（DTW）算法的手势识别方法,该方法利用肌电信号（EMG）对个体间的手势进行识别。首先,采用滑动平均能量的方法对原始的EMG信号进行数据分割,探测有效动作;其次,对于分割的数据段使用平均绝对值（MAV）来提取信号特征;最后,用DTW算法将8维的EMG信号融合并计算测试样本和模版的相似度,其中采用了DTW算法寻找规整路径的方法进行了模板制作,实现了个体间的手势识别。实验结果表明,使用DTW算法对肌电信号进行手势识别,其动作识别的准确率达到96.09%,该方法计算速度快,实时性强。     

Human–computer interaction using vision-based hand gesture recognition systems: a survey

Considerable effort has been put toward the development of intelligent and natural interfaces between users and computer systems. In line with this endeavor, several modes of information (e.g., visual, audio, and pen) that are used either individually or in combination have been proposed. The use of gestures to convey information is an important part of human communication. Hand gesture recognition is widely used in many applications, such as in computer games, machinery control (e.g., crane), and thorough mouse replacement. Computer recognition of hand gestures may provide a natural computer interface that allows people to point at or to rotate a computer-aided design model by rotating their hands. Hand gestures can be classified into two categories: static and dynamic. The use of hand gestures as a natural interface serves as a motivating force for research on gesture taxonomy, its representations, and recognition techniques. This paper summarizes the surveys carried out in human--computer interaction (HCI) studies and focuses on different application domains that use hand gestures for efficient interaction. This exploratory survey aims to provide a progress report on static and dynamic hand gesture recognition (i.e., gesture taxonomies, representations, and recognition techniques) in HCI and to identify future directions on this topic.     

基于深度信息的动态手势识别综述

随着计算机技术的飞速发展,自然、简单、非接触式的手势识别在人机交互方面备受青睐。动态的手势识别一直是人机交互领域研究的热点与难点,深度传感器的出现为手势识别的研究提供了更加鲁棒的数据。为了解动态手势的发展现状,在广泛调研现有文献和最新成果的基础上,对基于深度信息的动态手势从手势分割、手势建模、特征提取、手势识别4个方面进行阐述,介绍动态手势识别相关的应用领域,并对其中存在的难点与问题进行讨论。     

基于肌电信号和加速度信号的动态手势识别方法

为了增强手势识别的多样性和简便性,提出了一种基于肌电信号（EMG）和加速度（ACC）信息融合的方法来识别动态手势。首先,利用MYO传感器采集EMG和ACC的手势动作信息;然后分别对ACC和EMG信号作特征降维和预处理;最后,为减少训练样本数,提出用协作稀疏表示分类器来识别基于ACC信号的姿态手势,用动态时间规整（DTW）算法和K-最邻近分类器（KNN）来分类EMG信号的手形手势。其中在利用协作稀疏表示分类器识别ACC姿态信号时,通过对创建字典最佳样本个数以及特征降维的维数进行研究来降低手势识别的复杂度。实验结果表明,手形手势的平均识别率达到了99.17%,对于向上向下、向左向右4种姿态手势平均识别率达到 96.88%,而且计算速度快;对于总体的12个动态手势,其平均识别率达到96.11%。该方法对动态手势的识别率较高,计算速度快。