服务机器人手势识别系统研究

为了解决手势控制服务机器人时单手手势交互不够自然和易受背景光照影响的问题,提出一种较自然的双手手势识别方案。利用Viola-Jones检测器和高斯肤色模型结合的方法进行手势分割,有效克服了背景和光照的影响。针对单一特征识别时的缺点,提取手势形状的多种特征组成混合特征向量。最后通过经典的BP神经网络方法实现手势识别。实验表明,该系统在不同背景和光照条件下鲁棒性较好,识别率在90%以上,可以对服务机器人进行前进、后退、左转、右转、停止的实时控制。     

基于现场可编程门阵列的可重构手势交互教学机器人设计

针对传统教学机器人可重构性差、系统综合应用性不足、人机交互功能简单等缺点,本文设计开发一种基于现场可编程门阵列（FPGA）的可重构动静态手势交互教学机器人。该机器人以Xilinx的Spartan6为控制器,通过OV5640摄像头对手势图像信息进行识别传输,利用I2C总线与FPGA控制芯片进行通信,利用WiFi模块进行数据传输,从而对机器人进行相应的手势指令控制,实现人机手势交互、机械臂抓物、自动循迹、超声避障、运动除障、语音播报等多种功能。同时,该手势控制机器人对测试者的数字手势和动作手势识别正确率达95.1%,实时识别响应时间小于0.5s。本文设计的基于FPGA的可重构动静态手势交互教学机器人可应用于FPGA系统设计等研究类课程教学中,具有推广价值。     

基于AdaBoost分类器的手势检测

随着社会智能化的不断发展,人们对人机交互的要求也越来越高.手势识别就是人机交互中一项重要的技术.而手势识别中首要解决的任务就是首帧手势位置的检测,这直接影响到后续的跟踪与识别.本文通过基于Haar-like特征的AdaBoost分类器检测实现了在单目视觉条件与复杂环境下对特定手势的快速自检测.     

助老服务机器人多模式友好交互系统设计与实现

交互系统是服务机器人与人交流互动的基础。采用实感3D相机作为传感器,研发了一款助老服务机器人多模式交互系统,主要实现基于人脸识别的用户注册与验证、基于手势识别和语音识别的新闻点播、日程提醒等。实验测试表明,人脸识别准确率达到93%,手势识别准确率达到72%,语音识别准确率达到90%。该交互系统具有交互友好、不依赖网络、识别速度快等优点,与全向移动机器人平台集成,可以为空巢老人提供一款交互友好的多功能低成本助老服务机器人。     

Grael脑电放大器与深度学习的手势实时识别研究

手势识别是人机交互的关键。为了能够更好地实现脑电信号与肌电信号的融合,精准地识别人体的运动,本文建立了一套基于Grael脑电放大器的手势动作实时检测识别的研究系统。通过Grael脑电放大器和Curry8系统采集5个通道的8种不同手势的表面肌电信号(sEMG),并对采集到的sEMG信号进行滤波去噪、滑动窗口分割以及特征提取等预处理的操作;最后采用几种常用的分类器与卷积神经网络(CNN)对不同手势的sEMG信号进行实时分类识别。结果表明CNN的识别准确率最高,能达到92.98%;对每个手势动作进行30次实时识别检测,结果显示识别延迟大概在1～1.5 s,实时识别的精度可高达90%。该系统为将来研究脑电信号与肌电信号的融合提供了一个可行的方法,在人机交互方面展现了巨大的潜力和应用空间。     

基于图卷积网络改进的人体动作识别模型

针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点，设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进，实现精度的提升。双重注意力机制包含了空间注意力机制以及通道注意力机制，其中空间注意力机制有选择性地聚集上下文，通道注意力机制分为两个并行的模块，第1部分提高了特征的可辨性，第2部分在捕获特征远程依赖的同时，保留了精准的位置信息。结果表明，以双流自适应图卷积动作识别网络2S-AGCN模型为基础网络，融入了双重注意力机制模块的模型在Kinetics数据集上的Top-1和Top-5分别提升了0.6%和1.3%,在NTURGB+D120数据集的CS和CV上的Top-1分别提升了1.2%和0.5%,在NTURGB+D数据集的CS和CV上的Top-1分别提了0.2%和0.1%。     

基于动态贝叶斯网络的手势识别

研究了动态手势的识别技术,实现人机交互。采用HSV空间的肤色模型实现手势定位,光流场算法进行手势追踪,具有较好的快速性、准确性和鲁棒性。提出应用链码描述手势运动矢量,双手相对位置标量以及双手与脸的相对位置标量,将多条链码作为动态手势的特征进行提取。建立了一个动态手势识别的动态贝叶斯网络模型,将一部分手势链码作为训练样本,通过对DBNs的推理学习实现手势识别。实验构建动态手势识别系统,可应用于多媒体、智能电器或幻灯片控制之中。     

支持自定义的多粒度动态手势识别方法研究

大多数手势识别研究往往仅考虑手部的运动轨迹,无法全面的对动态手势特征进行描述。在深度分析了驱动手势的各关节特征影响度的前提下,使用了多粒度的动态手势识别方法,同时,针对大部分手势识别研究不考虑用户自定义手势问题,提出了一种改进的动态时间规整(DTW)方法。实验结果表明,该方法可以较好的识别不同粒度下的手势,以及在自定义模式下准确的识别出非模板库中的手势,从而实时的向模板库中添加新手势。     

基于Android平台的相机清晰度检测系统

为了能够实时、准确地完成对光学系统清晰度的检测，提高相机模组的一致性，本文设计了一款基于安卓平台的相机清晰度检测系统。在相机装配的主动对准过程中，通过测量调制传递函数的方法，来评价相机的成像清晰度。不同于市面上现有的检测仪器，该检测系统体积小、普适性强、操作方便、成本较低、可实时记录相机模组在不同状态下的调制传递函数，达到检测相机模组成像质量的目的。在相机模组检测领域中，该系统更易实现商业化和产业化价值。     

基于单目视频的伪双目动态测距方法

传统的双目测距是通过待测物体在双目相机中成像的视差来计算物体在三维空间中的坐标信息,需要结合理想的双目测距模型来完成.然而在实际的工程应用中所使用的摄像机往往是单目摄像相机,无法满足双目测距要求.针对以上问题提出一种基于单目视频的伪双目动态测距方法,针对在预定轨道上移动的摄像机拍摄的视频,对目标物体进行测距.对所使用的...     

沉浸式变电站仿真培训系统的设计与实现

针对现有变电站仿真培训系统现场感缺乏和用户体验不足的缺点,提出一种沉浸式变电站仿真培训系统方案,将三维虚拟现实引擎技术、多通道视频输出技术、虚拟人驱动技术、Kinect体感交互和漫游技术引入变电站仿真培训系统,从视觉、听觉和交互方式上为变电站运行人员构建了沉浸式变电站虚拟实境。其中,多通道视频输出技术采用了通过转换计算机底层图形数据的创新方法实现;基于Kinect体感交互的虚拟人驱动技术主要针对Microsoft Kinect SDK的骨骼追踪系统无法识别人物手势动作的缺点,创新使用动态时间规整(dynamic time warping,DTW)算法弥补其不足;基于Kinect体态识别的场景漫游技术实现了虚拟人物在仿真场景中的漫游和转向控制。实际应用效果表明,该系统增强了用户体验,提高了用户使用培训系统的兴趣,可有效提升培训质量,具有很强的实用性。在研究中还对Kinect识别范围和动作识别率进行反复测试,积累了大量实验数据,为后来的研究者如何避免仿真系统设计误区提供了参考。     

面向电力培训的三维交互仿真平台的设计与实现

针对电力三维交互仿真培训系统的运行和开发需求,设计和开发了基于XNA Framework的三维交互仿真平台PowerX.PowerX支持大规模三维虚拟场景实时渲染,能够很好地呈现具有仿真对象数量众多、虚拟设备三维模型精细以及操作状态实时动态变化等特点的电力仿真培训三维虚拟场景;同时PowerX设计并实现了支持操作者开放式操作行为的复杂操作交互过程逻辑控制,允许操作者根据自我认知进行自由的模拟操作,使电力仿真培训系统更加符合真实操作情境及满足培训要求.配电运行仿真培训系统的开发实例表明,PowerX能够简化系统三维视景仿真的开发复杂度,并且支持复杂操作过程控制逻辑的实现,使系统的仿真功能更符合现场实际状况、更贴近培训需求.     

基于FPGA的相机图像转接测试系统设计

研究并设计了一种相机图像转接测试系统,将卫星相机视频电子系统输出的串行数传数据进行格式转换并成像,同时能够模拟相机管理控制器功能对相机电子系统中信息处理器进行遥测遥控。相机图像转接系统以 FPGA作为逻辑控制的核心,通过CamLink接口与上位机进行图像数据传输并实时成像,采用 RS232接口接收上位机指令模拟遥测遥控,文中详细介绍了系统组成和 FPGA模块化设计方法,并于硬件电路上进行验证。实测结果表明,以本文方法设计和实现的相机图像转接测试系统成像结果准确无误,能够完整模拟相机管理控制器的遥测遥控功能,实现了多种成像模式的切换,为相机系统研制有很大的促进作用。     

久坐人群无器械训练动作识别与计数算法研究

针对久坐人群长期缺乏运动导致身体呈现亚健康状态和现有训练方法缺乏监督性的现状,提出一种人体动作识别与计数方法实现4种无器械训练动作精准识别与计数.以手机摄像头捕获训练者的视频信息作为输入,通过BlazePose网络模型处理得到的人体骨骼点数据经过数据滤波处理、特征提取后,利用3种常见的机器学习算法进行动作分类,将分类的...     

基于视觉里程计的室内位姿测量技术研究

随着人口老龄化程度的不断加深,独居老人也在不断增多。 在解决独居老人养老问题的应用上,室内定位是最基本和 关键的问题。 针对室内定位的需求,提出了双目视觉里程计定位算法,从相机成像模型、特征提取、特征匹配以及运动估计 4 个 方面展开了研究。 首先,采用双目摄像头作为传感器进行图像采集;然后通过提取 ORB 特征点来完成相邻图像之间的匹配关 系,根据基于 BRIEF 描述子的立体匹配算法得到左右图像对应特征点的匹配关系;最后对相机的运动进行估计。 设计了硬件 和软件平台对提出的方法进行实验。 实验证明,基于视觉里程计的室内定位技术能够准确地定位老人在室内的位置,能够实时 地对老人进行安全监护。     

基于轻量级卷积神经网络的手势识别检测

针对基于深度学习的手势识别模型参数量大、训练速度缓慢且对设备要求高,增加了成本的问题,提出了一种基于轻量级卷积神经网络的手势识别检测算法。首先利用Ghost模块设计轻量级主干特征提取网络,减少网络的参数量和计算量;通过引入加权双向特征金字塔网络改进特征融合网络,提升网络检测精度;最后使用CIoU损失函数作为边界框回归损失函数并加入Mosaic数据增强技术,加快模型收敛速度提升网络的鲁棒性。实验结果表明,改进后的模型大小仅为17.9M,较原YOLOv3模型大小减小了92.4%,平均精确度提高了0.6%。因此新的检测方法在减少模型参数量的同时,还可保证模型的检测精度和效率,为手势识别检测提供理论参考。     

基于对比学习的信息缺失手势识别新方法

针对现有深度学习模型识别信息缺失手势需要大量标注数据、更深的网络需要更多参数的问题，首先收集整理了一个信息缺失手势数据集IMG＿NUIST,然后借鉴对比学习思想，提出了一个新的信息缺失手势识别模型CLGR,该模型通过对手势类内和类间差异度的对比约束提高模型特征学习性能。在两个经典数据集(ASL Alphabet和NUS I)和新提出的IMG＿NUIST数据集上进行了广泛实验，消融实验表明对比学习思想能有效地将平均识别准确率提高至98.60%以上且收敛速度显著提升；对比实验表明本文所提模型计算复杂度比其它4个模型平均简化了41.4%,在NUS I和IMG＿NUSIT数据集上的手势识别准确率超过四个对比方法，特别是在NUS I数据集上将识别准确率平均提高了17.35%,在ASL Alphabet数据集上的识别准确度仅比最优结果低0.43%。实验结果说明所提模型对于缺失手部部分信息和杂乱背景等问题的手势识别任务有显著效果，具有收敛速度更快、计算复杂度更少的优秀性能，有很好的实用价值。     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

电工电子网络实验教学系统交互性的分析与探索

通过对电工电子网络实验教学系统的交互性进行深入的分析,强调了显性交互、实时交互和有差异交互资源的作用。讨论了电工电子网络实验教学系统功能和系统结构,以Web为基础平台,虚拟实验为核心,设计并实现网络实验教学系统的原型。     

虚拟现实在变电站仿真培训系统中的应用

采用虚拟现实建模语言(VRML)建立了虚拟变电站,通过Java实现了它与变电站仿真培训系统间的通信和交互控制。所设计的虚拟变电站仿真培训系统能三维显示、实时交互、动态仿真且经济高效、容易掌握。