MPE-YOLOv5:面向边缘计算的轻量化YOLOv5手势识别算法

针对边缘设备计算和存储能力差的问题,本文对传统YOLOv5模型中用于特征提取的主干网络CSPDarkNet53进行轻量化处理,提出了一种轻量化MPE-YOLOv5手势识别算法,以实现模型在低功耗边缘设备上的部署;针对轻量化模型提取特征较少而导致的难以识别大尺度变换目标和微小目标问题,对M-YOLOv5网络设计添加有效通道注意力机制(efficient channel attention, ECA),以缓解因特征通道减少而导致的高层特征信息丢失的问题;同时增加针对微小目标的检测层,提高对微小目标手势的敏感度;并选用EIoU作为预测锚框的损失函数,以提高模型的定位精度。本文在自制数据集和NUS-Ⅱ公共数据集上验证了MPE-YOLOv5算法有效性,并将MPE-YOLOv5算法与轻量化后的M-YOLOv5算法和原始的YOLOv5算法在自制数据集上进行了对比实验。实验结果表明,改进算法的模型参数量、模型大小和计算复杂度分别是原算法的21.16%、25.33%和27.33%,平均精度可达97.2%;与轻量化模型M-YOLOv5相比,MPE-YOLOv5能够在保持原来效率的同时,使平均精度提升8.7...     

改进的马氏距离动态时间规整手势认证方法

针对现有动态手势认证方法普遍采用的动态时间规整(DTW)算法在计算欧氏距离(ED)时各维特征向量被同等对待且各维特征间的相关性被忽视等问题,提出一种改进的马氏距离动态时间规整手势认证方法.通过手机内置三轴加速度传感器实时获取动态手势信号,经数据预处理后由改进动态时间规整算法进行加速度信号相似性度量,在计算过程中根据协方差矩阵特点进行时间复杂度优化,最后根据模板匹配法得出认证结论.实验结果表明,经改进后等错率(EER)由3.02%降至1.39%,经优化后认证响应时间平均降低87.84%.该方法进一步提高了动态手势认证精确度,同时实时性良好.     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于Kinect的多人场景下的手势识别

针对多人场景下人的手势识别问题,介绍一种结合人体关键骨骼支点的位置,将手势动作分割成连贯的动作片段,及时捕捉和释放移动场景下用户的方法,并通过实验验证本方法能提高手势动作的识别率。      

基于深度信息的实时手势识别和虚拟书写系统

鉴于无接触体感交互技术在人机交互领域的成功应用,提出了一种基于Kinect深度相机的实时隔空虚拟书写方法。结合颜色和深度数据检测和分割出手掌区域;进一步,通过修改的圆扫描转换算法获得手指的个数,以识别不同的手势指令;根据指尖检测从指尖的运动轨迹分割出独立的字符或汉字运动轨迹,并采用随机森林算法识别该字符或汉字。这种基于深度信息的手势检测和虚拟书写方法可以克服光照和肤色重叠的影响,可靠实时地检测和识别手势和隔空书写的文字,其识别率达到93.25%,识别速度达到25 frame/s。     

篮球裁判员培训仿真系统的研制

简要介绍了VisualBasic6.0面向对象可视化编程技术在篮球裁判培训的应用,利用它的可视化编程和代码编程技术,建造了虚拟现实的比赛环境,实现了交互式的裁判培训仿真系统,使系统具有可扩展性,可以用于其它内容的培训和教学。     

基于三维变换形状搜索的ASM人脸特征点定位

通过三维变换的特征点搜索方法对二维人脸图像进行形状搜索,形状搜索以人脸的标准三维模型为基础,将二维坐标三维化;通过三维变换、投影等过程迭代搜索逼近目标形状,最后得到三维变换的10个姿态参数。测试结果表明：在对非活动形状模型(ASM)训练集中的多姿态人脸进行形状搜索时,三维变换方法具有更好的逼近效果。较好地模拟了人脸姿态的实际变化,有效地解决了ASM人脸偏转的非线性问题。     

基于改进RCE和RBF神经网络的静态手势识别

针对手势识别的手区域分割、手势特征提取和手势分类的三个过程,提出了一种新的静态手势识别方法。改进了传统的RCE神经网络用于手区域的分割,具有更高的运行速度和更强的抗噪能力。依Freeman链码方向提取手的边缘到掌心的距离作为手势的特征向量。将上一步得到的手势特征向量作为RBF神经网络的输入,进行网络的训练和分类。实验验证了该方法的有效性和可行性,并用其实现了人和仿人机器人的剪刀石头布的猜拳游戏。     

基于超声波的手势识别设备的研究

设计了一套基于主动超声技术的低成本、低功耗的手势识别装置,可以用来实现无接触式的人机交互。采用STM32为主控核心,发射超声波并使用4通道超声性能稳定的麦克风接收经过物体反射后的回波信号。在单片机内使用改进的过零检测法估算回波频率,并将回波的频率和幅值作为手势识别的特征,使用USB或串口传输至上位机。经验证,特征信息可反映用户手在垂直方向和水平方向的运动。     

基于曲率局部二值模式的深度图像手势特征提取

针对复杂环境下的深度图像手势特征提取信息冗余量大、编码不稳定等问题,提出了一种改进的基于曲率局部二值模式（LBP）的深度图像手势特征提取算法。该算法首先通过坐标转换将分割出的手势深度数据转换为点云数据;其次利用移动最小二乘法对手势点云数据进行曲面拟合;然后计算出能够更加准确描述物体三维表面几何信息特征的高斯曲率;最后利用改进的LBP均匀模式对高斯曲率数据进行编码形成特征向量。在美国手语（ASL）手势数据库上该算法的平均识别率达到了92.1%,与3D局部二值模式（3DLBP）和梯度LBP相比分别提高了18.5个百分点和13.7个百分点。实验结果表明,该算法可以区分外部轮廓相似但内部结构不同的手势,有效提高了在描述手势深度图像内部细节方面的准确性。