基于MediaPipe的手势识别用于挖掘机遥操作控制

挖掘机有十分广泛的应用场景,但在某些危险工况下,对其采用遥操作是更好的选择。同时,近年来随着机器视觉和深度学习的发展,涌现出一系列手势识别的算法和框架。为了探究基于MediaPipe的手势识别算法在挖掘机遥操作中的应用,本文将手部不同手势与挖掘机的不同动作相对应,提出一种利用手势实现挖掘机遥操作的新型控制方式。在实验室环境下,对实验用挖掘机器人进行运动学分析,采用MediaPipe对15种手势类型进行实时静态识别,生成指令并利用Arduino单片机实现对挖掘机的控制。结果显示,该系统具有良好的性能,可以用于挖掘机的遥操作控制,为挖掘机的远程控制提供了一种新型的人机交互形式。     

基于移动端的嵌入式鸟类识别系统设计与开发

针对基于深度学习的识别方法对数据量要求较高、应用比较困难,对于鸟类数据有限的情况,本文开发一种基于深度学习的移动端嵌入式鸟类识别系统,利用单通道盲源分离对鸣声进行预处理,输入到迁移学习VGG-16模型进图像特征提取实现鸟类物种的分类。采用基于MFCC的双模态决策级特征并训练Mobilenet轻量化模型,将算法移植到Android客户端,以18种鸟类为研究对象进行测试,实验结果表明,该方法在识别准确率达到99%以上,软件推动了鸟类个体自动识别在鸟类调查和监测领域的广泛应用。     

基于Leap Motion的三维自由手势操作

基于Leap Motion设备,提出了用自由手势控制三维模型变换的新方法,并设计了三维操作的手势库。通过低成本的Leap Motion实时获取手部运动的帧数据,用基于规则的分类和基于监督式学习的分类相结合的方式,实现了单手和双手操作三维模型的平移、旋转和缩放。为了提高手势识别的准确率和连贯性,在动态识别过程中,引入了预处理和后置处理模块,识别准确率达到95.59%。用户测试的结果表明,用户对新的交互方式接受度较高,操作结果符合用户的预期,在可用性和满意度方面表现良好。     

基于深度学习网络模型与大数据自动训练的工件缺陷识别算法研究

针对工件缺陷种类多样和特征不明显,造成机器视觉识别精度不稳定的问题,提出了一种基于深度学习网络模型与大数据自动训练的工件缺陷识别算法,并以软件工程来实现其功能。首先,对存在缺陷的工件进行取样,采集缺陷图像,建立识别标准。然后,基于深度神经网络模型和缺陷标准图像,进行模型训练,采取分批训练,逐步迭代收敛的方式,达到准确识别工件缺陷目的。最后,基于Python语言与TensorFlow框架实现深度神经网络模型,并将模型移植到C++平台调用,嵌入到商业版本软件中,实现算法的落地应用。实验测试结果显示,相对于已有的缺陷识别技术而言,本文算法具有更高的识别准确性,可为机器视觉软硬件设备提供技术基础。     

手势识别中的图像预处理技术研究

在手势识别过程中,当获取到的手势信息转换成可用计算机处理的数字图像时,手势图像在生成,传输或变换过程中会受到各种因素的干扰和影响,手势图像的画质将会因噪声而在不同程度上出现畸变,因此需要先对图像进行预处理。图像预处理的过程包括图像平滑和图像二值化,本文分别对多种平滑技术和二值化方法进行了研究和实验对比,为手势识别过程中的手势分割和特征提取提供了有效的数据样本。     

结合迁移学习和Inception-v3模型的路面干湿状态识别方法

针对传统方法对路面干湿状态识别分类正确率较低的情况,提出了基于迁移学习的路面干湿状态识别方法。利用深度卷积神经网络强大的特征学习和表达能力,自动学习干湿路面的特征,并采用迁移学习的方法将Inception-v3模型在ImageNet图像数据集上学习得到的知识深度迁移至路面干湿状态识别任务。实验结果表明,所提算法在测试集上测得的分类准确率约为94.5%,与非迁移学习算法和基于底层视觉特征识别学习的算法相比,具有更高的准确性和良好的鲁棒性,以及较强的泛化能力。     

基于Hu不变矩及傅里叶描述子的手势分类算法

手势识别是实现人机智能交互的重要组成部分,手势分类则是实现手势识别的重要前提。本文提出采用Hu不变矩和傅里叶描述子作为手势特征,并用随机森林算法训练上述特征,然后利用这两种特征对指定手势进行分类。实验结果表明,对每种手势取一定数量的样本进行训练后,手势分类平均准确率为91.69%,说明该方法可有效地实现对指定手势分类。     

RGB-D视频中连续动作识别

提出了一种基于动态规划的方法识别深度视频中的动作序列,首先通过视频中的深度信息提取出归一化的骨架来表征人体的姿态;然后通过隐式马尔可夫模型对人体的每个动作进行建模,并利用先验知识对整个连续动作序列进行划分;最后利用隐式马尔可夫模型输出概率构造代价函数,通过动态规划求解得到最优的动作识别标签,实现连续动作识别。实验结果验证了该方法对连续动作识别的高效性和准确性。     

基于图像预处理的局部二值模式人脸识别方法

本文提出了一种基于图像预处理的局部二值模式人脸识别算法,并进行了实验验证。结果表明:相比未经图像预处理的面部识别算法,经预处理的人脸识别算法识别准确度有明显提高。     

手势识别系统在新媒体交互设计中的应用研究

随着科学技术的不断发展,新媒体交互设计与前沿科技的结合越来越紧密。随着人工智能的不断开发与发展,越来越多的智能传感器进入大众生活,手势识别系统就是其中之一。手势识别技术通过深度摄像头对手部动作X、Y、Z三轴上的运动轨迹进行捕捉识别,并把整个过程传输到电脑里,用户可以利用双手对虚拟影像或者实物进行"隔空操作"。在用户体验上,手势识别打破了传统的操作模式,用户不需要直接接触物理输入设备,只通过不断变换手势即可达到操作目的。