基于Mediapipe的幻影成像装置自然手势交互系统设计

针对博物馆中幻影成像虚拟展示装置的交互需求，设计了一种自然手势的计算机视觉交互系统。利用单目相机对自然手势进行动作采集，针对不同身高人群手部活动范围，计算了单目相机最优捕获位置，实现了140～190 cm人群高度的手势识别。采用Mediapipe机器学习框架对捕获的手势图像实时遍历，获得单帧手掌的标定位置。结合21个特征关节点的手掌模型，使用非极大值抑制算法对自遮挡的手掌进行识别，根据欧氏空间距离判别阈值和单个手指曲率对指间动作做出分类，定义幻影成像常用5种交互动作，通过坐标关系建立了指尖和模型特征点之间的实时映射。实验结果表明，所设计的交互系统，系统识别准确率达到98%,满足幻影成像系统中手势控制虚拟模型的要求。