基于计算机视觉及深度学习的无人机手势控制系统

传统的无人机人机交互需要专门的设备和专业的训练,便捷新颖的交互方式往往更令人青睐。利用普通相机,对基于计算机视觉以及深度学习的无人机手势控制系统进行了研究。该系统首先利用快速跟踪算法在视频序列中提取出操作者所在区域,大大减少后续视频处理压力的同时去除了复杂背景以及相机漂移的影响。其次,根据动作的时间信息,用不同颜色编码光流特征,叠加在一张图片上,将视频转换为同时包含时间特征以及空间特征的彩色纹理图。最后,利用卷积神经网络对彩色纹理图进行学习及分类,根据分类结果生成控制无人机的指令。该系统每0.4 s对1.6 s内的动作进行一次判定,利用卷积神经网络对图片的分类实现实时性的人机交互,系统在60 m范围内的识别准确率在93%以上,在室内和室外环境下,操作者可以通过模仿指令动作方便地控制无人机。