基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

基于眼动跟踪的人机交互应用

使用价格低廉的网络摄像头作为视频源, 研究基于眼动识别和视线跟踪在计算机上精确交互的方法。提出一种基于外观人眼视线方向估计的人机交互方法: 使用一个简单快速的卷积神经网络模型粗略估计人眼在屏幕上的注视点, 进而将眼动识别和不精确视线跟踪结果用于实现在计算机上的精确人机交互。在此基础上开发了眼动鼠标与眼动打字的功能以替代鼠标和键盘硬件。试验结果表明: 本研究让使用者仅用一个普通的单目摄像头, 就可以实现眼动跟踪, 并利用眼动控制完成计算机上大部分精确的交互。