基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图(HOG)特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本(其中约10%为负样本)测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

基于人眼鼻孔特征的眼动跟踪方法

提出了一种基于人眼鼻孔特征跟踪眼动的算法。首先利用Adaboost的层叠式分类器定位人脸、眼睛和鼻子;然后采用梯度Hough变换检测圆的方法精确定位瞳孔虹膜;最后利用几何方法建立椭圆跟踪模型,实现瞳孔的快速跟踪。实验结果表明,该方法定位眼睛嘴角快速准确,同时对眼睛的跟踪具有较好的鲁棒性和实时性。     

基于瞳孔-角膜反射技术的视线跟踪方法

视线跟踪是基于多通道的人机交互技术的重要研究内容．而基于瞳孔-角膜反射技术的视线方向是目前应用最广泛的视线跟踪技术之一。瞳孔-角膜反射技术的主要目的是提取人眼图像中瞳孔-角膜反射向量作为视线方向计算模型所需的视觉信息,通过搭建红外光源设备提取瞳孔-角膜反射向量构建基于瞳孔-角膜反射技术的视线跟踪系统,为面向人机交互的视线跟踪研究提供可行的低成本解决方案。     

移动设备视线跟踪技术研究进展

针对移动设备视线跟踪技术研究现状进行了综述,介绍了视线跟踪技术的发展及移动设备的资源劣势,将移动设备视线跟踪技术分为利用自身集成硬件和使用外接硬件设备两类,并分别进行了说明。最后,总结分析了移动设备视线跟踪存在的问题,并对其未来发展及研究方向进行展望。     

虚拟现实环境下基于眼动跟踪的导航需求预测与辅助

针对复杂虚拟现实场景中传统导航方法对用户支持不足和用户沉浸感较低等问题,文中提出了基于梯度提升迭代决策树的二分类模型,利用用户在虚拟现实环境中使用辅助导航时需要的眼动数据,来分析和预测用户在任务过程中是否需要辅助导航.根据用户的注视序列对该模型进行评估,得到用户需求判定方法的平均精确率和准确率分别为77.6％与77.2...     

面向大屏幕目标选择的眼动跟踪与手势交互

眼动跟踪方法具有很强的视觉指向性,可以将其应用于面向大屏幕的目标选择,进而避免鼠标操作方式在空间上的远距离移动.然而,仅仅利用眼动跟踪进行选择操作,也会产生选择精度降低、容易产生误操作等问题.因此,为了实现大屏幕上快速、准确的目标选择,提出一种融合眼动跟踪与手势的多通道交互方法,即通过眼动跟踪选择目标,利用手势进行选择确认.在目标尺寸小、目标间距较小时,通过光标稳定和二次选择机制进一步对交互过程进行优化.用户测试结果表明,该方法可以在大屏幕上针对不同尺寸和间距的目标完成有效的选择操作,与仅使用眼动跟踪的目标选择方法相比,任务完成速度提升了16%,任务完成正确率提升了82.6%.此外,针对层级菜单的具体选择任务,该方法与仅使用眼动跟踪的方法相比,任务完成速度提升了13.6%,任务完成正确率提升了55.7%.此外,该方法总体性能接近传统的鼠标操作方式,进一步验证了该方法在实际应用中的有效性.     

用于虚拟现实系统的眼动交互技术综述

眼动人机交互利用眼动特点可以增强用户的沉浸感和提高舒适度,在虚拟现实（VR）系统中融入眼动交互技术对VR系统的普及起到至关重要的作用,已成为近年来的研究热点。对VR眼动交互技术的原理和类别进行阐述,分析了将VR系统与眼动交互技术结合的优势,归纳了目前市面上主流VR头显设备及典型的应用场景。在对有关VR眼动追踪相关实验分析的基础上,总结了VR眼动的研究热点问题,包括微型化设备、屈光度矫正、优质内容的匮乏、晕屏与眼球图像失真、定位精度、近眼显示系统,并针对相关的热点问题展望相应的解决方案。     

桌面虚拟装配系统中眼动跟踪技术的应用

人机交互是虚拟装配的本质特性和技术瓶颈,本文分析了中虚拟装配中的眼动特征,提出了基于空间和情景的眼动模式;将眼动跟踪与直接操作相结合,研究了眼动跟踪技术在桌面虚拟装配系统中的应用。     

眼动仪与视线跟踪技术综述

文章在回顾视线跟踪技术的研究历程基础上,定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理,比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况,对比了几种主要的眼动仪性能。最后,探讨了视线跟踪数据的处理软件和方法,并对视线跟踪技术的应用前景进行总结和展望。     

适用于便携式设备的深度神经网络眼动跟踪

针对目前眼动跟踪方法难以适用于智能手机、平板电脑等便携式设备的问题,提出一种基于大规模数据集的眼动跟踪方法。首先,通过众包法构建大规模数据集;然后,使用该数据集训练一个深度神经网络,用于端对端的预测。最 后,训练一个更小更快的网络进行优化,使所提方法在移动设备上的运行具有一定的实时性。实验结果表明,与其他类似方法相比,所提方法具有更好的跟踪鲁棒性以及数据泛化能力。在移动设备中的运行速度可达10~15 帧/s。在未校正的情况下,该方法在手机和平板电脑中的预测误差分别是1.71 cm和2.53 cm。校正后,误差分别降至1.34 cm和2.12 cm。      

移动设备交互环境下的注视点感知计算方法

为了提高移动设备上眼动跟踪的精度和效率、降低硬件成本,提出基于注视点回忆的眼动数据感知计算方法.首先利用人的短时记忆特性建立注视点回忆和自我报告机制,要求用户点击移动设备屏幕来提交注视点位置数据;然后基于支持向量回归方法建立注视点数据误差补偿模型,对用户回忆和提交的注视点数据进行校正,进一步提高数据精度.为了验证数据误差补偿模型的效果,设计并开展了用户实验,结果表明,使用数据误差补偿模型后,对于不同类型的测试任务和测试图片,注视点回忆数据精度提高15%～40%.     

一种基于脑电信号的眼动方向分类方法

为了提高基于眼电的眼动方向的识别准确性,文中利用包含眼电伪迹的脑电信号,提出了一种新的眼动方向分类方法。首先,在10-20国际标准导联配置下,通过脑电仪采集靠近人脑额叶处的AF7,F7,FT7,T7,AF8,F8,FT8,T8这8个通道的脑电信号;然后,通过基线移除、归一化、最小二乘法降噪等进行数据预处理;最后,采用支持向量机的方法进行眼动方向的多次二分类,并使用投票策略实现眼动方向的四分类识别。实验结果表明,所提方法进行眼动方向分类时,在上、下、左、右4个方向上的分类率分别达到了78.47%,72.22%,84.03%,79.86%,平均分类率达到了78.65%。与已有的分类方法相比,所提方法的分类准确率更高,分类算法的实现过程更简单,这进一步验证了利用脑电信号识别眼动方向的可行性和有效性。     

多用户眼动跟踪数据的可视化共享与协同交互

随着数字图像处理技术的发展,以及计算机支持的协同工作研究的深入,眼动跟踪开始应用于多用户协同交互.但是已有的眼动跟踪技术主要针对单个用户,多用户眼动跟踪计算架构不成熟、标定过程复杂,眼动跟踪数据的记录、传输以及可视化共享机制都有待深入研究.为此,建立了基于梯度优化的协同标定模型,简化多用户的眼动跟踪标定过程;然后提出面向多用户的眼动跟踪计算架构,优化眼动跟踪数据的传输和管理.进一步地,探索眼动跟踪数据的可视化形式在协同交互环境下对用户视觉注意行为的影响,具体设计了圆点、散点、轨迹这3种可视化形式,并验证了圆点形式能够有效地提高多用户协同搜索任务的完成效率.在此基础上,设计与开发了基于眼动跟踪的代码协同审查系统,实现了代码审查过程中多用户眼动跟踪数据的同步记录、分发,以及基于实时注视点、代码行边框和背景灰度、代码行之间连线的可视化共享.用户实验结果表明,代码错误的平均搜索时间比没有眼动跟踪数据可视化分享时减少了20.1%,显著提高了协同工作效率,验证了该方法的有效性.     

基于XML的移动设备人机交互引擎

基于传统的移动设备领域人机交互界面的开发的现状以及特点设计了一种移动应用的开发模型。为了提高移动设备应用开发的效率和人机交互界面的质量,结合这种模型,提出了一种引擎设计方案。这种引擎(称为XmlSupervisor)采用面向服务的体系结构（SOA）的思想,通过将界面、逻辑代码和资源相分离的方案进行设计,可以支持利用可扩展标记语言(XML)的良好的扩展性、自描述性、跨平台性、树状存储结构等特点来开发的人机交互界面,为移动设备的人机交互界面的设计和开发提供了参考。     

改进CamShift算法的眼动跟踪方法

针对CamShift跟踪算法仅采用颜色特征,在存在颜色相近干扰目标、头部快速运动或者虹膜发生形变等情况易发生眼动跟踪不准确或失败等问题,提出一种基于改进CamShift算法的眼动跟踪方法。在CamShift算法中,计算边缘直方图分布,在颜色特征基础上融合边缘特征,同时通过分析饱和度分量抑制噪声影响,并利用基于边缘特征的自定义方法判断虹膜是否发生形变。当发生形变时,自动更新模板,根据历史运动轨迹预测虹膜中心。实验表明,该方法能有效改善眼动跟踪性能,且定位虹膜精确、错误率低、速度快,预测虹膜中心与实际虹膜中心相差极小,达到了准确性、鲁棒性和实时性的要求。     

融合眼动数据和文本信息的可视化阅读辅助

研究阅读过程中的视觉注意行为特征,基于眼动数据和文本主题进行阅读行为特征和文档结构的分析,设计了眼动热区图、圆环图、节点链接图、词云等可视化形式.在此基础上开发了面向阅读辅助的可视分析原型系统,该系统记录专家用户（如老师）的眼动数据,然后通过可视化形式分享给新手用户（如学生）.用户实验结果表明,实验组用户的阅读理解客观题和主观题得分平均值分别比对照组用户提高了31.8%和55.0%,阅读和答题总用时比对照组用户平均减少了9.7%,可以有效帮助读者提高阅读效率、快速抓住文章重点和更好地理解文章内容,具有一定的有效性和可行性.     

眼动跟踪研究进展与展望

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程, 被广泛应用于人机交互、智能驾驶、人因工程等. 由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因, 眼动跟踪的研究目前仍然是一个具有挑战性的热点问题. 针对眼动跟踪领域,首先概述眼动跟踪研究内容, 然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展, 综述目前眼动跟踪主要数据集、评价指标及研究成果, 接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用, 最后对眼动跟踪领域的未来发展趋势进行展望.     

视线追踪系统中眼睛跟踪方法研究

为解决视线追踪系统中红外图像瞳孔跟踪鲁棒性差的问题, 提出一种基于伪彩色图的粒子滤波瞳孔跟踪算法. 利用亮暗瞳现象, 提出三通道伪彩色图(Triple-channel pseudo-color map, TCPCM)的概念, 并将其引入瞳孔跟踪过程. TCPCM充分利用了各通道信息, 瞳孔区域的色彩明显与人脸其他部位不同, 提高了跟踪的稳定性与精确性. 采用了直方图相似性度量与几何相似性度量相结合的二次更新的瞳孔感知模型, 提高了粒子权重的可信性. 针对实时性要求, 引入快速特征提取步骤, 减少特征提取的时间, 提高特征提取的可靠性. 实验结果表明, 该算法在瞳孔目标检测效果、跟踪稳定性和运行时间方面都有良好的性能.     

眼动数据可视化综述

随着眼动跟踪技术在实际应用中的普及,大量眼动数据需要通过合理的可视化方式进行处理与分析,在这种背景下,眼动数据可视化在基础理论、方法和应用研究等方面得到了快速发展.文中总结了眼动数据的预处理与参数化方法,并在此基础上介绍了眼动数据可视化的基本框架和4种主要可视化方法:扫描路径法、热区图法、感兴趣区法和三维空间法;进而介绍了眼动数据可视化在用户界面可用性评估等方面的应用实例.最后对眼动数据可视化未来的研究趋势进行了展望.     

眼动跟踪系统中的检测装置

眼动跟踪技术被广泛的应用于工程心理学和人机交互等领域,本文从检测装置、原始数据、检测算法的角度对眼动跟踪技术进行了分类,并对系统各类检测装置进行了详细介绍。