眼动仪与视线跟踪技术综述

文章在回顾视线跟踪技术的研究历程基础上,定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理,比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况,对比了几种主要的眼动仪性能。最后,探讨了视线跟踪数据的处理软件和方法,并对视线跟踪技术的应用前景进行总结和展望。     

基于眼动记录与分析技术的测谎研究

为进一步提高测谎的准确度,加快促成测谎结论成为刑事诉讼中的证据,提出一种低成本的将眼睛变化线索用于测谎的方案。首先设计了一种低成本的眼动记录系统记录眼动信号,提出分段加权Hough变换算法跟踪虹膜,利用梯度积分投影函数检测眨眼,采用差分图像估计眼睛张开程度。然后建立了眼动轨迹、眨眼频率及眼睛张开程度等眼动特征与说谎的关系模型。实验取得的眼动特征检测精度证明采用低成本眼动记录系统基本可以满足测谎需求,测谎实验结果证明了本文方法用于测谎或辅助测谎的可行性。     

眼动跟踪系统中的检测装置

眼动跟踪技术被广泛的应用于工程心理学和人机交互等领域,本文从检测装置、原始数据、检测算法的角度对眼动跟踪技术进行了分类,并对系统各类检测装置进行了详细介绍。     

面向大屏幕目标选择的眼动跟踪与手势交互

眼动跟踪方法具有很强的视觉指向性,可以将其应用于面向大屏幕的目标选择,进而避免鼠标操作方式在空间上的远距离移动.然而,仅仅利用眼动跟踪进行选择操作,也会产生选择精度降低、容易产生误操作等问题.因此,为了实现大屏幕上快速、准确的目标选择,提出一种融合眼动跟踪与手势的多通道交互方法,即通过眼动跟踪选择目标,利用手势进行选择确认.在目标尺寸小、目标间距较小时,通过光标稳定和二次选择机制进一步对交互过程进行优化.用户测试结果表明,该方法可以在大屏幕上针对不同尺寸和间距的目标完成有效的选择操作,与仅使用眼动跟踪的目标选择方法相比,任务完成速度提升了16%,任务完成正确率提升了82.6%.此外,针对层级菜单的具体选择任务,该方法与仅使用眼动跟踪的方法相比,任务完成速度提升了13.6%,任务完成正确率提升了55.7%.此外,该方法总体性能接近传统的鼠标操作方式,进一步验证了该方法在实际应用中的有效性.     

虚拟现实环境下基于眼动跟踪的导航需求预测与辅助

针对复杂虚拟现实场景中传统导航方法对用户支持不足和用户沉浸感较低等问题,文中提出了基于梯度提升迭代决策树的二分类模型,利用用户在虚拟现实环境中使用辅助导航时需要的眼动数据,来分析和预测用户在任务过程中是否需要辅助导航.根据用户的注视序列对该模型进行评估,得到用户需求判定方法的平均精确率和准确率分别为77.6％与77.2...     

桌面虚拟装配系统中眼动跟踪技术的应用

人机交互是虚拟装配的本质特性和技术瓶颈,本文分析了中虚拟装配中的眼动特征,提出了基于空间和情景的眼动模式;将眼动跟踪与直接操作相结合,研究了眼动跟踪技术在桌面虚拟装配系统中的应用。     

基于眼动跟踪的视频视觉感兴趣区域提取仿真

海量视频中具有显著特征的区域为感兴趣区域。由于视频图像中普遍存在较多单目标特征,轮廓边缘关联性较强,干扰视觉区域的提取。于是提出基于眼动跟踪的视频视觉感兴趣区域提取方法。提前转换原始视频颜色空间,降低色彩影响程度,检测原始视频边缘,利用形态学闭运算填补视频边缘断裂位置并去噪,通过旋转校正处理得到简单完整的视频图像,利用眼动跟踪处理技术提取纹理特征以及亮度显著图,实现视频视觉感兴趣区域提取。实验结果表明,研究方法能够精准提取出视频视觉感兴趣区域,峰值信噪比最高可达1.5dB,验证了该方法的应用精度和图像质量增益均较高。     

基于人眼鼻孔特征的眼动跟踪方法

提出了一种基于人眼鼻孔特征跟踪眼动的算法。首先利用Adaboost的层叠式分类器定位人脸、眼睛和鼻子;然后采用梯度Hough变换检测圆的方法精确定位瞳孔虹膜;最后利用几何方法建立椭圆跟踪模型,实现瞳孔的快速跟踪。实验结果表明,该方法定位眼睛嘴角快速准确,同时对眼睛的跟踪具有较好的鲁棒性和实时性。     

改进CamShift算法的眼动跟踪方法

针对CamShift跟踪算法仅采用颜色特征,在存在颜色相近干扰目标、头部快速运动或者虹膜发生形变等情况易发生眼动跟踪不准确或失败等问题,提出一种基于改进CamShift算法的眼动跟踪方法。在CamShift算法中,计算边缘直方图分布,在颜色特征基础上融合边缘特征,同时通过分析饱和度分量抑制噪声影响,并利用基于边缘特征的自定义方法判断虹膜是否发生形变。当发生形变时,自动更新模板,根据历史运动轨迹预测虹膜中心。实验表明,该方法能有效改善眼动跟踪性能,且定位虹膜精确、错误率低、速度快,预测虹膜中心与实际虹膜中心相差极小,达到了准确性、鲁棒性和实时性的要求。     

融合眼动数据和文本信息的可视化阅读辅助

研究阅读过程中的视觉注意行为特征,基于眼动数据和文本主题进行阅读行为特征和文档结构的分析,设计了眼动热区图、圆环图、节点链接图、词云等可视化形式.在此基础上开发了面向阅读辅助的可视分析原型系统,该系统记录专家用户（如老师）的眼动数据,然后通过可视化形式分享给新手用户（如学生）.用户实验结果表明,实验组用户的阅读理解客观题和主观题得分平均值分别比对照组用户提高了31.8%和55.0%,阅读和答题总用时比对照组用户平均减少了9.7%,可以有效帮助读者提高阅读效率、快速抓住文章重点和更好地理解文章内容,具有一定的有效性和可行性.     

基于标记点检测的视线跟踪注视点估计

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向.针对该问题,提出一种基于标记点检测的注视点估计方法.该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中.实验结果表明,该方法简单易行,可以较好地估计出用户在...     

基于眼睛特征跟踪的眼睛状态跟踪

眼睛状态的跟踪具有广泛的应用,如在面部表情分析和驾驶疲劳报警系统的应用方面,此时需要跟踪的不仅仅是人眼的位置,而且还需要返回眼睛的状态,以及眼睛模型的参数.基于眼睛特征跟踪的眼睛状态跟踪方法是先检测出表征眼睛状态的眼睛特征,然后通过跟踪这些特征达到跟踪眼睛状态的目的.在实验平台是PⅡ/500微机,256M内存,Windows 2000操作系统中处理速度是接近每秒7帧.对214图像序列进行了实验测试,跟踪精度达到97.6%.     

非接触动态实时视线跟踪技术

视线跟踪技术是智能眼动操作系统的关键技术,是实现先进眼动操作系统作为高级人机交互应用的基础和前提。较为完整地阐述了非接触式视线跟踪技术的发展历程,并详细介绍了现有的实现视线或注视点实时动态跟踪测量的非接触视线跟踪技术,包括2D视线跟踪方法、3D视线跟踪方法和基于3D模型的视线跟踪方法。通过分析和比较现有的三类方法的最新进展,介绍了视线跟踪技术目前面临的科学问题,提出了基于双目立体视觉的头戴式自由空间视线跟踪测量方法,指出了视线跟踪技术应满足基于眼动操作系统的智能人机交互方法向自由空间操作发展的需求,朝着高精度、易配置、更大视线活动范围的自由空间视线测量方向发展。     

Eye gaze tracking using corneal imaging and active illumination devices

This paper shows a novel eye gaze tracking (EGT) technique using the corneal imaging technique. Compared to the existing pupil center and pupil reflection techniques, our approach directly finds PoG in the reflected scene image at the human corneal surface. As a result, it does not suffer from the parallax issue and does not require per-setup system calibrations. To achieve this system, we develop following techniques: First, we use the idea of the gaze-reflection point (GRP), where light from the PoG in the scene reflects at the corneal surface into an eye image. Second, illuminating the whole scene or particular objects using coded structured light enables robust and accurate matching at the GRP to obtain the PoG in a scene image. For this purpose, we show two implementations: a special high-power IR LED-array projector and active LED markers. Experimental evaluation shows that the proposed scheme achieves considerable accuracy and successfully supports depth-varying environments as well as practical applications including observation in a conversation scene. We believe the proposed EGT technique has considerably large potential to solve major issues of current EGT systems, expands the application fields of the EGT and increases the usability of interactive systems.     

基于眨眼修正卡尔曼滤波的人眼跟踪研究

眼睛运动容易受到头部姿势变化、外界仿真干扰、实际光照条件等影响,已有眼部跟踪算法的准确率、鲁棒性较低。为此,提出一种基于眨眼修正卡尔曼滤波的人眼跟踪算法。采用垂直积分投影函数和水平积分投影函数得到人脸图像的眼睛区域,运用眼睛区域的颜色熵消除不相关因素,定位出瞳孔的位置,用卡尔曼滤波进行实时眼部跟踪,结合眨眼检测实时修正跟踪结果。实验结果表明,该算法准确率较高,实时性较好。     

Estimation of behavioral user state based on eye gaze and head pose—application in an e-learning environment

Most e-learning environments which utilize user feedback or profiles, collect such information based on questionnaires, resulting very often in incomplete answers, and sometimes deliberate misleading input. In this work, we present a mechanism which compiles feedback related to the behavioral state of the user (e.g. level of interest) in the context of reading an electronic document; this is achieved using a non-intrusive scheme, which uses a simple web camera to detect and track the head, eye and hand movements and provides an estimation of the level of interest and engagement with the use of a neuro-fuzzy network initialized from evidence from the idea of Theory of Mind and trained from expert-annotated data. The user does not need to interact with the proposed system, and can act as if she was not monitored at all. The proposed scheme is tested in an e-learning environment, in order to adapt the presentation of the content to the user profile and current behavioral state. Experiments show that the proposed system detects reading- and attention-related user states very effectively, in a testbed where children’s reading performance is tracked.

粒子过滤器在眼睛跟踪中的应用

提出了一种实时的眼睛跟踪算法，它能在各种照明条件和各种脸部姿势条件下很好地工作．与传统的基于瞳孔亮度的方法比较，此方法不仅克服了各种条件的限制，而且提高了跟踪的正确率．实验研究表明与目前存在的技术相比，该方法有很大地改进．     

Accurate and Robust Eye Center Localization via Fully Convolutional Networks

Eye center localization is one of the most crucial and basic requirements for some human-computer interaction applications such as eye gaze estimation and eye tracking. There is a large body of works on this topic in recent years, but the accuracy still needs to be improved due to challenges in appearance such as the high variability of shapes, lighting conditions, viewing angles and possible occlusions. To address these problems and limitations, we propose a novel approach in this paper for the eye center localization with a fully convolutional network (FCN), which is an end-to-end and pixels-to-pixels network and can locate the eye center accurately. The key idea is to apply the FCN from the object semantic segmentation task to the eye center localization task since the problem of eye center localization can be regarded as a special semantic segmentation problem. We adapt contemporary FCN into a shallow structure with a large kernel convolutional block and transfer their performance from semantic segmentation to the eye center localization task by fine-tuning. Extensive experiments show that the proposed method outperforms the state-of-the-art methods in both accuracy and reliability of eye center localization. The proposed method has achieved a large performance improvement on the most challenging database and it thus provides a promising solution to some challenging applications.      

基于特征的视线跟踪方法研究综述

针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述; 然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法, 从硬件系统配置、误差主要来源、头部运动影响、优缺点等多个方面重点分析了这两类视线跟踪方法, 对近五年现有的部分基于特征的视线跟踪方法进行了对比分析, 并对二维视线跟踪系统和三维视线跟踪系统中的几个关键问题进行了探讨; 此外, 介绍了视线跟踪技术在人机交互、医学、军事、智能交通等多个领域的应用; 最后对基于特征的视线跟踪方法的发展趋势和研究热点进行了总结与展望.