眼动仪与视线跟踪技术综述

文章在回顾视线跟踪技术的研究历程基础上,定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理,比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况,对比了几种主要的眼动仪性能。最后,探讨了视线跟踪数据的处理软件和方法,并对视线跟踪技术的应用前景进行总结和展望。     

多用户眼动跟踪数据的可视化共享与协同交互

随着数字图像处理技术的发展,以及计算机支持的协同工作研究的深入,眼动跟踪开始应用于多用户协同交互.但是已有的眼动跟踪技术主要针对单个用户,多用户眼动跟踪计算架构不成熟、标定过程复杂,眼动跟踪数据的记录、传输以及可视化共享机制都有待深入研究.为此,建立了基于梯度优化的协同标定模型,简化多用户的眼动跟踪标定过程;然后提出面向多用户的眼动跟踪计算架构,优化眼动跟踪数据的传输和管理.进一步地,探索眼动跟踪数据的可视化形式在协同交互环境下对用户视觉注意行为的影响,具体设计了圆点、散点、轨迹这3种可视化形式,并验证了圆点形式能够有效地提高多用户协同搜索任务的完成效率.在此基础上,设计与开发了基于眼动跟踪的代码协同审查系统,实现了代码审查过程中多用户眼动跟踪数据的同步记录、分发,以及基于实时注视点、代码行边框和背景灰度、代码行之间连线的可视化共享.用户实验结果表明,代码错误的平均搜索时间比没有眼动跟踪数据可视化分享时减少了20.1%,显著提高了协同工作效率,验证了该方法的有效性.     

面向大屏幕目标选择的眼动跟踪与手势交互

眼动跟踪方法具有很强的视觉指向性,可以将其应用于面向大屏幕的目标选择,进而避免鼠标操作方式在空间上的远距离移动.然而,仅仅利用眼动跟踪进行选择操作,也会产生选择精度降低、容易产生误操作等问题.因此,为了实现大屏幕上快速、准确的目标选择,提出一种融合眼动跟踪与手势的多通道交互方法,即通过眼动跟踪选择目标,利用手势进行选择确认.在目标尺寸小、目标间距较小时,通过光标稳定和二次选择机制进一步对交互过程进行优化.用户测试结果表明,该方法可以在大屏幕上针对不同尺寸和间距的目标完成有效的选择操作,与仅使用眼动跟踪的目标选择方法相比,任务完成速度提升了16%,任务完成正确率提升了82.6%.此外,针对层级菜单的具体选择任务,该方法与仅使用眼动跟踪的方法相比,任务完成速度提升了13.6%,任务完成正确率提升了55.7%.此外,该方法总体性能接近传统的鼠标操作方式,进一步验证了该方法在实际应用中的有效性.     

眼动数据可视化综述

随着眼动跟踪技术在实际应用中的普及,大量眼动数据需要通过合理的可视化方式进行处理与分析,在这种背景下,眼动数据可视化在基础理论、方法和应用研究等方面得到了快速发展.文中总结了眼动数据的预处理与参数化方法,并在此基础上介绍了眼动数据可视化的基本框架和4种主要可视化方法:扫描路径法、热区图法、感兴趣区法和三维空间法;进而介绍了眼动数据可视化在用户界面可用性评估等方面的应用实例.最后对眼动数据可视化未来的研究趋势进行了展望.     

眼动跟踪研究进展与展望

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程, 被广泛应用于人机交互、智能驾驶、人因工程等. 由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因, 眼动跟踪的研究目前仍然是一个具有挑战性的热点问题. 针对眼动跟踪领域,首先概述眼动跟踪研究内容, 然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展, 综述目前眼动跟踪主要数据集、评价指标及研究成果, 接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用, 最后对眼动跟踪领域的未来发展趋势进行展望.     

眼动跟踪系统中的检测装置

眼动跟踪技术被广泛的应用于工程心理学和人机交互等领域，本文从检测装置、原始数据、检测算法的角度对眼动跟踪技术进行了分类，并对系统各类检测装置进行了详细介绍。     

应用最大熵马尔可夫模型标注阅读眼动序列

人在阅读过程中的眼球运动具有一定规律,阅读眼动模型有助于人们更好地理解和认知这些规律。针对现有阅读眼动模型建模方法复杂的问题,突破传统阅读眼动模型注视粒度处理和回视处理模式,提出了基于单词的阅读眼动注视粒度处理模式和基于熟练读者的阅读眼动回视处理模式,利用阅读眼动注视序列标注与自然语言序列标注的高度相似性,形成了阅读眼动注视序列标注方法,从而把复杂的阅读眼动建模过程转化成了简单的语言序列标注过程,并使用最大熵马尔可夫模型实现了所提出的方法。实验结果表明,所提出的方法可以较好地描述阅读眼动任务,并且较易用机器学习模型进行实现。     

头盔式眼动仪头动检测方法的研究与应用

头动检测一直是头盔式眼动仪在检测中有待研究的关键问题,我们利用现场摄像机摄取的图像帧与帧之间的相关性,采用模式识别与目标跟踪的模板匹配法,对头部的平面运动检测原理及方法进行了研究,实现了眼动测量过程中的头动补偿,有效地提高了眼动数据的准确性和可靠性。本文针对人机界面的特定环境提出了边缘匹配检测法,明显地提高了检测速度,并对这一方法作了进一步的探讨。     

用于移动设备人机交互的眼动跟踪方法

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对眼球红外图像进行滤波、二值化处理,进而基于瞳孔-角膜反射法,结合二次定位和改进的椭圆拟合方法检测瞳孔,设计缩放因子驱动的模板匹配法检测普洱钦斑;在此基础上,计算注视点坐标等眼动数据;最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统.实际用户测试结果表明,该系统舒适度适中,并具有较高精度和鲁棒性,从而验证了文中方法在移动式交互中的可行性和有效性.     

一种新的人眼视觉运动认知特性实验分析方法

视觉感知过程源于对象自身的大范围拓扑性质,而场景对象发生运动状态变化时,其所在空间的大范围拓扑关系也将随之改变。为探索大范围拓扑性质和运动性质同时改变时人眼视觉的认知优先特性,基于虚拟现实技术及眼动跟踪技术,通过构建虚拟驾驶及眼动轨迹分析实验平台,结合拓扑复杂度和空间拓扑关系概念分别探讨二维和三维空间中人眼视知觉对物体运动的认知特性。在此基础上,采用响应面分析方法设计场景中自变量因子的随机实验数值,通过可视化方法对比多组认知场景的无感反馈眼动监测结果。实验结果表明,在Tobii眼动仪采集的545个眼动数据中,发生在运动物体上的数据有516个,相比于物体自身属性的大范围拓扑性质变化,人眼视知觉过程更优先识别物体运动的大范围空间拓扑关系变化。该运动认知优先特性为可靠人工智能驾驶中的视觉注视预测技术提供了新的研究思路,同时验证了所提实验分析方法的有效性。     

阅读眼动追踪语料库的构建与应用研究综述

阅读文字时眼球的运动反映了人类的认知过程。阅读眼动数据是认知心理学、应用语言学、计算机科学等领域中重要的基础数据,而我国在阅读眼动研究的基础数据方面较欠缺。针对这一现状,首先介绍了阅读眼动追踪语料库产生的背景以及国内外的相关文献;然后从影响阅读眼动的低水平视觉因素和高水平视觉因素角度介绍了阅读眼动追踪语料库的内容及所使用的各项眼动指标,如单一注视时间、首次注视时间、凝视时间、总注视时间、回视出次数、回视入次数等,并分析了使用语料库研究法进行阅读眼动研究相比传统阅读眼动研究具有的3个优势;最后从语料库眼动指标变量、语料规模、语料内容、语料语种、被试规模、被试特征、采集设备等方面介绍了国外已经建成的较有影响力的若干阅读眼动追踪语料库,以供阅读眼动研究者参考。在眼动追踪语料库应用研究方面,对认知心理学、应用语言学和计算机科学等相关领域已开展的主要研究进行述评,重点介绍了在计算机科学的眼动可计算模型、自然语言处理、模式识别3个领域中基于阅读眼动追踪语料库开展的典型研究。在中文阅读眼动追踪语料库的构建与应用研究方面,介绍了我国相关研究的开展现状,分析了我国在眼动基础数据方面欠缺的原因,并从国家、科研机构、科研工作者3个层面提出了解决此问题的对策和建议。     

合成纹理图像的视觉相似性眼动分析

探索了当人眼视觉感知纹理图像相似性时纹理特征(整体特征和局部特征)对视觉注意过程及相似性结果选择的影响。采用PGPC纹理合成方法,分别控制纹理的整体特征和局部特征,合成具有相同整体特征和局部特征的纹理。实验分为3组纹理场景,每一组有3幅纹理图像(A,B和S),S为对比纹理图像;实验者带着“纹理A和纹理B,哪个与纹理S更相似”的视觉感知任务观察纹理场景;利用Tobii T60眼动仪记录实验过程中观察者的眼动,跟踪获取89位实验者的眼动数据(眼动数据度量指标包含感兴趣区域内注视点散度和不同感兴趣区域间的眼跳次数);通过Tobii studio导出眼动数据,并基于R软件进行了方差分析和配对T检验等统计分析。通过对3组纹理图像的注视轨迹图及热点图的分析,验证了纹理整体特征和局部特征对视觉感知过程中的注视模式和相似性结果的选择有影响。实验结果表明:1)对于全局特征与对比纹理图像一致的纹理,其眼动注视点分散,而对于局部特征与对比纹理图像一致的纹理,其眼动注视点集中。2)纹理组相似性的最终选择结果与纹理组内不同纹理图像间的视觉搜索行为有关。     

基于多目摄像机的鲁棒眼动跟踪技术研究

为改进单个远程传感器采集眼动数据时存在视场小、容易被遮挡物遮挡的缺点,研究了一种多目摄像机眼动跟踪技术,以更好地采集眼动数据。应用多个摄像机对人体头部姿态和眼球信息进行采集,通过分割视频帧提取瞳孔图像和计算被测用户头部姿态角度,将瞳孔图像放入卷积神经网络进行训练得到注视点坐标,并基于头部姿态信息计算每个摄像机的注视点权重,从而加权融合得到更精确的注视点信息。研究结果表明：在头部姿态角较大时,多目眼动追踪技术的精度比单目传感器的精度高30%~50%。该技术具有灵活性和通用性,在驾驶舱设计、用户用眼习惯评估和驾驶学员眼动绩效分析中具有重要的应用和推广价值。     

基于眼动记录与分析技术的测谎研究

为进一步提高测谎的准确度,加快促成测谎结论成为刑事诉讼中的证据,提出一种低成本的将眼睛变化线索用于测谎的方案。首先设计了一种低成本的眼动记录系统记录眼动信号,提出分段加权Hough变换算法跟踪虹膜,利用梯度积分投影函数检测眨眼,采用差分图像估计眼睛张开程度。然后建立了眼动轨迹、眨眼频率及眼睛张开程度等眼动特征与说谎的关系模型。实验取得的眼动特征检测精度证明采用低成本眼动记录系统基本可以满足测谎需求,测谎实验结果证明了本文方法用于测谎或辅助测谎的可行性。     

族系间眼动行为模式多样性研究

中国是一个多民族国家,不同民族由于遗传、地域和文化等因素形成了不同的风俗和思考方式。为了研究不同民族观察事物时的眼动行为模式,利用Tobii眼动仪采集不同民族在求解数独问题时眼动轨迹表达数据,将不同族系被试的表达数据压缩为16维数据向量来构建数据集;分析对比布依族、蒙古族、朝鲜族、侗族和汉族等5个民族眼动行为数据集的多样性,利用多种机器学习方法对得到的数据进行测试分析。实验结果表明,族系间眼动行为存在多样性,同时为进一步深入探索不同族系间眼动行为的多样性提供了依据。     

视线跟踪技术的图像质量主观数据库构建及其可视化

目的 视线跟踪技术是当前最新的无干扰地获得人类视觉注意力的生物测量方法。将视线跟踪方法的原理其应用于图像质量感知研究,建立了首个基于眼动的图像质量感知数据库XJTU_ETSS。方法 应用单刺激图像质量评价法,在Tobii TX300的眼动平台上对900幅原始和失真图像进行了49人的60 Hz眼动主观测试。对含眼动的失真图像进行了可视化分析,即利用注视图、热图和自动聚类感兴趣区域图分析注意力在失真图像上的分布特点。结果 针对XJTU_ETSS眼动数据特点,利用反映群体视觉注意力共性的热图可视化方法具体对数据库中一组原始图像和其对应的6种失真图像上的热图进行了比较和定性分析,直观地显了原始图像和不同种类失真图像上视觉注意力的分布特征。结论 通过实验结果可知,视线跟踪方法能十分直观地揭示人在主观图像感知过程中的特性,这对于今后建立基于人眼注意力模型的图像客观评价算法,以及更加深入地揭示人类视觉系统的感知机制都有着现实而重要的意义。     

在线学习环境中基于眼动特征情感识别研究

在e-Learning环境中,学习普遍存在“情感缺失”问题,该问题会导致学习效果和学习体验下降。在学习过程中及时识别学习者的情感状态是解决“情感缺失”的首要问题,情感识别技术在人机交互教学得到了广泛的应用,但仍然存在不少问题和挑战。随着眼动追踪技术的发展,将眼动信号引入情感识别成为研究的热点。针对当前国内外在e-Learning环境中基于眼动特征的相关研究进行综述,对相关研究中采用的眼动特征、机器学习方法以及涉及的学习过程进行分类、归纳及分析,归纳了五类学习过程研究中常用的眼动特征和识别算法。通过对应用在疲劳检测、健康医疗以及人机交互等相关领域中的眼动特征进行分析,对可借鉴至MOOC学习环境下情感识别的眼动特征进行汇总,并为下一步如何采用眼动特征在MOOC环境下进行情感识别研究提出建议。     

改进CamShift算法的眼动跟踪方法

针对CamShift跟踪算法仅采用颜色特征,在存在颜色相近干扰目标、头部快速运动或者虹膜发生形变等情况易发生眼动跟踪不准确或失败等问题,提出一种基于改进CamShift算法的眼动跟踪方法。在CamShift算法中,计算边缘直方图分布,在颜色特征基础上融合边缘特征,同时通过分析饱和度分量抑制噪声影响,并利用基于边缘特征的自定义方法判断虹膜是否发生形变。当发生形变时,自动更新模板,根据历史运动轨迹预测虹膜中心。实验表明,该方法能有效改善眼动跟踪性能,且定位虹膜精确、错误率低、速度快,预测虹膜中心与实际虹膜中心相差极小,达到了准确性、鲁棒性和实时性的要求。     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

基于人眼鼻孔特征的眼动跟踪方法

提出了一种基于人眼鼻孔特征跟踪眼动的算法。首先利用Adaboost的层叠式分类器定位人脸、眼睛和鼻子;然后采用梯度Hough变换检测圆的方法精确定位瞳孔虹膜;最后利用几何方法建立椭圆跟踪模型,实现瞳孔的快速跟踪。实验结果表明,该方法定位眼睛嘴角快速准确,同时对眼睛的跟踪具有较好的鲁棒性和实时性。