基于瞳孔角膜反射技术的视线估计方法

作为信息获取与人机交互的一种新型方式,视线跟踪技术已经成为计算机视觉领域的热门研究方向。视线跟踪的核心技术是视线估计。针对现有视线估计方法标定复杂、限制头部运动等问题,提出了一种改进的基于二维瞳孔角膜反射技术的视线估计方法。在单相机单光源条件下,通过建立瞳孔角膜反射模型、补偿个体差异误差、补偿头部运动误差等步骤实现单点标定视线估计。实验结果表明,用该算法估计视线,在一定范围内,头部移动不会带来精度的明显下降。     

视线追踪系统中注视点估计方法研究

在回顾视线追踪技术发展历程的基础上,对该技术的研究方向和几种主要的视线跟踪方法进行了简单阐述。重点介绍了基于瞳孔-角膜反射法的视线追踪技术的原理及其硬件组成,尤其对现有视线跟踪系统中比较成熟的注视点估计算法进行了归纳总结和原理剖析。对二维和三维的注视点估计算法的精度和用户自由度进行了进一步的横向比较。最后指出了视线追踪技术存在的缺陷,并对其在人机交互、智能机器、虚拟现实等领域的应用前景进行了展望。     

基于图像处理技术的瞳孔和角膜反射中心提取算法

为了提高瞳孔中心的实时提取精度和抗干扰能力,利用基于瞳孔-角膜跟踪法原理和图像处理的眼动跟踪技术,实现瞳孔和角膜反射中心的精确提取.首先在红外光源条件下,用摄像机捕获人眼图像,通过图像自适应二值化阈值确定图像处理区域,以减小处理时间;其次,利用高低2次二值化阈值提取角膜反射中心;然后求取自适应最佳阈值确定瞳孔位置和大小;最后用梯度法提取瞳孔轮廓特征点,并用椭圆拟合瞳孔的方法确定瞳孔中心.实验结果表明,该算法在保证瞳孔和角膜反射中心提取的准确性和稳定性的同时,能满足实时处理要求.     

一种新的基于瞳孔-角膜反射技术的视线追踪方法

针对现有单相机单光源视线追踪系统存在的几个问题:精度不高、头动受限以及标定复杂,提出了一种新的基于瞳孔-角膜反射(PCCR)技术的视线追踪方法.通过提出的瞳孔边缘滤波算法(RDPEF)和三通道伪彩色图(TCPCM)解决了近红外条件下瞳孔定位误差较大、瞳孔跟踪鲁棒性较差的问题,进而提高了视线特征提取的精度.通过提出的头部位置补偿方法以及个体差异转化模型,使二维映射模型允许使用者头部运动并且只需要单点标定.该方法提高了单相机视线追踪的精度和应用范围,为面向人机交互的视线追踪系统提供了有效的低成本解决方案.     

视线追踪系统中特征参数提取方法研究

为了提取人眼的高精度亚像素特征参数,利用亮瞳现象,提出了一种基于多通道图像的高精度亚像素特征参数提取方法。该方法首先通过差分图像滤波获得瞳孔区域,进而检测瞳孔区域的边缘,并在眼睛区域附近基于灰度,搜索角膜反射区域; 然后求取其质心用于定位角膜反射区域中心,并对瞳孔边缘做滤波,以消除角膜反射对瞳孔边缘轮廓的影响,进而利用椭圆拟合来定位瞳孔中心;最后提取包括人眼特征和人脸位置的多个参数,另外,还建立了一个多特征参数提取的流程,为下一步的视线估计提供了参数依据。 实验结果及视线追踪系统最终的视线估计结果证明,该方法是有效的。     

视线追踪系统中视线估计方法研究

文中提出一种基于瞳孔—角膜反射(PCCR)的视线估计方法(GEMHSSO).针对现有PCCR存在的主要问题:限制使用者头部运动和个体标定问题,提出了一种单相机单光源条件下头部位置的补偿方法,实现了头部位置变化对瞳孔角膜向量影响的解析补偿,并建立一种个体差异的转化模型,进而简化标定过程为单点标定.以此为基础形成一种新的视线估计方法,本方法使精确视线估计的最小硬件要求降低到单相机(未标定)单光源,既不需要繁杂的系统标定,又实现了自然头动视线估计,并且简化用户标定为单点标定.该方法的各个环节都满足实时性要求,为面向人机交互的视线追踪系统提供了有效的解决方案.     

非接触动态实时视线跟踪技术

视线跟踪技术是智能眼动操作系统的关键技术,是实现先进眼动操作系统作为高级人机交互应用的基础和前提。较为完整地阐述了非接触式视线跟踪技术的发展历程,并详细介绍了现有的实现视线或注视点实时动态跟踪测量的非接触视线跟踪技术,包括2D视线跟踪方法、3D视线跟踪方法和基于3D模型的视线跟踪方法。通过分析和比较现有的三类方法的最新进展,介绍了视线跟踪技术目前面临的科学问题,提出了基于双目立体视觉的头戴式自由空间视线跟踪测量方法,指出了视线跟踪技术应满足基于眼动操作系统的智能人机交互方法向自由空间操作发展的需求,朝着高精度、易配置、更大视线活动范围的自由空间视线测量方向发展。     

眼动跟踪研究进展与展望

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程, 被广泛应用于人机交互、智能驾驶、人因工程等. 由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因, 眼动跟踪的研究目前仍然是一个具有挑战性的热点问题. 针对眼动跟踪领域,首先概述眼动跟踪研究内容, 然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展, 综述目前眼动跟踪主要数据集、评价指标及研究成果, 接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用, 最后对眼动跟踪领域的未来发展趋势进行展望.     

基于特征的视线跟踪方法研究综述

针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述; 然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法, 从硬件系统配置、误差主要来源、头部运动影响、优缺点等多个方面重点分析了这两类视线跟踪方法, 对近五年现有的部分基于特征的视线跟踪方法进行了对比分析, 并对二维视线跟踪系统和三维视线跟踪系统中的几个关键问题进行了探讨; 此外, 介绍了视线跟踪技术在人机交互、医学、军事、智能交通等多个领域的应用; 最后对基于特征的视线跟踪方法的发展趋势和研究热点进行了总结与展望.     

面向多设备交互的眼动跟踪方法

当前,越来越多的人机交互应用需要依靠多个设备共同完成,传统针对单个设备的眼动跟踪方法已很难适应多设备交互的需求.为此,提出一种面向多设备交互的眼动跟踪方法.针对用户眼球运动幅度显著变大给图像识别带来的影响,采用待选瞳孔区域和瞳孔中心识别相结合的方法识别瞳孔;同时对普洱钦斑位置进行预测,插补识别过程中丢失的普洱钦斑;在此基础上,建立瞳孔-普洱钦斑反射向量.另一方面,利用边缘检测方法识别设备屏幕,并通过建立不同设备屏幕的顶点位置列表,比较屏幕形状和面积以区分不同设备;再根据瞳孔-普洱钦斑反射向量进行眼动注视点坐标拟合计算,并结合头部运动误差补偿方法提高多设备之间眼动注视点坐标的计算精度.最后设计开发了头戴式眼动跟踪系统Multi Gaze,用户测试结果表明,文中方法在多设备交互环境下能有效地提高注视点计算精度.     

基于双眼同步运动特征约束的Kalman瞳孔跟踪算法

针对注视点研究中,红外光照明下双眼瞳孔运动的定位跟踪存在误差的问题,以双眼实时图像为研究对象,提出一种基于双眼同步运动特征约束的瞳孔跟踪算法.根据人类双眼在注视过程中的同步运动特征,把双眼瞳孔间距矢量作为隐式参数进行估计,简化包含左右眼位置、速度和双眼瞳孔间距的模型为统一的双眼同步跟踪模型,运用Kalman滤波器实现了运动特征估计和状态跟踪.实验采用自制的头戴式注视点传感装置进行眼部图像的采集.实验表明,该算法跟踪精度高,抗干扰能力强.相较于传统的以左右瞳孔位置与速度以及左右眼相对位置为状态量的算法,本文算法在位置跟踪和速度跟踪的鲁棒性上有明显改善,算法计算量也明显减少.另外,经过本文算法处理后的注视点位置估计精度大大提高,为注视点在人机交互领域中的进一步应用奠定了基础.     

Hybrid regression and isophote curvature for accurate eye center localization

Multimedia Tools and Applications - The eye center localization is a crucial requirement for various human-computer interaction applications such as eye gaze estimation and eye tracking. However,...     

Pupil localization algorithm combining convex area voting and model constraint

Locating the center of the eyes plays a significant role in many computer vision applications and research, such as face alignment, face recognition, human-computer interaction, control devices for disabled people, user attention and gaze estimation. The disturbances such as occlusions by eyelashes or eyelids, uneven spots and spectacle frames of glasses affect the accuracy and stability of eye center location. This paper presents a hybrid eye center locating methodology for infrared eye images. The pupil edge points are extracted by Starburst algorithm, and when we get the position and the gradient of the edge points, the approximate pupil boundary is determined by a convex region voting methods. After that, the boundary edge points are iteratively optimized by fitting an ellipses modeling constraint. Finally, the pupil is located correctly. Experiment shows that this algorithm has performance advantages compared with some state of the art approaches in pupil localization accuracy, iteration times and their performance. This algorithm combining convex area voting and model constraint has strong robustness, high accuracy and speed in real environments with occlusions and distortion pupil.     

轮廓初始点检测对眼睛虹膜区域反射光的去除

针对传统人眼反射光模型单一的缺陷,提出了一种自适应的对不规则形状人眼反射光的检测并去除算法。对含有人眼反射光区域,应用区域生长算法对人眼图像进行分割,并利用垂直边缘检测算子提取虹膜左右轮廓边界,拟合虹膜轮廓,对虹膜所在轮廓区域,采用提出的反射光轮廓初始点检测算法,反射光区域判定算法,对其轮廓的位置进行自动定位并提取,利用虹膜及瞳孔的纹理信息对人眼反射光覆盖区域进行修补。通过对不同人眼图像进行验证,结果表明该方法对检测不同噪声条件下的虹膜反射光具有鲁棒性,并且能够更加快速有效地对虹膜反射光进行去除。     

In the Eye of the Beholder: A Survey of Models for Eyes and Gaze

Despite active research and significant progress in the last 30 years, eye detection and tracking remains challenging due to the individuality of eyes, occlusion, variability in scale, location, and light conditions. Data on eye location and details of eye movements have numerous applications and are essential in face detection, biometric identification, and particular human-computer interaction tasks. This paper reviews current progress and state of the art in video-based eye detection and tracking in order to identify promising techniques as well as issues to be further addressed. We present a detailed review of recent eye models and techniques for eye detection and tracking. We also survey methods for gaze estimation and compare them based on their geometric properties and reported accuracies. This review shows that, despite their apparent simplicity, the development of a general eye detection technique involves addressing many challenges, requires further theoretical developments, and is consequently of interest to many other domains problems in computer vision and beyond.     

基于改进型最大类间方差法的瞳孔定位方法

为了提高人机交互中瞳孔定位的精确性与快速性,提出一种基于改进型最大类间方差法的瞳孔定位方法。对图像进行基于光线补偿和中值滤波的预处理操作,进而根据直方图统计出图像中未出现的像素灰度值,计算余下像素的最大类间方差,求取二值化图像的最佳阈值,采用椭圆拟合方法确定瞳孔中心及半径。实验结果证明,该方法准确快速,为视线跟踪奠定必要的基础。     

瞳孔亚像素边缘检测与中心定位

为提高视线跟踪系统的分辨率和精确度,提出了一种亚像素精度的边缘检测与中心定位算法。利用设计的一维边缘检测算子对瞳孔像素级边缘点进行提取,然后利用边缘点小邻域内梯度方向上图像信息,进行亚像素边缘位置检测,最后经椭圆拟合确定瞳孔中心的精确位置及瞳孔形状参数。仿真实验验证了算法的有效性,提出的算法已被成功应用于实时视线跟踪系统中。     

Accurate and Robust Eye Center Localization via Fully Convolutional Networks

Eye center localization is one of the most crucial and basic requirements for some human-computer interaction applications such as eye gaze estimation and eye tracking. There is a large body of works on this topic in recent years, but the accuracy still needs to be improved due to challenges in appearance such as the high variability of shapes, lighting conditions, viewing angles and possible occlusions. To address these problems and limitations, we propose a novel approach in this paper for the eye center localization with a fully convolutional network (FCN), which is an end-to-end and pixels-to-pixels network and can locate the eye center accurately. The key idea is to apply the FCN from the object semantic segmentation task to the eye center localization task since the problem of eye center localization can be regarded as a special semantic segmentation problem. We adapt contemporary FCN into a shallow structure with a large kernel convolutional block and transfer their performance from semantic segmentation to the eye center localization task by fine-tuning. Extensive experiments show that the proposed method outperforms the state-of-the-art methods in both accuracy and reliability of eye center localization. The proposed method has achieved a large performance improvement on the most challenging database and it thus provides a promising solution to some challenging applications.