一种新的基于瞳孔-角膜反射技术的视线追踪方法

针对现有单相机单光源视线追踪系统存在的几个问题:精度不高、头动受限以及标定复杂,提出了一种新的基于瞳孔-角膜反射(PCCR)技术的视线追踪方法.通过提出的瞳孔边缘滤波算法(RDPEF)和三通道伪彩色图(TCPCM)解决了近红外条件下瞳孔定位误差较大、瞳孔跟踪鲁棒性较差的问题,进而提高了视线特征提取的精度.通过提出的头部位置补偿方法以及个体差异转化模型,使二维映射模型允许使用者头部运动并且只需要单点标定.该方法提高了单相机视线追踪的精度和应用范围,为面向人机交互的视线追踪系统提供了有效的低成本解决方案.     

基于瞳孔角膜反射技术的视线估计方法

作为信息获取与人机交互的一种新型方式,视线跟踪技术已经成为计算机视觉领域的热门研究方向。视线跟踪的核心技术是视线估计。针对现有视线估计方法标定复杂、限制头部运动等问题,提出了一种改进的基于二维瞳孔角膜反射技术的视线估计方法。在单相机单光源条件下,通过建立瞳孔角膜反射模型、补偿个体差异误差、补偿头部运动误差等步骤实现单点标定视线估计。实验结果表明,用该算法估计视线,在一定范围内,头部移动不会带来精度的明显下降。     

一种新的单点标定视线估计方法

在单相机单光源条件下,针对现有视线估计方法标定过程复杂的问题,提出一种新的单点标定视线估计方法. 该方法预先建立屏幕中多个点的视线估计统计模型,进而通过插值估计用户在屏幕中的视点. 主要创新工作有:1） 提出一种基于统计的单点标定视线估计模型,降低了标定过程的复杂度;2） 采用增量学习方法进一步更新模型,提高模型对不同用户以及头部运动的适应性. 实验证明,本文方法在设备简单、允许头部运动的前提下,只需单点标定就能够取得较高精度.     

视线追踪系统眼部特征检测及视线方向计算方法研究

基于单视觉主动红外光源系统,提出了一种视线检测方法．在眼部特征检测阶段,采用投影法定位人脸;根据人脸对称性和五官分布的先验知识,确定瞳孔潜在区域;最后进行人眼特征的精确分割．在视线方向建模阶段,首先在头部静止的情况下采用非线性多项式建立从平面视线参数到视线落点的映射模型;然后采用广义回归神经网络对不同头部位置造成的视线偏差进行补偿,使非线性映射函数扩展到任何头部位置．实验结果及在交互式图形界面系统中的应用验证了该方法的有效性．     

视线追踪系统中特征参数提取方法研究

为了提取人眼的高精度亚像素特征参数,利用亮瞳现象,提出了一种基于多通道图像的高精度亚像素特征参数提取方法。该方法首先通过差分图像滤波获得瞳孔区域,进而检测瞳孔区域的边缘,并在眼睛区域附近基于灰度,搜索角膜反射区域; 然后求取其质心用于定位角膜反射区域中心,并对瞳孔边缘做滤波,以消除角膜反射对瞳孔边缘轮廓的影响,进而利用椭圆拟合来定位瞳孔中心;最后提取包括人眼特征和人脸位置的多个参数,另外,还建立了一个多特征参数提取的流程,为下一步的视线估计提供了参数依据。 实验结果及视线追踪系统最终的视线估计结果证明,该方法是有效的。     

单摄像机视线跟踪

提出一种能对环境光强变化、用户头部位置变化自动适应的视线跟踪方法，减少了视线跟踪系统对使用者的头部限制。改进了视线跟踪算法：依据直方图，给出了一种自适应阈值提取方法； 依据瞳孔边界点的灰度信息、梯度信息及瞳孔边界曲线的平滑信息综合判据，给出了一种提取瞳孔边界点的一维算法； 给出了一种随机化椭圆拟合算法； 讨论了去除眼皮、眼睫毛及光斑干扰的方法。实验结果验证了算法的有效性。     

视线追踪系统眼部特征检测及视线方向计算方法研究

基于单视觉主动红外光源系统,提出了一种视线检测方法．在眼部特征检测阶段,采用投影法定位人脸;根据人脸对称性和五官分布的先验知识,确定瞳孔潜在区域;最后进行人眼特征的精确分割．在视线方向建模阶段,首先在头部静止的情况下采用非线性多项式建立从平面视线参数到视线落点的映射模型;然后采用广义回归神经网络对不同头部位置造成的视线偏差进行补偿,使非线性映射函数扩展到任何头部位置．实验结果及在交互式图形界面系统中的应用验证了该方法的有效性．

     

基于表观的归一化坐标系分类视线估计方法

视线估计能够反映人的关注焦点,对理解人类的情感、兴趣等主观意识有重要作用。但目前用于视线估计的单目眼睛图像容易因头部姿态的变化而失真,导致视线估计的准确性下降。提出一种新型分类视线估计方法,利用三维人脸模型与单目相机的内在参数,通过人脸的眼睛与嘴巴中心的三维坐标形成头部姿态坐标系,从而合成相机坐标系与头部姿态坐标系,并建立归一化坐标系,实现相机坐标系的校正。复原并放大归一化得到的灰度眼部图像,建立基于表观的卷积神经网络模型分类方法以估计视线方向,并利用黄金分割法优化搜索,进一步降低误差。在MPIIGaze数据集上的实验结果表明,相比已公开的同类算法,该方法能降低约7.4%的平均角度误差。     

基于标记点检测的视线跟踪注视点估计

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向.针对该问题,提出一种基于标记点检测的注视点估计方法.该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中.实验结果表明,该方法简单易行,可以较好地估计出用户在...     

头部可自由运动的头戴式视线跟踪系统设计

为了实现头部自由运动下的屏幕凝视点准确估计,设计一套基于场景摄像机和屏幕四角红外灯的头戴式视线跟踪系统。利用投影空间的不变量cross-ratio将凝视点在参考屏幕上的位置转化为当前屏幕上的实际位置,并在场景摄像机坐标系下对头部转动造成的视觉误差进行补偿。实验结果表明,该方法可以将误差控制在一个较小的可接受的范围内,同时避免了复杂的多摄像机装置和立体匹配计算。     

基于特征的视线跟踪方法研究综述

针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述; 然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法, 从硬件系统配置、误差主要来源、头部运动影响、优缺点等多个方面重点分析了这两类视线跟踪方法, 对近五年现有的部分基于特征的视线跟踪方法进行了对比分析, 并对二维视线跟踪系统和三维视线跟踪系统中的几个关键问题进行了探讨; 此外, 介绍了视线跟踪技术在人机交互、医学、军事、智能交通等多个领域的应用; 最后对基于特征的视线跟踪方法的发展趋势和研究热点进行了总结与展望.     

Eye gaze tracking using corneal imaging and active illumination devices

This paper shows a novel eye gaze tracking (EGT) technique using the corneal imaging technique. Compared to the existing pupil center and pupil reflection techniques, our approach directly finds PoG in the reflected scene image at the human corneal surface. As a result, it does not suffer from the parallax issue and does not require per-setup system calibrations. To achieve this system, we develop following techniques: First, we use the idea of the gaze-reflection point (GRP), where light from the PoG in the scene reflects at the corneal surface into an eye image. Second, illuminating the whole scene or particular objects using coded structured light enables robust and accurate matching at the GRP to obtain the PoG in a scene image. For this purpose, we show two implementations: a special high-power IR LED-array projector and active LED markers. Experimental evaluation shows that the proposed scheme achieves considerable accuracy and successfully supports depth-varying environments as well as practical applications including observation in a conversation scene. We believe the proposed EGT technique has considerably large potential to solve major issues of current EGT systems, expands the application fields of the EGT and increases the usability of interactive systems.     

基于混合视线-脑机接口与共享控制的人-机器人交互系统

设计了一种基于混合视线-脑机接口与共享控制的人-机器人交互系统,以使得用户可通过视线和意念对机器人末端在2维空间进行连续的运动控制,并在避障和趋近目标的任务中获得机器智能的辅助.首先,按照用户运动意念的强度对机器人末端的运动速度大小进行等比例连续调节,以提高用户对机器人的控制感以及完成任务的参与性.然后,提出了机器人末端运动方向的一种共享控制策略,动态地融合基于视线追踪技术所得到的用户方向控制指令以及由机器人避障和趋近目标的行为设定所得到的机器人系统方向控制指令,自适应地调整机器人系统对用户的辅助力度,以减轻用户脑力负荷,提高任务完成成功率.最后,针对搭建的基于混合视线-脑机接口和共享控制的人-机器人交互平台,通过实验验证了所提系统的有效性.     

人机交互中的视点跟踪技术

首先介绍了视点跟踪技术的基本概念及其分类,然后对视点跟踪技术的现状和主要技术进行了详细的描述,最后给出了视点跟踪技术的应用前景.     

A Gaze‐enabled Graph Visualization to Improve Graph Reading Tasks

Performing typical network tasks such as node scanning and path tracing can be difficult in large and dense graphs. To alleviate this problem we use eye‐tracking as an interactive input to detect tasks that users intend to perform and then produce unobtrusive visual changes that support these tasks. First, we introduce a novel fovea based filtering that dims out edges with endpoints far removed from a user's view focus. Second, we highlight edges that are being traced at any given moment or have been the focus of recent attention. Third, we track recently viewed nodes and increase the saliency of their neighborhoods. All visual responses are unobtrusive and easily ignored to avoid unintentional distraction and to account for the imprecise and low‐resolution nature of eye‐tracking. We also introduce a novel gaze‐correction approach that relies on knowledge about the network layout to reduce eye‐tracking error. Finally, we present results from a controlled user study showing that our methods led to a statistically significant accuracy improvement in one of two network tasks and that our gaze‐correction algorithm enables more accurate eye‐tracking interaction.     

基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

Efficient Dense Stereo with Occlusions for New View-Synthesis by Four-State Dynamic Programming

A new algorithm is proposed for efficient stereo and novel view synthesis. Given the video streams acquired by two synchronized cameras the proposed algorithm synthesises images from a virtual camera in arbitrary position near the physical cameras. The new technique is based on an improved, dynamic-programming, stereo algorithm for efficient novel view generation. The two main contributions of this paper are: (i) a new four state matching graph for dense stereo dynamic programming, that supports accurate occlusion labelling; (ii) a compact geometric derivation for novel view synthesis by direct projection of the minimum cost surface. Furthermore, the paper presents an algorithm for the temporal maintenance of a background model to enhance the rendering of occlusions and reduce temporal artefacts (flicker); and a cost aggregation algorithm that acts directly in the three-dimensional matching cost space. The proposed algorithm has been designed to work with input images with large disparity range, a common practical situation. The enhanced occlusion handling capabilities of the new dynamic programming algorithm are evaluated against those of the most powerful state-of-the-art dynamic programming and graph-cut techniques. Four-state DP is also evaluated against the disparity-based Middlebury error metrics and its performance found to be amongst the best of the efficient algorithms. A number of examples demonstrate the robustness of four-state DP to artefacts in stereo video streams. This includes demonstrations of cyclopean view synthesis in extended conversational sequences, synthesis from a freely translating virtual camera and, finally, basic 3D scene editing.