合成纹理图像的视觉相似性眼动分析

探索了当人眼视觉感知纹理图像相似性时纹理特征(整体特征和局部特征)对视觉注意过程及相似性结果选择的影响。采用PGPC纹理合成方法,分别控制纹理的整体特征和局部特征,合成具有相同整体特征和局部特征的纹理。实验分为3组纹理场景,每一组有3幅纹理图像(A,B和S),S为对比纹理图像;实验者带着“纹理A和纹理B,哪个与纹理S更相似”的视觉感知任务观察纹理场景;利用Tobii T60眼动仪记录实验过程中观察者的眼动,跟踪获取89位实验者的眼动数据(眼动数据度量指标包含感兴趣区域内注视点散度和不同感兴趣区域间的眼跳次数);通过Tobii studio导出眼动数据,并基于R软件进行了方差分析和配对T检验等统计分析。通过对3组纹理图像的注视轨迹图及热点图的分析,验证了纹理整体特征和局部特征对视觉感知过程中的注视模式和相似性结果的选择有影响。实验结果表明:1)对于全局特征与对比纹理图像一致的纹理,其眼动注视点分散,而对于局部特征与对比纹理图像一致的纹理,其眼动注视点集中。2)纹理组相似性的最终选择结果与纹理组内不同纹理图像间的视觉搜索行为有关。     

阅读眼动追踪语料库的构建与应用研究综述

阅读文字时眼球的运动反映了人类的认知过程。阅读眼动数据是认知心理学、应用语言学、计算机科学等领域中重要的基础数据,而我国在阅读眼动研究的基础数据方面较欠缺。针对这一现状,首先介绍了阅读眼动追踪语料库产生的背景以及国内外的相关文献;然后从影响阅读眼动的低水平视觉因素和高水平视觉因素角度介绍了阅读眼动追踪语料库的内容及所使用的各项眼动指标,如单一注视时间、首次注视时间、凝视时间、总注视时间、回视出次数、回视入次数等,并分析了使用语料库研究法进行阅读眼动研究相比传统阅读眼动研究具有的3个优势;最后从语料库眼动指标变量、语料规模、语料内容、语料语种、被试规模、被试特征、采集设备等方面介绍了国外已经建成的较有影响力的若干阅读眼动追踪语料库,以供阅读眼动研究者参考。在眼动追踪语料库应用研究方面,对认知心理学、应用语言学和计算机科学等相关领域已开展的主要研究进行述评,重点介绍了在计算机科学的眼动可计算模型、自然语言处理、模式识别3个领域中基于阅读眼动追踪语料库开展的典型研究。在中文阅读眼动追踪语料库的构建与应用研究方面,介绍了我国相关研究的开展现状,分析了我国在眼动基础数据方面欠缺的原因,并从国家、科研机构、科研工作者3个层面提出了解决此问题的对策和建议。     

基于SVM的眼动轨迹解读思维状态的研究

从人们的眼动轨迹来解读人的思维状态已成为应用心理学的研究热点。以四方趣题为研究材料,通过Tobii眼动仪记录被试解题时的眼动轨迹,以眼动轨迹数据中各个AOI的注视持续时间和回视等综合指标的加权值作为特征值训练SVM分类器。经过三种不同的分类任务的实验验证,SVM分类的准确率很高,泛化能力很强,可以作为眼动轨迹分析的分类方法,从而可根据眼动轨迹解读被试解题时的不同策略。     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

融合眼动数据和文本信息的可视化阅读辅助

研究阅读过程中的视觉注意行为特征,基于眼动数据和文本主题进行阅读行为特征和文档结构的分析,设计了眼动热区图、圆环图、节点链接图、词云等可视化形式.在此基础上开发了面向阅读辅助的可视分析原型系统,该系统记录专家用户（如老师）的眼动数据,然后通过可视化形式分享给新手用户（如学生）.用户实验结果表明,实验组用户的阅读理解客观题和主观题得分平均值分别比对照组用户提高了31.8%和55.0%,阅读和答题总用时比对照组用户平均减少了9.7%,可以有效帮助读者提高阅读效率、快速抓住文章重点和更好地理解文章内容,具有一定的有效性和可行性.     

基于人类视觉皮层双通道模型的驾驶员眼动行为识别

驾驶员的危险行为会增加交通事故的发生率,目前对驾驶员行为的研究中大多通过面部识别等方法对异常行为如疲劳驾驶、接电话等进行识别.这种方法仅客观地对驾驶员行为进行分类,而忽略了他们在驾驶过程中的主观心理.眼动仪是记录和分析驾驶员眼动数据的有效工具,可以清晰地了解驾驶员的想法并总结其视觉认知模式.因为目前还没有针对驾驶员眼动...     

眼动跟踪研究进展与展望

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程, 被广泛应用于人机交互、智能驾驶、人因工程等. 由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因, 眼动跟踪的研究目前仍然是一个具有挑战性的热点问题. 针对眼动跟踪领域,首先概述眼动跟踪研究内容, 然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展, 综述目前眼动跟踪主要数据集、评价指标及研究成果, 接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用, 最后对眼动跟踪领域的未来发展趋势进行展望.     

眼动数据可视化综述

随着眼动跟踪技术在实际应用中的普及,大量眼动数据需要通过合理的可视化方式进行处理与分析,在这种背景下,眼动数据可视化在基础理论、方法和应用研究等方面得到了快速发展.文中总结了眼动数据的预处理与参数化方法,并在此基础上介绍了眼动数据可视化的基本框架和4种主要可视化方法:扫描路径法、热区图法、感兴趣区法和三维空间法;进而介绍了眼动数据可视化在用户界面可用性评估等方面的应用实例.最后对眼动数据可视化未来的研究趋势进行了展望.     

应用最大熵马尔可夫模型标注阅读眼动序列

人在阅读过程中的眼球运动具有一定规律,阅读眼动模型有助于人们更好地理解和认知这些规律。针对现有阅读眼动模型建模方法复杂的问题,突破传统阅读眼动模型注视粒度处理和回视处理模式,提出了基于单词的阅读眼动注视粒度处理模式和基于熟练读者的阅读眼动回视处理模式,利用阅读眼动注视序列标注与自然语言序列标注的高度相似性,形成了阅读眼动注视序列标注方法,从而把复杂的阅读眼动建模过程转化成了简单的语言序列标注过程,并使用最大熵马尔可夫模型实现了所提出的方法。实验结果表明,所提出的方法可以较好地描述阅读眼动任务,并且较易用机器学习模型进行实现。     

基于ROC曲线的镜片舒适度眼动指标研究

基于眼动仪检测到的受试者眼动数据,提出一项新的眼动指标——眼睑间距变动百分比,并对比传统的眼跳次数、瞳孔直径等眼动指标,经过显著性和相关性分析后,最后利用受试者特征曲线（Receiver operating characteristic,ROC）曲线评价每个眼动指标对镜片舒适度的判别性能。实验结果表明,本文提出的眼睑间距变动百分比反映镜片舒适度的性能最好,瞳孔直径次之,眼跳次数和平均注视时长相仿。本实验结果证明可以通过检测患者的眼睑间距变动百分比,来准确快速地判断镜片的舒适程度。这项研究成果能帮助相关从业者从更加客观的角度评价镜片的舒适程度,也为中国当前日益严峻的近视防控形势提供了一定的技术理论帮助。     

改进DBA算法的眼动模式分析

随着眼动追踪技术的进步和设备成本的降低,眼动追踪技术已广泛应用于智能教育领域,分析眼动数据以评估学习状态成为智能教育中一个十分重要的环节。眼动扫描路径可以直接或间接地反映思维模式及心理状态的变化,通过分析扫描路径探索学习者眼动行为的共性和差异性,为改善视觉内容和给出指导性意见提供重要参考。首先研究在同一任务情况下学习者扫描路径的时间序列表示和聚类,通过聚类结果评估专注、走神及信息迷航等三种学习状态。进而对重心平均动态时间规整（DTW?barycenter averaging,DBA）算法进行改进,并用于提取群体眼动模式,结合动态时间规整（dynamic time warping,DTW）算法计算扫描路径的相似度和确定聚类种子,采用距离密度聚类（distance density clustering,DDC）算法进行聚类。实验表明,基于时间序列的眼动模式挖掘能够识别群体观看行为。而聚类揭示了不同的阅读策略,并提供了评估学习状态的能力。     

眼动仪与视线跟踪技术综述

文章在回顾视线跟踪技术的研究历程基础上,定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理,比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况,对比了几种主要的眼动仪性能。最后,探讨了视线跟踪数据的处理软件和方法,并对视线跟踪技术的应用前景进行总结和展望。     

视觉注意模型在显著图生成中的适用性评估

针对Itti-Koch、Stentiford、光谱剩余假说和Hu-Rajan-Chia 4种视觉注意模型适用范围的问题,通过4种模型生成的显著图,结合眼动实验分别计算显著图间的相似度,由此对4种模型的适用性进行评估。实验结果表明,4种视觉注意模型对包含不同特征和语义的图像各有侧重,通过眼动数据得到显著图的相似度不低于0.7。     

基于用户自定义兴趣区的飞行员眼动数据可视分析方法

针对传统基于兴趣区的可视化方法在分析飞行员眼动数据过程中无法关注细节的问题,提出了一种基于用户自定义兴趣区的眼动数据可视分析方法。首先,根据具体的分析任务,引入对任务背景图像的自我划分和定义;然后,在此基础上,结合多种辅助视图和交互手段,设计并实现了面向飞行员培训的眼动数据可视分析系统,帮助分析人员分析不同的飞行员之间的眼动差异,最后通过案例分析,证明了可视分析方法的有效性和分析系统的实用性。实验结果表明,较传统方法来说,所提方法增加了分析人员在分析过程中的主动性,在整体和局部方面,支持分析人员对任务背景进行细节的探索,增加了分析人员分析数据的多角度性,让分析人员能够结合整体发现飞行学员在训练过程中认知困难的部分,进而制定更有针对性、更有效的训练课程。     

Effect of disparity and viewing ambient illumination on stereoscopic viewing: An eye movement approach

Researchers have found that factors related to viewing content and viewing environment could influence viewers' stereoscopic viewing experiences. In this paper, the effect of both disparity and viewing ambient illumination condition on stereoscopic viewing was investigated by using an eye movement approach. The eye movement responses to random dot stereograms (RDS) stimuli in stereoscopic viewing were studied by performing a fusion range measurement experiment involving a judgment task. The fusion ranges under two ambient illumination conditions, eye movement responses to RDS stimuli and effects of disparity on eye movement parameters, were analyzed, respectively. The experimental results showed that fusion range under two ambient illumination conditions were different, and changes of eye movement parameters were different among various disparities when ambient illumination conditions varied. As a result, in order to improve viewers' viewing experiences when viewing different 3D contents, the arrangement of viewing ambient illumination conditions and the selection of disparity should be appropriately considered. The findings in this paper provide guidelines to reasonably arrange the viewing ambient illumination condition and efficiently produce healthy disparity in stereoscopic viewing.     

使用人眼几何特征的视线追踪方法

目的 视线追踪是人机交互的辅助系统,针对传统的虹膜定位方法误判率高且耗时较长的问题,本文提出了一种基于人眼几何特征的视线追踪方法,以提高在2维环境下视线追踪的准确率。方法 首先通过人脸定位算法定位人脸位置,使用人脸特征点检测的特征点定位眼角点位置,通过眼角点计算出人眼的位置。直接使用虹膜中心定位算法的耗时较长,为了使虹膜中心定位的速度加快,先利用虹膜图片建立虹膜模板,然后利用虹膜模板检测出虹膜区域的位置,通过虹膜中心精定位算法定位虹膜中心的位置,最后提取出眼角点、虹膜中心点等信息,对点中包含的角度信息、距离信息进行提取,组合成眼动向量特征。使用神经网络模型进行分类,建立注视点映射关系,实现视线的追踪。通过图像的预处理对图像进行增强,之后提取到了相对的虹膜中心。提取到需要的特征点,建立相对稳定的几何特征代表眼动特征。结果 在普通的实验光照环境中,头部姿态固定的情况下,识别率最高达到98.9%,平均识别率达到95.74%。而当头部姿态在限制区域内发生变化时,仍能保持较高的识别率,平均识别率达到了90%以上。通过实验分析发现,在头部变化的限制区域内,本文方法具有良好的鲁棒性。结论 本文提出使用模板匹配与虹膜精定位相结合的方法来快速定位虹膜中心,利用神经网络来对视线落点进行映射,计算视线落点区域,实验证明本文方法具有较高的精度。