基于神经网络的学习状态检测

对在线学习者注意力状态检测的方法大多基于眼睛闭合频率、头部偏转等特征,此类方法能够应对大多数情况,但针对学习者正视屏幕且视线落点处于屏幕上时出现的发呆、分神状态无法作出检测。针对此问题,提出了一种基于RNN的眼动分析算法RNN-EMA(RNN-EyeMovementAnalysis),该算法通过对序列眼动向量分析,预测学生学习行为,完成当前学习状态检测。实验表明,RNN-EMA算法能够对学习状态作出有效检测,且对比同类方法效果有所提升。     

视觉注意模型在显著图生成中的适用性评估

针对Itti-Koch、Stentiford、光谱剩余假说和Hu-Rajan-Chia 4种视觉注意模型适用范围的问题,通过4种模型生成的显著图,结合眼动实验分别计算显著图间的相似度,由此对4种模型的适用性进行评估。实验结果表明,4种视觉注意模型对包含不同特征和语义的图像各有侧重,通过眼动数据得到显著图的相似度不低于0.7。     

眼动仪与视线跟踪技术综述

文章在回顾视线跟踪技术的研究历程基础上,定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理,比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况,对比了几种主要的眼动仪性能。最后,探讨了视线跟踪数据的处理软件和方法,并对视线跟踪技术的应用前景进行总结和展望。     

The impact of alerting designs on air traffic controller’s eye movement patterns and situation awareness

Abstract

This research investigated controller’ situation awareness by comparing COOPANS’s acoustic alerts with newly designed semantic alerts. The results demonstrate that ATCOs’ visual scan patterns had significant differences between acoustic and semantic designs. ATCOs established different eye movement patterns on fixations number, fixation duration and saccade velocity. Effective decision support systems require human-centered design with effective stimuli to direct ATCO’s attention to critical events. It is necessary to provide ATCOs with specific alerting information to reflect the nature of the critical situation in order to minimise the side effects of startle and inattentional deafness. Consequently, the design of a semantic alert can significantly reduce ATCOs’ response time, therefore providing valuable extra time in a time-limited situation to formulate and execute resolution strategies in critical air safety events. The findings of this research indicate that the context-specified design of semantic alerts could improve ATCO’s situational awareness and significantly reduce response time in the event of Short Term Conflict Alert (STCA) activation which alerts to two aircraft having less than the required lateral or vertical separation.

Practitioner Summary: Eye movements are closely linked with visual attention and can be analysed to explore shifting attention whilst performing monitoring tasks. This research has found that context-specific designed semantic alerts facilitated improved ATCO cognitive processing by integrating visual and auditory resources. Semantic designs have been demonstrated to be superior to acoustic design by directing the operator’s attention more quickly to critical situations.Abbreviations: APW: area proximity warning; ASRS: aviation safety reporting system; ATC: air traffic control; ATCO: air traffic controller; ATM: air traffic management; COOPANS: cooperation between air navigation service providers; HCI: human-computer interaction; IAA: irish aviation authority; MSAW: minimum safe altitude warning; MTCD: medium-term conflict detection; SA: situation awareness; STCA: short term conflict alert; TP: trajectory prediction     

基于眼动记录与分析技术的测谎研究

为进一步提高测谎的准确度,加快促成测谎结论成为刑事诉讼中的证据,提出一种低成本的将眼睛变化线索用于测谎的方案。首先设计了一种低成本的眼动记录系统记录眼动信号,提出分段加权Hough变换算法跟踪虹膜,利用梯度积分投影函数检测眨眼,采用差分图像估计眼睛张开程度。然后建立了眼动轨迹、眨眼频率及眼睛张开程度等眼动特征与说谎的关系模型。实验取得的眼动特征检测精度证明采用低成本眼动记录系统基本可以满足测谎需求,测谎实验结果证明了本文方法用于测谎或辅助测谎的可行性。     

基于眼动追踪的眼动位置识别

提出了一种基于眼动追踪的眼球运动位置识别方法。眼动线索解读理论指出,通过检测被试者在思考问题时的眼球位置,可以确定人的思考类型。实验数据为测试对象观看屏幕时采集的面部视频,在数据处理过程中将视频解析成一帧一帧的图像,首先基于眼动追踪算法进行人眼定位与跟踪,提取每一帧图像的眼动参数;然后采用粒子群优化的极限学习机来判别眼球运动方向。提出的方法在实际应用环境中有很好的鲁棒性,为眼动线索解读提供了客观的、可靠的位置参数。     

一种基于视频数据的服装显著性预测方法

人眼视觉注意机制表明当人眼观察目标时,注意力只会放在少数感兴趣的区域, 而自动忽略视野中大部分不感兴趣的其他区域。研究人类视觉注意机制,并构建有效的服装显 著性预测模型,可在后期用于指导更加逼真有效的服装运动建模,提高模拟效率。为此,对着 装人体运动视频数据进行分析,构造了种类多样的视频样本,并利用眼动技术采集真实人眼的 注视数据,采用高斯卷积生成视频帧的显著图作为训练模型所需的 Ground-truth。在进行视频特 征提取时,结合了底层图像特征、高层语义特征以及运动特征,共同构造特征向量和标签,并 通过支持向量机(SVM)训练得到基于服装视频的显著性预测模型。通过实验验证,该方法的性 能在服装显著性预测时,优于传统的显著性预测算法,具有一定的鲁棒性。     

注意力分配策略对界面任务绩效和视觉行为的影响机制

在工程领域,作业人员通常需要面对刺激分布不均的复杂信息界面,并执行相关的交互任务.作业人员的视觉注意力分配已被证明与任务绩效密切相关,但对于复杂界面中基于不同信息分配策略的多优先级刺激对作业人员的视觉注意力分配及任务绩效间的潜在联系仍亟待研究.对此,本文基于多优先级注意力分配策略实验对作业人员在不同负荷条件下的任务绩效和视觉行为的影响机制展开研究.实验结果表明,差异性的分配策略和信息优先级划分提升了任务绩效表现,不同分配策略和优先级划分条件下的视觉行为存在显著差异,并受脑力负荷的影响.该结论能够为人机交互界面的设计和优化提供参考,从而提高作业人员在任务中的绩效表现.     

基于管制员认知负荷和改进蚁群算法的扇区动态通行能力评估

针对现有动态通行能力的评估未考虑管制员认知负荷的不足,为了提高空中交通流量管理的准确性,构建了基于管制员认知负荷和改进蚁群算法的扇区动态通行能力评估模型。首先,构建了刻画扇区动态影响因素的动态飞行受限区模型,为了满足空中交通流量管理对速度的要求,改进了蚁群算法实现扇区动态管制引导路径规划;然后,提出了管制引导负荷强度的概念,扩展了管制员认知总负荷的概念,并将其应用于扇区动态通行能力评估模型的构建;最后,以三亚管制扇区为例,以15 min为间隔对未来2 h内9个时刻的扇区动态通行能力进行评估。实例验证结果表明所提评估模型计算得到的通行能力结果与实际运行结果相差1个架次,效果理想。     

Quantitative modelling in cognitive ergonomics: predicting signals passed at danger

Abstract

This paper shows how to combine field observations, experimental data and mathematical modelling to produce quantitative explanations and predictions of complex events in human–machine interaction. As an example, we consider a major railway accident. In 1999, a commuter train passed a red signal near Ladbroke Grove, UK, into the path of an express. We use the Public Inquiry Report, ‘black box’ data, and accident and engineering reports to construct a case history of the accident. We show how to combine field data with mathematical modelling to estimate the probability that the driver observed and identified the state of the signals, and checked their status. Our methodology can explain the SPAD (‘Signal Passed At Danger’), generate recommendations about signal design and placement and provide quantitative guidance for the design of safer railway systems’ speed limits and the location of signals.

Practitioner Summary: Detailed ergonomic analysis of railway signals and rail infrastructure reveals problems of signal identification at this location. A record of driver eye movements measures attention, from which a quantitative model for out signal placement and permitted speeds can be derived. The paper is an example of how to combine field data, basic research and mathematical modelling to solve ergonomic design problems.     

融合多重注意力机制的人眼注视点预测

目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题。对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度。方法 提出一种新的基于多重注意力机制(multiple attention mechanism, MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权。该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成。其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题。结果 在公开数据集SALICON(saliency in context)上的实验表明,提出的方法相较于同结...     

仿生型机器人眼球运动控制系统建模

首先,分析了人眼眼球运动的特点和形式．然后,在人眼解剖学和生理学研究的基础上,根据控制眼球运动的神经回路,建立了可实现人眼功能的仿生型机器人眼三维眼球运动控制系统的数学模型．在与生理学试验相同的条件下对该模型用Matlab6.5进行了仿真实验,仿真结果与生理学实验结果对比表明,该模型能自适应地实现人眼的平滑追踪、前庭动眼反射、视动反射及其复合运动．