基于眼动追踪技术的研究型教学体系建设

介绍基于眼动追踪技术的研究型教学体系在本科和研究生教学中的运用,阐述如何建立全方位科教融合的研究型教学体系,通过教学实践和有益尝试促进该学科的教学效果、推进教学改革。     

基于SVM的眼动轨迹解读思维状态的研究

从人们的眼动轨迹来解读人的思维状态已成为应用心理学的研究热点。以四方趣题为研究材料,通过Tobii眼动仪记录被试解题时的眼动轨迹,以眼动轨迹数据中各个AOI的注视持续时间和回视等综合指标的加权值作为特征值训练SVM分类器。经过三种不同的分类任务的实验验证,SVM分类的准确率很高,泛化能力很强,可以作为眼动轨迹分析的分类方法,从而可根据眼动轨迹解读被试解题时的不同策略。     

族系间眼动行为模式多样性研究

中国是一个多民族国家,不同民族由于遗传、地域和文化等因素形成了不同的风俗和思考方式。为了研究不同民族观察事物时的眼动行为模式,利用Tobii眼动仪采集不同民族在求解数独问题时眼动轨迹表达数据,将不同族系被试的表达数据压缩为16维数据向量来构建数据集;分析对比布依族、蒙古族、朝鲜族、侗族和汉族等5个民族眼动行为数据集的多样性,利用多种机器学习方法对得到的数据进行测试分析。实验结果表明,族系间眼动行为存在多样性,同时为进一步深入探索不同族系间眼动行为的多样性提供了依据。     

阅读眼动追踪语料库的构建与应用研究综述

阅读文字时眼球的运动反映了人类的认知过程。阅读眼动数据是认知心理学、应用语言学、计算机科学等领域中重要的基础数据,而我国在阅读眼动研究的基础数据方面较欠缺。针对这一现状,首先介绍了阅读眼动追踪语料库产生的背景以及国内外的相关文献;然后从影响阅读眼动的低水平视觉因素和高水平视觉因素角度介绍了阅读眼动追踪语料库的内容及所使用的各项眼动指标,如单一注视时间、首次注视时间、凝视时间、总注视时间、回视出次数、回视入次数等,并分析了使用语料库研究法进行阅读眼动研究相比传统阅读眼动研究具有的3个优势;最后从语料库眼动指标变量、语料规模、语料内容、语料语种、被试规模、被试特征、采集设备等方面介绍了国外已经建成的较有影响力的若干阅读眼动追踪语料库,以供阅读眼动研究者参考。在眼动追踪语料库应用研究方面,对认知心理学、应用语言学和计算机科学等相关领域已开展的主要研究进行述评,重点介绍了在计算机科学的眼动可计算模型、自然语言处理、模式识别3个领域中基于阅读眼动追踪语料库开展的典型研究。在中文阅读眼动追踪语料库的构建与应用研究方面,介绍了我国相关研究的开展现状,分析了我国在眼动基础数据方面欠缺的原因,并从国家、...     

应用最大熵马尔可夫模型标注阅读眼动序列

人在阅读过程中的眼球运动具有一定规律,阅读眼动模型有助于人们更好地理解和认知这些规律。针对现有阅读眼动模型建模方法复杂的问题,突破传统阅读眼动模型注视粒度处理和回视处理模式,提出了基于单词的阅读眼动注视粒度处理模式和基于熟练读者的阅读眼动回视处理模式,利用阅读眼动注视序列标注与自然语言序列标注的高度相似性,形成了阅读眼动注视序列标注方法,从而把复杂的阅读眼动建模过程转化成了简单的语言序列标注过程,并使用最大熵马尔可夫模型实现了所提出的方法。实验结果表明,所提出的方法可以较好地描述阅读眼动任务,并且较易用机器学习模型进行实现。     

合成纹理图像的视觉相似性眼动分析

探索了当人眼视觉感知纹理图像相似性时纹理特征(整体特征和局部特征)对视觉注意过程及相似性结果选择的影响。采用PGPC纹理合成方法,分别控制纹理的整体特征和局部特征,合成具有相同整体特征和局部特征的纹理。实验分为3组纹理场景,每一组有3幅纹理图像(A,B和S),S为对比纹理图像;实验者带着“纹理A和纹理B,哪个与纹理S更相似”的视觉感知任务观察纹理场景;利用Tobii T60眼动仪记录实验过程中观察者的眼动,跟踪获取89位实验者的眼动数据(眼动数据度量指标包含感兴趣区域内注视点散度和不同感兴趣区域间的眼跳次数);通过Tobii studio导出眼动数据,并基于R软件进行了方差分析和配对T检验等统计分析。通过对3组纹理图像的注视轨迹图及热点图的分析,验证了纹理整体特征和局部特征对视觉感知过程中的注视模式和相似性结果的选择有影响。实验结果表明:1)对于全局特征与对比纹理图像一致的纹理,其眼动注视点分散,而对于局部特征与对比纹理图像一致的纹理,其眼动注视点集中。2)纹理组相似性的最终选择结果与纹理组内不同纹理图像间的视觉搜索行为有关。     

基于眼动技术的互联网广告效果研究*

目前,网络广告效果研究中评定广告质量的指标不够准确,广告配置科学性有待提高。因此,本文首次提出观测度的概念,将它作为衡量广告质量的新标准,并结合多种信息源对广告记忆度、兴趣度进行建模。实验结果表明,相比普遍使用显示反馈和广告自身特征,融合眼动特征来预测广告的观测程度准确性有所提高。此外,对搜索引擎结果页上位置不同,相关性不同的广告效果进行了定量分析。实验结果表明,用户的注意力受位置影响显著。广告的相关性在主体上方对注视次数影响显著,而下方和右侧表现不显著。所以可以考虑在主体下方、右侧进行与搜索内容无关商品的推广。     

基于眼动轨迹分析的BPPV诊断算法研究

近年来,以机器学习模型辅助临床诊断已成为智慧医疗领域的一大研究热点。在良性阵发性位置性眩晕（Benign Paroxysmal Positional Vertigo,BPPV）的临床诊断上,眼动视频的解释往往是由医生观测得出的,但直接观测诊断的局限性在于难以捕捉细微的眼动特性而容易导致误诊。对此,论文提出了一种基于时序轨迹的BPPV诊断模型,将基于深度学习的目标检测器和基于时序数据分析的分类器相结合以实现BPPV诊断。具体地,该模型对眼动视频进行眼球目标检测,以提取眼球运动的时序轨迹,并结合数据增强对训练样本进行扩充,以准确分类并得到更好的诊断结果。实验结果表明,论文提出的模型可有效提取眼动时序轨迹,并在BPPV诊断上取得良好性能。     

基于细粒度信息感知BERT-EEP的情绪分类方法

网络舆情情绪分析专注于挖掘特定领域文本中深层次的情绪信息,对及时评估和化解舆情风险有重要意义。以往研究大多依赖情感符号、词性等基本情绪知识构建情绪语义特征,忽略了文本中情绪的持有者、线索等细粒度语言表达。为此,针对COVID-19疫情期间网络舆情数据的特点,引入同步双通道循环递归网络抽取细粒度情绪信息。在此基础上,提出辅助句构造法和基于BERT的情绪表达感知网络BERT-EEP,利用细粒度情绪信息辅助标签分类,并通过多头注意力机制和双向门控循环单元学习辅助信息和上下文之间的依赖关系,最终实现情绪分析。为评估所提方法的有效性,构建了一个具有细粒度表达的COVID-19中文情绪数据集。实验结果表明,所提方法能有效地融合细粒度情绪信息,在情绪分类任务上获得了优异的性能。     

基于人类视觉皮层双通道模型的驾驶员眼动行为识别

驾驶员的危险行为会增加交通事故的发生率,目前对驾驶员行为的研究中大多通过面部识别等方法对异常行为如疲劳驾驶、接电话等进行识别.这种方法仅客观地对驾驶员行为进行分类,而忽略了他们在驾驶过程中的主观心理.眼动仪是记录和分析驾驶员眼动数据的有效工具,可以清晰地了解驾驶员的想法并总结其视觉认知模式.因为目前还没有针对驾驶员眼动...     

基于最优传输的多中心自闭症谱系障碍诊断

融合来自多个中心的医学数据能够增加样本数量,有助于研究自闭症谱系障碍(Autism spectrum disorder, ASD)的病理变化。因此,如何有效地利用多中心数据,提高对ASD诊断的准确性受到了越来越多的关注。然而,以往的大部分研究忽略了多中心数据的异质性(如受试者群体和扫描参数的不同),这可能会降低模型在多中心数据上对疾病诊断的性能。为了解决这一问题,提出一种基于联合分布最优传输(Joint distribution optimal transport, JDOT)的领域自适应模型鉴别ASD。选择一个中心作为目标域,其余的中心作为源域,假设两个域的联合特征、标签空间分布之间存在非线性映射,利用最优传输方法交替优化传输矩阵和分类器。结果表明,在多中心静息态功能磁共振成像(resting state functional magnetic resonance imaging, rs-fMRI)数据上,该模型能够有效提高对ASD鉴别的准确性。     

基于结构磁共振影像的孤独症分类中的数据增强研究

基于结构磁共振影像的孤独症分类对孤独症疾病的早期筛查和精准诊断具有重要意义,但受数据噪声及样本不足的影响,基于结构磁共振影像的孤独症分类模型的准确率并不理想。该文提出一种新的数据增强模型,并采用孤独症脑成像交换数据库 I 中的密西根大学样本库 1 数据集进行模型测试,随机选取密西根大学样本库 1 数据集中的 78 个样本进行实验,以对孤独症分类准确率进行评估。实验结果显示：该方法在 500 次实验的 494 次(98% 以上的实验)中能够将分类准确率提升10%～20%,在不增加数据量的情况下显著提升了孤独症的分类准确率。通过分析准确率提升和标注变化比例之间的关系,该文进一步对数据标注噪声的问题进行了探讨。     

基于低秩表示判别域适应的多中心自闭症诊断

自闭症的诊断主要依靠患者的病史与临床症状表现,尚缺乏客观的评价指标,因此挖掘与疾病相关的生物标记,对于实现自闭症的早期识别与干预至关重要。尽管多中心脑影像数据增加了样本数量并提高了数据的统计能力,有助于提高自闭症的诊断性能,但目前的研究常受到数据异质性的困扰。为此本文提出基于低秩表示判别域适应的诊断模型,实现对多中心自闭症的预测分析。首先将源域数据和目标域数据映射到公共空间,并在空间用目标域数据对源域数据进行重新表示,从而降低源域和目标域之间的分布差异;其次通过学习正交重构矩阵使得源域数据在公共空间中的表示能够保留主要能量,从而适合于随后的学习任务;最后使用源域数据的标签信息将分类损失整合到训练过程中,从而保证公共空间表示的判别能力。为了求解所提出的模型,提出了基于交替方向乘子算法的优化策略。实验结果表明,该模型能够降低多中心数据分布差异,实现知识的有效迁移,从而提高多中心自闭症的诊断性能。     

基于标记点检测的视线跟踪注视点估计

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向.针对该问题,提出一种基于标记点检测的注视点估计方法.该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中.实验结果表明,该方法简单易行,可以较好地估计出用户在...     

Attention to the model's face when learning from video modeling examples in adolescents with and without autism spectrum disorder

We investigated the effects of seeing the instructor's (i.e., the model's) face in video modeling examples on students' attention and their learning outcomes. Research with university students suggested that the model's face attracts students' attention away from what the model is doing, but this did not hamper learning. We aimed to investigate whether we would replicate this finding in adolescents (prevocational education) and to establish how adolescents with autism spectrum disorder, who have been found to look less at faces generally, would process video examples in which the model's face is visible. Results showed that typically developing adolescents who did see the model's face paid significantly less attention to the task area than typically developing adolescents who did not see the model's face. Adolescents with autism spectrum disorder paid less attention to the model's face and more to the task demonstration area than typically developing adolescents who saw the model's face. These differences in viewing behavior, however, did not affect learning outcomes. This study provides further evidence that seeing the model's face in video examples affects students' attention but not their learning outcomes.     

基于听觉掩蔽特性的扩频信息隐藏方法

在前人数字水印音频隐藏技术的基础上,提出了一种基于听觉掩蔽特性的扩频信息隐藏算法,该算法充分利用了扩频系统抗干扰性强、隐蔽性好的特点,引入了子带分割及多相离散余弦滤波器组的思想,为了补偿由于信道噪声等引起的错误,提高接收端数据提取的正确率,该算法还使用了冗余和纠错编码技术,有效地解决了传统信息隐藏算法知觉相似性、鲁棒性及安全性差的问题,属盲检测算法,实验结果验证了该算法的有效性和鲁棒性。     

基于生成对抗网络的三维频谱态势补全

三维频谱态势是解决空天地信息网络中频谱资源利用不足的重要手段,可以表征功率谱密度在三维电磁空间的时空频分布情况,由此通信系统可“有的放矢”地实现频谱预测、频谱决策和频谱管控等多种应用。但受限于用户部署等因素,实际构建的三维频谱态势往往离散且缺损。因此,本文提出一种基于生成对抗网络的三维频谱态势补全算法。然后进一步提出一种改进的生成对抗网络结构和一系列的数据处理方法,以降低算法的补全误差和训练时间。仿真结果表明,所提出的算法能有效地对缺损三维频谱态势进行补全,并且其补全精度远优于传统插值方法。     

An inclusive design approach for developing video games for children with Autism Spectrum Disorder

The efficacy of therapeutic treatments for Autism Spectrum Disorder is mainly associated with the treatment's intensity in terms of weekly hours. This has led mental health professionals to explore the use of video games to complement traditional treatments. However, major weaknesses have been found due to poor game design, which has failed to fulfill therapeutic objectives or to properly engage children. These weaknesses are typically characterized by the poor integration of knowledge from mental health experts, children's interests and designers' expertise. Starting from this necessity, we propose an inclusive design approach to develop therapeutic games. The method presents strategies to integrate the expertise of clinicians, contributions of children and experience of designers through a set of elicitation and merging techniques. The goal of this method is to design games that are effective in terms of therapeutic objectives and that are enjoyable for children. To describe this method, we present its application in the design and development of a Kinect-based game for high-functioning children with ASD called “Pico's Adventures”. This game aims at promoting social initiation in young children with autism. Findings from a first exploratory study with 10 children with ASD showed the effectiveness of the game in eliciting social initiation behaviors. This provides a first validation of the method. An essential aspect of the game's success was the use of elements and mechanics that were appealing for the children. As a result, we have identified effective design concepts and paths for further research on games for children with ASD.     

基于Q学习算法的情感交互可计算模型研究

情感本身不能交互,但可以通过它的载体(如人或Agent)进行交互。利用该特点,提出一种基于Q学习算法的情感交互可计算模型。定义情感元的概念,情感元之间的交互实际上是情感Agent之间的交互,采用Q学习算法得到情感元的交互结果,构建齐次Markov链的情感元之间的交互模型,并通过实验结果验证了情感的多变性与复杂性。     

基于高斯混合-贝叶斯模型的轨迹预测

如今，在交通管理系统、军事机械化战场、安全行驶系统中，对实时、准确、可靠的移动对象轨迹预测具有很重要的作用，在市场上的应用越来越广，简称智能化预测。智能化预测可以提供精准的基于位置的服务，还可以根据预判，给车主推荐最优路线，这成为移动对象数据库研究的热点。针对现有方法的不足，提出基于高斯混合-贝叶斯模型的轨迹预测模型。实验表明，GM-BM模型在路段车流量正常情况下，通过调整混合模型中子模型的权重，可预测出最可能的轨迹，经计算与相同参数设置下的单模型相比，预测准确性至少提高10.00%。