仿生型机器人眼球运动控制系统建模

首先，分析了人眼眼球运动的特点和形式．然后，在人眼解剖学和生理学研究的基础上，根据控制眼球运动的神经回路，建立了可实现人眼功能的仿生型机器人眼三维眼球运动控制系统的数学模型．在与生理学试验相同的条件下对该模型用Matlab 65进行了仿真实验，仿真结果与生理学实验结果对比表明，该模型能自适应地实现人眼的平滑追踪、前庭动眼反射、视动反射及其复合运动．     

基于眼球前庭动眼反射的机器人视觉误差主动补偿方法

针对机器人在颠簸环境下作业过程中产生姿态变化从而导致的视觉不稳定性问题,基于眼球前庭动眼反射的机理,提出一种主动补偿视觉误差的方法.在生理学和解剖学的基础上,根据眼球运动的神经回路,建立了一个具有自适应性的前庭动眼反射控制模型.为了验证模型的性能,在不同的环境中进行了仿真实验,仿真结果表明该模型可以主动补偿机器人姿态变化所引起的视觉误差,并且具有良好的自适应性.最后,通过实体机器人实验验证了该控制模型的有效性与准确性.     

仿生型机器视觉研究 *

在深入分析人类眼球的神经机理、运动形式和特点及人类视觉神经通路的基础上 ,从模拟人类眼球运动构筑仿生机器眼和模拟人类视觉感知机理应用于机器视觉两个方面 ,探讨了视觉仿生研究的方式方法、研究进展、应用前景和发展趋势。提出了采用复杂系统控制方法构建多自由度仿生型机器人双眼运动模型的思路 ,分析了人眼固视微动机制的综合利用和应用价值以及超人眼系统的研究设想等新的视觉仿生研究方向。     

阅读眼动追踪语料库的构建与应用研究综述

阅读文字时眼球的运动反映了人类的认知过程。阅读眼动数据是认知心理学、应用语言学、计算机科学等领域中重要的基础数据,而我国在阅读眼动研究的基础数据方面较欠缺。针对这一现状,首先介绍了阅读眼动追踪语料库产生的背景以及国内外的相关文献;然后从影响阅读眼动的低水平视觉因素和高水平视觉因素角度介绍了阅读眼动追踪语料库的内容及所使用的各项眼动指标,如单一注视时间、首次注视时间、凝视时间、总注视时间、回视出次数、回视入次数等,并分析了使用语料库研究法进行阅读眼动研究相比传统阅读眼动研究具有的3个优势;最后从语料库眼动指标变量、语料规模、语料内容、语料语种、被试规模、被试特征、采集设备等方面介绍了国外已经建成的较有影响力的若干阅读眼动追踪语料库,以供阅读眼动研究者参考。在眼动追踪语料库应用研究方面,对认知心理学、应用语言学和计算机科学等相关领域已开展的主要研究进行述评,重点介绍了在计算机科学的眼动可计算模型、自然语言处理、模式识别3个领域中基于阅读眼动追踪语料库开展的典型研究。在中文阅读眼动追踪语料库的构建与应用研究方面,介绍了我国相关研究的开展现状,分析了我国在眼动基础数据方面欠缺的原因,并从国家、科研机构、科研工作者3个层面提出了解决此问题的对策和建议。     

应用最大熵马尔可夫模型标注阅读眼动序列

人在阅读过程中的眼球运动具有一定规律,阅读眼动模型有助于人们更好地理解和认知这些规律。针对现有阅读眼动模型建模方法复杂的问题,突破传统阅读眼动模型注视粒度处理和回视处理模式,提出了基于单词的阅读眼动注视粒度处理模式和基于熟练读者的阅读眼动回视处理模式,利用阅读眼动注视序列标注与自然语言序列标注的高度相似性,形成了阅读眼动注视序列标注方法,从而把复杂的阅读眼动建模过程转化成了简单的语言序列标注过程,并使用最大熵马尔可夫模型实现了所提出的方法。实验结果表明,所提出的方法可以较好地描述阅读眼动任务,并且较易用机器学习模型进行实现。     

用于虚拟现实系统的眼动交互技术综述

眼动人机交互利用眼动特点可以增强用户的沉浸感和提高舒适度,在虚拟现实（VR）系统中融入眼动交互技术对VR系统的普及起到至关重要的作用,已成为近年来的研究热点。对VR眼动交互技术的原理和类别进行阐述,分析了将VR系统与眼动交互技术结合的优势,归纳了目前市面上主流VR头显设备及典型的应用场景。在对有关VR眼动追踪相关实验分析的基础上,总结了VR眼动的研究热点问题,包括微型化设备、屈光度矫正、优质内容的匮乏、晕屏与眼球图像失真、定位精度、近眼显示系统,并针对相关的热点问题展望相应的解决方案。     

一种混合驱动柔索并联仿生眼的轨迹规划

在与眼球运动相关的解剖学和运动学的基础上,设计了一种符合Listing定理的基于混合驱动柔索并联机构的3自由度机器人仿生眼.通过矢量封闭方法建立了逆运动学模型,求解出柔索并联机器人的雅可比矩阵和结构矩阵.利用达朗贝尔定理建立柔索并联机器人的力矩平衡方程组,采用广义逆矩阵的相关理论,以柔索张力矢量的2范数最小为目标进行张力优化.用蒙特卡洛方法计算出仿生眼球可达工作空间.最后,在Simulink环境下进行仿真,规划运动轨迹并得到柔索并联机器人运动特性的仿真结果,证明了本文设计的机构符合Listing定理.结果表明:基于混合驱动柔索并联机构的机器人仿生眼结构合理,数学模型正确.     

用于移动设备人机交互的眼动跟踪方法

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对眼球红外图像进行滤波、二值化处理,进而基于瞳孔-角膜反射法,结合二次定位和改进的椭圆拟合方法检测瞳孔,设计缩放因子驱动的模板匹配法检测普洱钦斑;在此基础上,计算注视点坐标等眼动数据;最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统.实际用户测试结果表明,该系统舒适度适中,并具有较高精度和鲁棒性,从而验证了文中方法在移动式交互中的可行性和有效性.     

基于姿态闭环控制的球面并联仿生眼系统设计与研究

提出了一种基于姿态反馈的球面并联机构闭环控制方法,有效地解决了该机构输入与输出之间复杂的3维非线性强耦合映射关系给构建闭环系统带来的问题.同时将球面并联机构应用到机器人眼设计上,制作了类似人眼运动特点、比人眼尺寸略大、具有控制和视频信号接口的仿生眼实物;基于数字信号处理器(DSP)的控制系统实现了逆解和闭环控制算法的实...     

仿生眼视觉图像处理系统

为研制仿生眼球,构建了一个嵌入式的基于仿生控制的视觉图像处理系统。根据仿生眼对视觉系统的要求,设计了一个以TMS320DM642DSP为核心,以TVP5150、SAA7121H为编解码模块的视觉图像处理系统;实现了仿生眼视觉识别的一系列软件开发,包括实时图像采集、视频图像处理、视频输出及目标位置参数传递等功能;在CCS2.2的环境下,对视觉识别算法进行了探索,用经典的Prewitt算法以及改进的Prewitt算法对系统进行实验测试。     

仿生复眼结构的制作与测试研究

为了更好地利用生物复眼的光学性能,介绍了一种新型仿生复眼结构。通过使用传统光刻胶热熔法和NOA73紫外曝光固化技术,得到了NOA73和PDMS材料的微透镜阵列,比较了它们的聚焦效果和光强分布,得到NOA73材料具有更好的光学性能;然后利用PDMS的柔韧性进行了两次倒模,再通过紫外曝光把NOA73固化,得到了背靠背形式的仿生复眼结构;最后对结构进行了成像测试、光强分布测试,并对结果进行了仿真和理论分析,可知该结构具有良好的形貌,光损耗小,光学性能优异并且具有很好的重复性,制作简单,成本低,能够模仿生物复眼的部分光学特性。     

基于Navarro示意眼模型的视觉真实感绘制*

结合人眼光学建模和计算机图形学的真实感绘制技术,提出一种基于Navarro示意眼模型的人眼视觉真实感绘制方法.利用Navarro模型与传统的单透镜模型相比能够更精确地模拟人眼的特性,将Navarro模型引入视觉真实感绘制中;采用光线追踪方法,加入非球面折射面的计算,精确地模拟人眼的成像特性.实验结果表明此种方法能够更精...     

在线学习环境中基于眼动特征情感识别研究

在e-Learning环境中,学习普遍存在“情感缺失”问题,该问题会导致学习效果和学习体验下降。在学习过程中及时识别学习者的情感状态是解决“情感缺失”的首要问题,情感识别技术在人机交互教学得到了广泛的应用,但仍然存在不少问题和挑战。随着眼动追踪技术的发展,将眼动信号引入情感识别成为研究的热点。针对当前国内外在e-Learning环境中基于眼动特征的相关研究进行综述,对相关研究中采用的眼动特征、机器学习方法以及涉及的学习过程进行分类、归纳及分析,归纳了五类学习过程研究中常用的眼动特征和识别算法。通过对应用在疲劳检测、健康医疗以及人机交互等相关领域中的眼动特征进行分析,对可借鉴至MOOC学习环境下情感识别的眼动特征进行汇总,并为下一步如何采用眼动特征在MOOC环境下进行情感识别研究提出建议。     

人眼检测技术研究进展

基于计算机视觉的人眼检测研究是人脸识别和视线追踪等技术的关键,具有重大的应用价值,并且对模式识别研究的发展有重要的理论意义。本文通过回顾人眼检测近20年来的主要研究成果,分别根据算法使用的模式识别原理及检测结果提出两种全新的人眼检测分类方法;然后按检测结果分类阐述了各种人眼检测方法的基本思想及其优缺点,并尝试通过不同的分类方法从不同的角度揭示各类算法的本质;最后分析总结了人眼检测研究的发展现状,展望了其应用前景及发展趋势。     

一种新的人眼视觉运动认知特性实验分析方法

视觉感知过程源于对象自身的大范围拓扑性质,而场景对象发生运动状态变化时,其所在空间的大范围拓扑关系也将随之改变。为探索大范围拓扑性质和运动性质同时改变时人眼视觉的认知优先特性,基于虚拟现实技术及眼动跟踪技术,通过构建虚拟驾驶及眼动轨迹分析实验平台,结合拓扑复杂度和空间拓扑关系概念分别探讨二维和三维空间中人眼视知觉对物体运动的认知特性。在此基础上,采用响应面分析方法设计场景中自变量因子的随机实验数值,通过可视化方法对比多组认知场景的无感反馈眼动监测结果。实验结果表明,在Tobii眼动仪采集的545个眼动数据中,发生在运动物体上的数据有516个,相比于物体自身属性的大范围拓扑性质变化,人眼视知觉过程更优先识别物体运动的大范围空间拓扑关系变化。该运动认知优先特性为可靠人工智能驾驶中的视觉注视预测技术提供了新的研究思路,同时验证了所提实验分析方法的有效性。     

基于多尺度自商图和改进积分投影法的人眼定位

针对传统的投影方法在人眼定位时易受光照干扰以及难以获得精准的人眼中心点的问题,提出一种基于多尺度自商图和改进的积分投影法的人眼定位算法.首先利用多尺度自商图消除人脸图像的光照影响;然后分析眼睛在水平方向上灰度分布的特点,采用两个行梯度算子对积分投影法进行了改进,以提升眼睛区域特征并初步定位人眼区域;接着采用Sobel算子对人眼区域进行滤波得到人眼滤波图,并对人眼滤波图的垂直积分投影曲线进行高斯函数拟合,根据拟合结果分割出左眼窗口和右眼窗口;最后,计算左眼窗口和右眼窗口的尺寸,获取左眼窗口和右眼窗口的中心点,即为人眼中心点.在YaleB人脸数据库和JAFFE人脸数据库上测试表明,本文方法对复杂光照、人脸边缘以及人脸表情适应性强,可以获得较为精准的人眼中心点.