基于深度学习的眼动跟踪数据融合算法

针对传统数据融合算法在多场景下的眼动跟踪数据融合效果较差的问题,提出一种新的基于深度学习的眼动跟踪数据融合算法,即Eye-CNN-BLSTM算法.该算法在原始眼动跟踪数据空间位置信息基础上添加新的人工特征;将卷积神经网络(Convolutional Neural Network,CNN)与双向长短时记忆网络(Bi-di...     

眼动仪与视线跟踪技术综述

文章在回顾视线跟踪技术的研究历程基础上,定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理,比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况,对比了几种主要的眼动仪性能。最后,探讨了视线跟踪数据的处理软件和方法,并对视线跟踪技术的应用前景进行总结和展望。     

用于移动设备人机交互的眼动跟踪方法

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对眼球红外图像进行滤波、二值化处理,进而基于瞳孔-角膜反射法,结合二次定位和改进的椭圆拟合方法检测瞳孔,设计缩放因子驱动的模板匹配法检测普洱钦斑;在此基础上,计算注视点坐标等眼动数据;最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统.实际用户测试结果表明,该系统舒适度适中,并具有较高精度和鲁棒性,从而验证了文中方法在移动式交互中的可行性和有效性.     

深度长时目标跟踪算法综述

在视觉目标跟踪领域,长时跟踪因存在更为复杂的遮挡、相似物干扰和目标消失等具有现实意义的挑战场景,而越来越被研究者所重视。传统长时跟踪算法存在精度低和效率低等问题,已经无法满足如视频监控和自动驾驶等领域对跟踪器性能的应用需求。目前,大量的研究工作通过引入深度神经网络快速推动了长时跟踪技术的发展。为了深入分析深度长时跟踪算法的现状与未来发展,通过对比长短时跟踪数据集及评价指标,初步界定了长时跟踪任务范畴,归纳了长时跟踪任务的需求和难点,并介绍了长时跟踪数据集及评价体系的发展。基于深度长时目标跟踪算法的设计框架,详细描述了框架各组成部分的设计思路。以长时跟踪策略为切入点深入分析了现有研究工作,归纳了不同模型的优缺点及特性。依据对现有研究工作的整理和总结,讨论了该领域面临的挑战,并对未来的发展方向进行了展望。     

眼动跟踪研究进展与展望

眼动跟踪是指自动检测瞳孔中心位置或者识别三维视线方向及注视点的过程, 被广泛应用于人机交互、智能驾驶、人因工程等. 由于不同场景下的光照变化、个体眼球生理构造差异、遮挡、头部姿态多样等原因, 眼动跟踪的研究目前仍然是一个具有挑战性的热点问题. 针对眼动跟踪领域,首先概述眼动跟踪研究内容, 然后分别论述近年来瞳孔中心检测及视线估计领域的国内外研究进展, 综述目前眼动跟踪主要数据集、评价指标及研究成果, 接着介绍眼动跟踪在人机交互、智能驾驶等领域的应用, 最后对眼动跟踪领域的未来发展趋势进行展望.     

桌面虚拟装配系统中眼动跟踪技术的应用

人机交互是虚拟装配的本质特性和技术瓶颈,本文分析了中虚拟装配中的眼动特征,提出了基于空间和情景的眼动模式;将眼动跟踪与直接操作相结合,研究了眼动跟踪技术在桌面虚拟装配系统中的应用。     

眼动跟踪系统中的检测装置

眼动跟踪技术被广泛的应用于工程心理学和人机交互等领域,本文从检测装置、原始数据、检测算法的角度对眼动跟踪技术进行了分类,并对系统各类检测装置进行了详细介绍。     

基于人眼鼻孔特征的眼动跟踪方法

提出了一种基于人眼鼻孔特征跟踪眼动的算法。首先利用Adaboost的层叠式分类器定位人脸、眼睛和鼻子;然后采用梯度Hough变换检测圆的方法精确定位瞳孔虹膜;最后利用几何方法建立椭圆跟踪模型,实现瞳孔的快速跟踪。实验结果表明,该方法定位眼睛嘴角快速准确,同时对眼睛的跟踪具有较好的鲁棒性和实时性。     

虚拟现实环境下基于眼动跟踪的导航需求预测与辅助

针对复杂虚拟现实场景中传统导航方法对用户支持不足和用户沉浸感较低等问题,文中提出了基于梯度提升迭代决策树的二分类模型,利用用户在虚拟现实环境中使用辅助导航时需要的眼动数据,来分析和预测用户在任务过程中是否需要辅助导航。根据用户的注视序列对该模型进行评估,得到用户需求判定方法的平均精确率和准确率分别为77.6%与77.2%。此外,文中借助所设计模型实现了一个导航辅助原型系统,通过对用户的眼动数据进行分类,来自动呈现导航辅助界面。实验结果表明,与传统的永久性辅助导航方法相比,新提出的自适应辅助导航具有更好的用户体验。     

面向大屏幕目标选择的眼动跟踪与手势交互

眼动跟踪方法具有很强的视觉指向性,可以将其应用于面向大屏幕的目标选择,进而避免鼠标操作方式在空间上的远距离移动.然而,仅仅利用眼动跟踪进行选择操作,也会产生选择精度降低、容易产生误操作等问题.因此,为了实现大屏幕上快速、准确的目标选择,提出一种融合眼动跟踪与手势的多通道交互方法,即通过眼动跟踪选择目标,利用手势进行选择确认.在目标尺寸小、目标间距较小时,通过光标稳定和二次选择机制进一步对交互过程进行优化.用户测试结果表明,该方法可以在大屏幕上针对不同尺寸和间距的目标完成有效的选择操作,与仅使用眼动跟踪的目标选择方法相比,任务完成速度提升了16%,任务完成正确率提升了82.6%.此外,针对层级菜单的具体选择任务,该方法与仅使用眼动跟踪的方法相比,任务完成速度提升了13.6%,任务完成正确率提升了55.7%.此外,该方法总体性能接近传统的鼠标操作方式,进一步验证了该方法在实际应用中的有效性.     

Predicted Robustness as QoS for Deep Neural Network Models

Journal of Computer Science and Technology - The adoption of deep neural network (DNN) model as the integral part of real-world software systems necessitates explicit consideration of their...     

基于强化学习神经网络的车速跟踪控制

提出一种用于汽车排放试验中驾驶机器人对车速跟踪控制的新方法.该控制方法基于神经网络并结合强化学习的自适应能力,通过神经网络的在线学习对车速进行跟踪控制.利用试验汽车所获得的数据,首先开发出用于车速控制的神经网络模型.然后基于强化学习神经网络结构设计神经网络控制器以取得车速跟踪的自适应控制.在仿真研究中,使用神经网络车速控制模型替代实际汽车来训练初始控制器,并用开发与训练好的自学习神经网络控制器用于汽车车速跟踪控制.结果表明,所开发的神经网络控制器具有良好的车速跟踪性能,控制效果明显.     

基于深度学习的移动机器人目标跟踪系统

针对当前智能移动机器人在跟踪过程中常因目标发生外观形态上的变化而丢失跟踪目标的问题,利用Caffe深度学习框架和ROS机器人操作系统作为开发平台,设计一个高准确度及高实时性的移动机器人目标跟踪系统并进行了研究.使用对于目标形变、视角、轻微遮挡及光照变化具有鲁棒性的基于孪生卷积神经网络的GOTURN目标跟踪算法,通过ROS系统为桥梁使离线训练的跟踪模型实时应用于TurtleBot移动机器人上,并开展了详细的测试.实验结果表明,该目标跟踪系统不仅设计方案可行,实现了移动机器人在各种复杂场景下有效地跟踪目标,还具有成本低、性能高和易扩展等特点.     

基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。     

机械臂卷积神经网络滑模轨迹跟踪控制

针对工业技术的发展对于多关节机械臂的精度与快速控制高要求,提出了一种机械臂卷积神经网络滑模轨迹跟踪控制方法。分析机械臂动力学方程,提取其中的不确定部分,针对不确定部分,构建深度卷积神经网络对其进行补偿,将补偿部分引入到滑模控制律中,通过改进后的滑模控制实现对机械臂轨迹跟踪的精确控制,并通过构建Lyapunov函数论证了系统的稳定性。仿真结果显示该方法能够满足轨迹跟踪要求,且减小了抖振现象。通过与其余三种典型控制方法的对比,测试结果表明,该方法加快了轨迹跟踪误差的收敛,且跟踪精度有了明显的提高。     

基于深度神经网络的药物蛋白虚拟筛选

药物的研发是一种投入成本高、耗费时间长且成功率较低的一种研究,为了在药物开发阶段可以快速获得潜在的化合物,针对性地提出一种基于深度神经网络的药物蛋白虚拟筛选的方法。首先从给定数据集中学习如何提取相关特征,获取配体原子和残基类型进行特征分析,快速识别活性分子和非活性分子,然后使用降维方式和K折验证等方法对药物筛选的模型进行处理,最后通过分析富集因子和AUC值验证诱饵化合物与分子蛋白的互相作用验证模型的可靠程度,实验结果表明所提出的筛选方法具有很好的可行性和有效性,有效地加快了虚拟筛选过程。     

基于注意力卷积模块的深度神经网络图像识别

对于在深度神经网络的中间层分支进行深度融合，产生潜在可以共享有用信息的基础网络，从而优化信息流动，提升深度神经网络的性能，是近期的深度神经网络研究的挑战。对此提出一种基于注意力卷积模块的深度神经网络的图像识别方法。改进的模块主要分为树干分支与软分支两部分，在树干分支上，由两组残差模块组成，使该模块适用于其他深度神经网络；在软分支上，将给定的中间特征图沿着两个维度（空间与通道）获取注意力特征图，对输入中间特征图进行调整，强化有用信息抑制无用信息。改进的卷积残差模块既能解决输入与输出的尺寸不一致的问题，也能强化图像的关键信息与有效促进网络的信息流动。通过对cifar-10、cifar-100、ck+、AVEC2017数据集进行实验，实验结果表明了提出的方法应用于ResNet-50网络上对比Hu提出的方法在训练耗时相差不到0.3%的情况下，识别图像准确率有0.9%~1.2%的提高。     

基于改进深度卷积神经网络的轴承故障诊断

轴承为风电机组的重要且故障频发部件,传统基于轴承振动数据的图像转换的卷积神经网络(CNN)的故障诊断技术存在一定局限性。提出了一种基于改进深度卷积神经网络(IDCNN)的直接时间序列特征提取方法,依据采样频率将原始振动数据划分为单个样本,构建诊断模型训练数据集。设计了一种新型的深度卷积神经网络(IDCNN),自动提取复杂样本数据的故障特征,提高DCNN的鲁棒性和泛化性,并将IDCNN提取的高维故障特征输入到分类器中,从而实现轴承故障的智能诊断。对比实验结果表明本方法有效提升了故障诊断精度。     

基于大数据深度神经网络与Agent的大规模任务处理方法

因大规模任务处理模型在处理实际任务请求通常是基于历史数据的,若总依据经验和以往知识判断,会出现许多无法识别并处理的任务,以及出现模型过拟合等问题.提出了一种基于深度神经网络的计算模型进行大规模任务部署,并引用Agent强化学习效用进行评价,实现最佳虚拟网络映射方案.实验结果表明,这种BD T ard方法法能满足大规模任务请求,稳定系统长期收益,保障了大数据环境下大规模任务处理的高效执行.     

基于深度神经网络的搜索引擎点击模型构建

随着富媒体展现形式被越来越多地引入搜索交互界面,搜索引擎的结果页面呈异质化和二维模块展现形式,这对传统的点击预测模型提出了巨大的挑战。针对这一情况,我们对实际搜索引擎结果页面的多模态结果进行了分析,构建了一个结合深度神经网络和点击模型的框架,该框架既包含了神经网络的特性,又利用了点击模型的预测能力。我们希望利用这个框架挖掘出多模态信息与文本信息之间的相关性,使之具有描述异质化结果和二维模块展示形式的能力。实验表明,我们的框架相较于传统的点击模型在点击预测性能上有显著提升,但由于搜索引擎的多模态结果内容复杂,仅利用多模态结果的底层特征,即使使用深度神经网络,从中能够挖据出的语义相关性较弱。