遥操作视觉手势交互映射方法研究

视觉手势技术的发展，极大地促进了遥操作技术的发展。作为虚拟现实技术的交互手段，视觉手势技术一直追求沉浸感，与用户真实操作的体验保持一致。从交互效率的角度出发，探求不同映射方法对手势操作目标点击任务的影响，提出了基于速度和操作方向的自适应映射方法，并设计实验探究证明了这种映射方法相较传统的视觉手势固定映射方法，在任务完成速度方面实现了28.6%的提升；在不同方向点击任务操作稳定性方面实现了34.8%的提升。自适应映射方法明显提高了交互效率和操作的稳定性，可以应用于遥操作控制端的交互。     

面向协同装配的混合现实手眼交互技术研究

针对MR协同装配工作中存在的复杂人机交互问题,提出一种基于眼动追踪和手势识别的多通道交互方法。采用注视线检测和注视点检测对目标物体进行预选取。通过手势识别完成对候选目标物体的确认和相关操作。实验结果表明,该方法能实现对遮挡、微小尺寸、远距离目标对象的选取和操作。同时,协同装配实验验证了该方法在协同工作中的可行性。     

不同视觉反馈对笔倾斜输入性能的影响

针对笔倾斜输入过程中存在遮挡、视角错觉和缺乏反馈等问题,分析了视觉反馈的增加对笔倾斜输入性能的影响.首先结合笔倾斜的特点设计了图形全跟踪、图形部分跟踪、图形无跟踪、数字全跟踪、数字部分跟踪和数字无跟踪6种不同的笔倾斜视觉反馈;然后通过对比实验考察了经过视觉反馈后,在直接和间接设备上完成不同角间距的目标选择任务时笔倾斜输入的性能.实验结果表明,视觉反馈可以有效地提升目标选择的速度,而跟踪机制可以有效地提高目标选择的准确度;图形反馈的速度快于数字反馈;全跟踪反馈的错误率低于部分跟踪反馈;在直接设备上完成目标选择任务速度快,但在间接设备上完成目标选择任务的准确度更高.最后给出了笔倾斜输入和视觉反馈的使用原则和建议,对笔式界面中的笔倾斜交互和视觉反馈设计具有指导意义.     

一种在3D手势交互中模拟鼠标的方法

针对当下3D手势交互在执行2D交互任务时用户体验不佳,提出了一种模拟鼠标2D交互方式的3D手势交互技术。根据ISO9241-9标准,设计多方向点选实验,用于比较该3D手势交互技术、一般3D手势交互技术和日常鼠标这三种交互技术在执行典型2D交互任务时的标准吞吐量、指向-选择时间和错误率。以调查问卷的方式评估该交互技术的主观舒适性。结果显示,与一般的手势交互相比,在不降低吞吐率的情况下,该交互技术在执行2D交互任务时可以获得更高的准确率以及更好的舒适度体验。     

多用户眼动跟踪数据的可视化共享与协同交互

随着数字图像处理技术的发展,以及计算机支持的协同工作研究的深入,眼动跟踪开始应用于多用户协同交互.但是已有的眼动跟踪技术主要针对单个用户,多用户眼动跟踪计算架构不成熟、标定过程复杂,眼动跟踪数据的记录、传输以及可视化共享机制都有待深入研究.为此,建立了基于梯度优化的协同标定模型,简化多用户的眼动跟踪标定过程;然后提出面向多用户的眼动跟踪计算架构,优化眼动跟踪数据的传输和管理.进一步地,探索眼动跟踪数据的可视化形式在协同交互环境下对用户视觉注意行为的影响,具体设计了圆点、散点、轨迹这3种可视化形式,并验证了圆点形式能够有效地提高多用户协同搜索任务的完成效率.在此基础上,设计与开发了基于眼动跟踪的代码协同审查系统,实现了代码审查过程中多用户眼动跟踪数据的同步记录、分发,以及基于实时注视点、代码行边框和背景灰度、代码行之间连线的可视化共享.用户实验结果表明,代码错误的平均搜索时间比没有眼动跟踪数据可视化分享时减少了20.1%,显著提高了协同工作效率,验证了该方法的有效性.     

支持装配引导的单手指手势交互方法

工业装配引导增强现实(AR)系统使用鼠标键盘等传统交互方法,难以在启动装配任务和执行装配操作之间实现无缝装配引导。为解决该问题,提出一种基于Color Predicate的单手指手势交互方法,将该方法与ARToolKit标识板系统相结合,开发堆积木部件装配引导增强现实演示系统。应用和分析结果表明,该方法在室内环境下具有较好的鲁棒性,在 AR 装配应用中能够无缝引导用户快速完成部件装配任务。     

一种基于数据手套的静态手势识别方法

在虚拟环境的交互任务实施过程中,手势识别的正确率和效率将直接影响到操作者的沉浸感和成功率.针对已有的手势识别方法难以在既保证较高识别正确率的同时又满足实时性要求的问题,提出一种能够有效用于静态手势识别的手型特征提取方法以及相应的手型特征点集匹配策略.首先,利用可穿戴式设备——数据手套采集多种原始的手部运动数据,对这些数据进行预处理后构建出手势库;然后,提取并表示每一种手势的手型特征;最后,运用特征点集模板匹配方法进行手势识别.实验结果证明,该方法在手势类别数目较大(25类手势)时识别正确率能够达到98.9%,并且计算量小、效率高,能够保证用户和虚拟环境交互的实时性.     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

基于机器视觉的动态多点手势识别方法

提出了一种高效的基于HSV颜色空间的多目标检测跟踪方法,实现通过摄像机实时检测跟踪多个指尖目标;定义了一套基于指尖运动轨迹的动态手势模型,并提出了动态手势识别方法;对于两点动态手势,通过BP神经网络进行手势学习和手势识别,而对于模拟鼠标手势和四点动态手势,利用指尖之间相互位置关系进行手势识别.测试结果表明,该方法能够快速、准确的跟踪多个运动的指尖目标并进行动态多点手势识别.     

一种快速的非侵入式眼动跟踪方法

针对眼控人机交互系统对实时性要求较高的特点,提出了一种快速、非侵入式的眼动跟踪方法。首先融合CamShift跟踪算法和AdaBoost型目标检测方法快速地分割出眼睛所在矩形区域;然后在第一帧视频图像中精确定位虹膜并建立虹膜模板;最后通过放大或缩小虹膜模板自适应地在后续各帧视频图像中搜索匹配以预测虹膜位置。虹膜中心相对眼角或鼻孔的位移可用于控制鼠标指针在屏幕上移动。在分辨率为640×480的视频上,取得了32帧/秒的跟踪速度,正确率达到95.5%。实验结果表明方法是有效的,可直接应用于眼控人机交互系统。     

Effects of User’s Hand Orientation and Spatial Movements on Free Hand Interactions with Large Displays

In motion-sensing interaction with large displays through bare hands, we can observe that users alternate their hands and move their bodies frequently. What cause such actions and how these actions affect free hand interaction results are less systematically investigated. To address this gap in knowledge, we conducted studies on Pointer-Acceleration (PA)-based free hand interactions of target selection and found that (1) users made more frequent hand alternations when selecting small targets with large movement amplitudes, as in such cases users were not only affected by observable arm fatigue, but were also motivated to switch hands for higher selection accuracy and convenience; (2) hand alternation led to the hand orientation effects: target selection on display areas at the operating hand’s side was more efficient and accurate than that at the opposite side; (3) large movement amplitudes on the user interface increased users’ physical movements in front of the large display, which harmed selection efficiency; (4) selection of small targets led to a closer interaction distance, while large movement amplitudes led to a larger interaction distance; and (5) selection results were affected by interaction distances, as users gained high efficiency, but low accuracy at a large distance and low efficiency, but high accuracy at a close distance. Given these results, this article discusses practical implications for applying PA-based free hand interaction techniques and designing related user interfaces on large displays.     

A virtual speller system using SSVEP and electrooculogram

In this study a novel hybrid speller/keyboard system that combines electro-oculogram (EOG) with steady state visual evoked potential (SSVEP) is designed. Conventional EOG based speller system needs continuous eye movements for selecting a single target and it has a limitation on total number of targets. In this proposed speller, 36 targets are divided into nine groups, which includes alphabets, numbers and special characters. Target selection consists of two stages. Various eye movements (gaze, blinks, winks) are used for selecting the target groups and SSVEP is used to identify the target from the selected group. The cue guided online and free spelling tasks were performed on 10 subjects to validate the proposed system. The average classification accuracy of the proposed system is 94.16% with the information transfer rate (ITR) of 70.99 (±9.95) bits/min. For validating the proposed speller system, the classification accuracy and ITR were compared with conventional speller systems.     

基于多特征融合与分层数据关联的空中红外多目标跟踪方法

针对星空背景下目标相似度高、数量大和误检数目较多所导致的空中红外多目标跟踪困难问题,提出基于分层数据关联的空中红外多目标在线跟踪方法。首先,根据红外场景特性来提取目标的位置特征、灰度特征和尺度特征;其次,综合这三个特征来计算目标与轨迹之间的初步关联关系以获得真实目标;再次,将所获得的真实目标按照尺度大小分类,大尺度类目标数据关联采用表观特征、运动特征、尺度特征三种特征相加的方法来计算,小尺度类目标数据关联采用表观特征与运动特征两种特征相乘的方法来计算;最后,根据匈牙利算法对两类目标分别进行目标分配、完成轨迹更新。多种复杂情况下的实验结果表明：与仅采用运动特征的在线跟踪方法相比,所提方法的跟踪准确率提升了12.6%;与采用多特征融合的方法相比,所提方法的分层数据关联不仅提高了跟踪速度,也使跟踪准确率提升了19.6%。综上,该方法不仅跟踪精度高,而且具有较好的实时性和抗干扰能力。     

基于多特征融合与分层数据关联的空中红外多目标跟踪方法

针对星空背景下目标相似度高、数量大和误检数目较多所导致的空中红外多目标跟踪困难问题，提出基于分层数据关联的空中红外多目标在线跟踪方法。首先，根据红外场景特性来提取目标的位置特征、灰度特征和尺度特征；其次，综合这三个特征来计算目标与轨迹之间的初步关联关系以获得真实目标；再次，将所获得的真实目标按照尺度大小分类，大尺度类目标数据关联采用表观特征、运动特征、尺度特征三种特征相加的方法来计算，小尺度类目标数据关联采用表观特征与运动特征两种特征相乘的方法来计算；最后，根据匈牙利算法对两类目标分别进行目标分配、完成轨迹更新。多种复杂情况下的实验结果表明：与仅采用运动特征的在线跟踪方法相比，所提方法的跟踪准确率提升了12.6%；与采用多特征融合的方法相比，所提方法的分层数据关联不仅提高了跟踪速度，也使跟踪准确率提升了19.6%。综上，该方法不仅跟踪精度高，而且具有较好的实时性和抗干扰能力。     

使用人眼几何特征的视线追踪方法

目的 视线追踪是人机交互的辅助系统,针对传统的虹膜定位方法误判率高且耗时较长的问题,本文提出了一种基于人眼几何特征的视线追踪方法,以提高在2维环境下视线追踪的准确率。方法 首先通过人脸定位算法定位人脸位置,使用人脸特征点检测的特征点定位眼角点位置,通过眼角点计算出人眼的位置。直接使用虹膜中心定位算法的耗时较长,为了使虹膜中心定位的速度加快,先利用虹膜图片建立虹膜模板,然后利用虹膜模板检测出虹膜区域的位置,通过虹膜中心精定位算法定位虹膜中心的位置,最后提取出眼角点、虹膜中心点等信息,对点中包含的角度信息、距离信息进行提取,组合成眼动向量特征。使用神经网络模型进行分类,建立注视点映射关系,实现视线的追踪。通过图像的预处理对图像进行增强,之后提取到了相对的虹膜中心。提取到需要的特征点,建立相对稳定的几何特征代表眼动特征。结果 在普通的实验光照环境中,头部姿态固定的情况下,识别率最高达到98.9%,平均识别率达到95.74%。而当头部姿态在限制区域内发生变化时,仍能保持较高的识别率,平均识别率达到了90%以上。通过实验分析发现,在头部变化的限制区域内,本文方法具有良好的鲁棒性。结论 本文提出使用模板匹配与虹膜精定位相结合的方法来快速定位虹膜中心,利用神经网络来对视线落点进行映射,计算视线落点区域,实验证明本文方法具有较高的精度。     

Visual tracking based on online sparse feature learning

Various visual tracking approaches have been proposed for robust target tracking, among which using sparse representation of the tracking target yields promising performance. Some earlier works in this line used a fixed subset of features to compress the target's appearance, which has limited modeling capacity between the target and the background, and could not accommodate their appearance change over long period of time. In this paper, we propose a visual tracking method by modeling targets with online-learned sparse features. We first extract high dimensional Haar-like features as an over-completed basis set, and then solve the feature selection problem in an efficient L₁-regularized sparse-coding process. The selected low-dimensional representation best discriminates the target from its neighboring background. Next we use a naive Bayesian classifier to select the most-likely target candidate by a binary classification process. The online feature selection process happens when there are significant appearance changes identified by a thresholding strategy. In this way, our proposed method could work for long tracking tasks. At the same time, our comprehensive experimental evaluation has shown that the proposed methods achieve excellent running speed and higher accuracy over many state-of-the-art approaches.     

检测区域动态调整的TLD目标跟踪算法

针对经典跟踪-学习-检测(TLD)目标跟踪算法由于检测区域过大而导致的检测时间过长及对相似目标跟踪处理效果不理想的问题,提出一种检测区域可动态自适应调整的方法——TLD-DO。该方法利用两次Kalman滤波加速度矫正预测的检测区域优化算法DKF,通过缩小TLD检测器检测范围,以达到在跟踪精度略有提升的情况下提高跟踪速度的目的;同时此方法可排除画面内相似目标的干扰,提高在含有相似目标的复杂背景下目标跟踪的准确性。实验结果表明:TLD-DO算法在处理不同视频与跟踪目标时,检测速度有1.31~3.19倍提升;对含有相似目标干扰情况下,跟踪效果明显优于原TLD算法;对目标抖动及失真情况有较高的鲁棒性。     

基于双眼同步运动特征约束的Kalman瞳孔跟踪算法

针对注视点研究中,红外光照明下双眼瞳孔运动的定位跟踪存在误差的问题,以双眼实时图像为研究对象,提出一种基于双眼同步运动特征约束的瞳孔跟踪算法.根据人类双眼在注视过程中的同步运动特征,把双眼瞳孔间距矢量作为隐式参数进行估计,简化包含左右眼位置、速度和双眼瞳孔间距的模型为统一的双眼同步跟踪模型,运用Kalman滤波器实现了运动特征估计和状态跟踪.实验采用自制的头戴式注视点传感装置进行眼部图像的采集.实验表明,该算法跟踪精度高,抗干扰能力强.相较于传统的以左右瞳孔位置与速度以及左右眼相对位置为状态量的算法,本文算法在位置跟踪和速度跟踪的鲁棒性上有明显改善,算法计算量也明显减少.另外,经过本文算法处理后的注视点位置估计精度大大提高,为注视点在人机交互领域中的进一步应用奠定了基础.     

目标颜色对视线交互的影响研究

随着眼动跟踪技术的日益成熟,面向终端用户的视线输入产品问世,视线交互(Gaze-based Interaction)的实用性越来越高。然而,由于眼睛并不是与生俱来的控制器官,用户界面中无论动态或静态的各种视觉反馈,在视线交互过程中都可能干扰用户的眼动,从而影响视线输入(视点坐标)。因此,通过两个视线点击(Eye Pointing)实验,从视点的空间分布特征和视线交互的人机工效两个方面,系统地评估了目标颜色因素对视线交互的影响。结果表明,目标颜色这类静态视觉反馈虽然不影响用户凝视目标时视点坐标的稳定性,但的确会对用户的眼动扫视过程造成显著影响,从而影响视线点击任务的人机工效。特别是在视线移动距离较长的情况下,这种影响更为明显。     

基于无人机跟踪的目标反遮挡算法

随着计算机视觉和无人机的蓬勃发展,目标跟踪是当下研究热点之一;但对于该方向,目前存在大量问题,目标的遮挡就是其中之一;因此,为了解决该问题,在此提出了一种无人机抗遮挡目标跟踪算法;该算法基于均值漂移目标跟踪算法;采用动态参数选择策略和双预测机制相结合的方法来解决目标跟踪过程中的目标遮挡问题;为了避免目标丢失,算法中采用目标检测的方法;大量实验表明,在与现有的算法比较过程中,该算法展示出了对遮挡目标跟踪有较好的鲁棒性和实时性;与其他算法相比,其精度提高约了10%,平均目标符合率提高了约15%。