一种独立于应用程序的多点触摸交互中间件*

在对鼠标事件特性分析和触摸手势描述的基础上,设计实现了一种基于鼠标事件映射的多点触摸交互中间件,包括声明法、映射法两种实现途径。该中间件能够不进行程序改造而在传统基于鼠标交互的应用程序上实现多点触摸,具有平台无关的通用性。最后通过在多款地理信息系统软件中的应用对该中间件进行了验证和评估。     

虚拟训练系统中大屏幕多点触摸研究与实现

研究虚拟训练中的人机交互问题,使虚拟训练系统支持多点触摸操作.针对鼠标键盘交互沉浸感不足,训练效果不佳,而专业VR设备成本太高等问题,提出利用多点触摸设备作为人机交互接口以改善用户体验.研究了几种常见的多点触摸技术,设计并实现了一种采用光学感应原理的大屏幕多点触摸系统;研究了多触点信息的传输机制,改进了虚拟现实开发软件Virtools,使其能够识别多点触摸手势并做出正确响应.应用实践表明,训练系统沉浸感强,能够准确识别并跟踪多个红外触点,响应迅速,很好地满足了虚拟训练的需求.     

一种基于球形显示的多点触摸系统

设计并实现了一个基于球形显示的多点触摸系统,分别从硬件搭建和软件实现两方面讨论了系统的具体实现过程,通过对系统进行的测试和验证,显示了多点触摸系统带来的交互性和便捷性。     

基于多点触摸的交互手势分析与设计*

提出了基于多点触摸的交互手势分析与设计方法。引入触摸手势元动作,采用接触面类型和状态及运动方式描述触摸手势,给出了简单触摸手势的统一描述框架,并提出了交互手势与交互任务的映射规则,将手势定义和手势意图联系起来。向交互设计者提供一种系统化和标准化的方法,提高了交互手势设计的通用性。     

多点触摸概述与手势实现

多点触摸随着iphone的推出风靡全球,是当今最炙手可热的人机交互方式。该文对多点触摸的原理和编程模型进行简要的介绍,并给出了一些触摸手势的C#编程实现。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

基于多源信息融合的手势智能交互系统

利用表面肌电信号（surface ElectroMyoGraphy， sEMG）设计了一个提高分类准确性和快速性的识别系统，用于捕获手势动作并进行人机交互.首先，基于无线肌电测量系统和飞行器自主搭建了智能交互平台；接着，采用滑动时间窗的方法对原始sEMG信号设计短时能量阈值进行信号活动段始末点的确定，从而抑制了动作刚执行时趋势段对识别结果的影响；然后，利用时域统计分析对sEMG信号进行特征分析，并提出了一种融合加速度特征信息和sEMG信号的方法来建立5种手势的分类模型.与仅使用sEMG信息源的方式相比，此方法提高了识别准确率.最后，手势控制飞行器运动的实验证明了本方法的可行性和有效性.     

基于FTIR的多点触摸实时互动桌面系统

针对2010年上海世博会主题馆设计需求,提出并实现一种低成本的多点触摸实时互动桌面系统。以受抑全内反射(FTIR)技术为核心,介绍多点触摸屏的设计和实现。基于计算机视觉,采用改进的最小距离优先算法和字符串相似度算法,实现对交互手势的识别。通过基于软件的几何校准和边缘融合,对多投影机画面进行无缝拼接,形成一个逻辑上统一的大屏幕。应用结果表明,该系统具有较好的实时性、交互性和娱乐性。     

面向多投影显示墙的手势交互系统设计与实现

在PC集群驱动的多投影显示环境下,设计并实现了一个基于计算机视觉技术和数据手套的手势交互系统(gesture-based interaction system,GBIS).GBIS整合了满足色彩一致性和特征一致性的特征点跟踪算法来实现交互动作的捕捉,并配合数据手套的有限状态机输出,实现了实时的沉浸式手势交互.实验结果表明:当所用摄像头的采集频率不低于30帧时,该系统能够实时地跟踪手臂的交互动作,同时保持较高的跟踪精度和交互可靠性.     

支持装配引导的单手指手势交互方法

工业装配引导增强现实(AR)系统使用鼠标键盘等传统交互方法,难以在启动装配任务和执行装配操作之间实现无缝装配引导。为解决该问题,提出一种基于Color Predicate的单手指手势交互方法,将该方法与ARToolKit标识板系统相结合,开发堆积木部件装配引导增强现实演示系统。应用和分析结果表明,该方法在室内环境下具有较好的鲁棒性,在 AR 装配应用中能够无缝引导用户快速完成部件装配任务。     

基于Petri网和BPNN的多重触控手势识别

为解决多重触控技术的手势识别问题,提出一个多重触控手势描述与识别框架,给出其描述和识别方法。多重触控手势可分为原子手势和组合手势,在手势描述过程中,利用BP网络对原子手势进行建模,然后在将用户的意图映射为原子手势逻辑、时序和空间关系关联而成的组合手势,并在Petri网引入逻辑、时序和空间关系描述符对组合手势进行描述。在手势识别过程中,根据BP网络分类器检测出原子手势,并触发组合手势Petri网模型的转移,实现组合手势的识别。实验结果表明该方法对不同用户操作习惯有鲁棒性,能有效解决多重触控手势识别问题。     

基于多光源红外传感技术的手势识别系统

手势识别是一种有效的人机交互手段,针对识别算法复杂或适用范围窄等问题,设计一种基于多光源红外传感技术的手势识别系统。首先获取手势动作数据,然后结合不同手势的运动特征,采用区间概率算法识别手势类型,最终完成动作指令输出。通过实验对常见6种手势进行识别,平均识别率达93.67%。该系统操作简单、成本低,可用于多种智能交互场合。     

动态调整用户认知负荷的智能增强现实系统

把认知负荷测量技术集成进空间增强现实系统,提出动态调整用户认知负荷水平的智能空间增强现实系统（ISARS）系统。ISARS的目标是对用户在进行任务时的认知状态进行实时监测,并根据用户认知状态动态调整空间增强现实系统的增强信息,以使用户处于最佳工作状态并提高工作效率和保证工作质量。ISARS包含两个子系统：空间增强现实（SAR）子系统和认知负荷度量（CLM）子系统,SAR子系统把不同的增强信息投影到物体物理表面。CLM子系统对用户在工作过程中的认知负荷进行度量。实验结果表明,ISARS能够根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力,从而提高用户工作效率。     

增强现实系统中的虚拟交互方法

在基于ARToolKit的增强现实系统中,注册在不同标识物上的三维虚拟物体因交互行为而发生碰撞时,虚实融合会失真。为解决该问题,提出一种能增加虚拟交互功能的碰撞反应算法。根据检测到的碰撞信息,实时调整虚拟物体碰撞后相对于标识物的位置和姿态,消除物体穿透现象,保持虚实融合场景的真实感。实验结果表明,该虚拟交互方法能获得比较自然和真实的交互性体验。     

Interactive robot trajectory planning and simulation using Augmented Reality

Human-robot interaction in industrial robotics has largely been confined to finding better ways to reconfigure or program the robots. In this paper, an Augmented Reality based (RPAR-II) system is proposed to facilitate robot programming and trajectory planning considering the dynamic constraints of the robots. Through the various simulation capabilities provided in the proposed AR environment, the users are able to preview the simulated motion, perceive any possible overshoot, and resolve discrepancies between the planned and simulated paths prior to the execution of a task. By performing the simulation, the performance of the trajectory planning and the fitness of the selection of the robot controller model/parameters in the robot programming process can be visually evaluated. Practical issues concerning the system implementation are also discussed.     

Evaluation of an Augmented Reality Supported Picking System Under Practical Conditions

Order picking is one of the most important process steps in logistics. Because of their flexibility, human beings cannot be replaced by machines. But if workers, in order, picking systems are equipped with a head-mounted display, Augmented Reality can improve the information visualization. In this paper, the development of such a system—called Pick-by-Vision—is presented. The system is evaluated in a user study performed in a real storage environment. Important logistics figures as well as the subjective strain were measured. The results show that a Pick-by-Vision system can considerably improve industrial order picking processes.     

基于穿戴式加速度传感器的手势识别系统

采用ez430-chronos智能手表作为开发平台,利用其内置功能,读取手部运动产生的加速度数据,并将其传送至处理器。对目标手势采集一定量的数据,同时采集同样量的负样本—人手的自然动作,比较二者不同之处,确定目标手势的特征,并利用该特征识别目标手势。实验结果表明:该系统对目标手势有较高识别率,而对负样本有较高的误识别率,但可以通过设定更详细的识别特征进行改善。     

基于指尖触控的互动投影系统

随着人机交互技术的不断发展,互动投影技术的应用逐渐广泛.该技术通过摄像机等传感器技术感知周围场景动态并结合投影的显示功能实现交互的方式,如增强现实、结构光编码、三维重建等.基于触控的互动投影技术在未来的嵌入式人机交互系统中具有广阔的前景.文章基于单目摄像机与投影仪系统实现能够在任意平面徒手触摸的交互.系统的功能主要通过前景区域分割、指尖点的定位以及触摸检测三个步骤来实现.与目前相关领域的研究文献进行的对比实验证明,所提算法在稳定性、准确性以及实时性等方面具有一定优势.     

基于增强现实的多视图机器人控制系统

传统的基于增强现实的单视图视频融合机器人控制系统存在如下问题：场景深度信息不足;标识被遮挡等导致标识识别失败,从而影响视频融合;视频传输过程中由网络拥塞造成的时延丢包,影响反馈视频的实时高质量地显示。为此,提出了多视图视频融合方法,构建多视图控制系统,并提出了改进的网络拥塞控制策略。实验结果表明,控制系统能有效地提高叠加显示仿真机器人的稳定性,很大程度上提高了操作的正确率。     

Augmented Reality-assisted Intelligent Window for Cyber-Physical Machine Tools

Aiming to advance current machine tools to a higher level of intelligence and autonomy, this paper presents a new generation of machine tools, i.e. Cyber-Physical Machine Tool (CPMT), inspired by the recent advances in Cyber-Physical Systems (CPS). CPMT refers to a CPS-enabled machine tool that integrates physical machine tool and machining processes with computation and networking capabilities. Augmented Reality (AR) is used to enable intuitive and efficient human-machine interactions between humans and CPMT. An AR-assisted Intelligent Window for CPMT is proposed. The Intelligent Window is essentially an advanced Human-Machine Interface (HMI) which provides users with intuitive interactions with CPMT. The proposed Intelligent Window consists of four main functional modules, Real-time Control, AR-enabled Process Monitoring, AR-enabled Machining Simulation, and Process Optimization. An AR-assisted Intelligent Window for an EMCO Concept 105 milling machine is developed making use of a touch-screen computer. The advantages and potentials of CPS and AR in manufacturing are discussed based on the experience gained from the experiments.