MTDriver:一种改进的多点触摸桌面工具包

目前多点触摸桌面广泛采用计算机视觉技术实现.触摸信息是通过手指反射的红外线在红外摄像机下成像,然后对红外相机得到灰度图像进行手指区域提取,跟踪,校正得到.由于桌面表面红外光照射不均衡,环境噪声干扰等因素,目前存在的多点触摸工具包在检测和跟踪方面效果较差,也没有考虑手指运动和摄像机畸变的影响.本文提出基于图像局部极值点检测手指触摸区域,结合手指运动和相邻帧信息进行手指跟踪,实现摄像机畸变校正的多点触摸桌面系统工具包MTDriver.实验结果表明,MTDriver 跟踪识别准确,效率高,鲁棒性强,具有实用性.     

基于智能手机的三维交互技术研究

利用智能手机的多通道输入和输出功能可为解决大屏幕远距离交互提供了一条有效途径.通过分析大屏幕远距离交互的特点,给出了一个基于智能手机的三维交互框架;针对利用惯性传感器的计算智能手机空间姿态问题,结合交互的特点提出了一种实时、快速、准确地解算手机的空间姿态的算法;基于手机的空间姿态和触摸交互,针对大屏幕交互中二维交互与三维交互分别设计了2类交互技术,并给出3个应用实例.最后通过实验对这3个实例进行了实验评估,结果表明智能手机在大屏幕、远距离交互中是合理与有效.     

多触点交互桌面左右手区分方法

现有多触点交互桌面系统通常只提供触点位置、形状等信息,不包括触点左右手归属信息.触点所属手及左右手手性信息的提供,对于多指手势识别、丰富双手交互技术,尤其是非对称双手交互技术具有重要意义.基于手的解剖结构特征,提出一种不需辅助硬件设备的触点左右手归属判定方法.首先,以手势设计的基本原则为指导,根据手的解剖结构特征,提出交互桌面手-臂系统三角形模型;其次,基于该三角形模型,给出多触点交互桌面同手触点聚类方法及左右手识别方法;然后,对MTDriver做扩展,实现了提供左右手信息的多触点跟踪工具箱,并提出了基于左右手信息的交互桌面交互技术;最后,评估结果表明,同手触点聚类方法及触点左右手手性识别方法均具有较高的正确率,而且在时间性能方面满足交互桌面交互实时性要求.     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.