面向人机工程学测试的虚拟手仿真模型

以人机工程学测试为目标提出虚拟手仿真模型,建立虚拟手运动学模型。提出一种曲线拟合的校准方法,以获取精确的数据,更好地控制虚拟手的运动。建立弹簧模型计算手与被抓取物体之间的受力,以视觉渲染的形式将其反馈给用户。实验结果表明,虚拟手可自然地抓取三维虚拟物体,视觉反馈的使用可免于购买昂贵的力反馈设备。     

适应物体形状的虚拟手抓取

目的 虚拟手抓取是虚拟交互中的核心技术之一,直接影响沉浸感。已有的虚拟手抓取规则基于接触点法矢夹角和接触点与体心连线的夹角,但在部分形状上不能正确抓取。为此提出一种适应物体形状的抓取规则。方法 针对长方体、球、圆柱这些构成物体的基本几何体,利用形状特征和手指抓握的接触关系制定抓取规则：1）长方体的规则是至少有3个不共线的接触点,并且一对接触点法矢夹角超过90°;2）球的规则要对接触点和球心的空间关系进行计算;3）圆柱的规则根据接触点是否在曲面上,使用长方体规则,或是仿照球的规则判断。对于需要使用多个几何体描述外形的复杂物体,先按照这3种基本几何体分解、单独计算,然后筛选出其中不稳定状态的几何体,把整体的接触点位置、法矢信息集中在这些不稳定状态几何体上,用单一几何体的抓取规则计算整体的抓取。同时加入力矩平衡可能性的计算,抓取规则和力矩平衡二者都满足才判定抓取成功,进一步减少了错误判断的发生。结果 使用unity3d构建虚拟场景,并用neuron的数据手套采集人体、手指数据,进行虚拟交互的仿真。该方法可以正确处理类似水杯这样的多几何体组合物体的抓取判断。结论 本文提出了基于物体形状的抓取规则,和用简单基本形状分解复杂物体的计算方法,准确计算抓取,符合直观感受。     

虚拟手抓持规则融合策略研究

群体虚拟手抓持规则是虚拟手和虚拟物体进行抓持操作的交互规则,用于判定虚拟手是否能够成功抓持物体。对基于几何的虚拟手抓持规则和基于物理的虚拟手抓持规则分别进行了研究,针对基于几何的虚拟手抓持规则规则简单、仿真效果较差,基于物理模型的虚拟手抓持规则计算复杂、难以实现实时仿真的问题:（1）改进基于几何的虚拟手抓持规则,通过接触点位置、法矢和抓持面法矢制定抓持规则,使其效果逼近力封闭虚拟手抓持规则;（2）利用力封闭计算中抓持接触点和法矢不变的特性,通过内力配比避免了抓持操作中的非线性规划求解,使抓持操作阶段实现实时仿真;（3）通过几何约束进行初始抓持判断-力封闭计算校正-内力配比力封闭计算的策略,实现了完整的抓持过程实时仿真。设计的交互实验说明该抓持规则能实现高沉浸感和实时性的抓持仿真,可以应用到虚拟训练、虚拟装配等仿真平台。     

虚拟手模型及其抓取技术

在深入分析手的解剖结构和运动特点的基础上，采用层次结构建模方法，建立了虚拟手模型、然后针对已有的虚拟手抓取规则过于简化的特点，提出了一种新的虚拟手抓取规则．该规则能够使虚拟手正确地抓取虚拟环境中的物体．最后运用虚拟手模型和抓取规则实现了虚拟手对虚拟物体的抓取、移动和释放操作．     

虚拟柔性体实时形变仿真模型研究

为了在虚拟现实柔性体力触觉交互研究中得到稳定、连续、真实的力触感,提出一种基于球面调和函数表达的虚拟柔性体实时形变仿真模型,利用球面调和函数的正交归一、旋转不变、多尺度等特性实现物体的快速准确表达.在变形体的密度、杨氏模量、泊松比等参数已知的情况下,基于径向基函数神经网络模型预测柔性体受力形变后的SH模型.仿真结果表明,该方法不仅可以准确表达柔性体的实时形变,而且使得基于SH表达的柔性体形变的视觉刷新描述与柔性体反馈力的触觉刷新描述同步,从而满足虚拟手术仿真训练等虚拟柔性体力触觉交互研究要求.     

虚拟手操作技术研究及实现

人机交互是虚拟现实的关键技术之一,而虚拟手操作技术是人机交互技术的重要组成部分,是虚拟现实和运动学相结合的产物.在虚拟手操作技术中如何实现实时、准确的抓取一直是人们所关注的问题.首先研究了虚拟手在虚拟场景中的碰撞检测理论,并在此基础上制定了虚拟手对虚拟物体的稳定抓取规则,然后以Open Inventor为软件平台,采用数据手套和位置跟踪器作为主要的输入设备,实现了虚拟手对虚拟物体的抓取、移动、释放等一系列虚拟操作,实例证明了该技术具有很强的实用性.     

交互式乐器演奏的六自由度力觉渲染方法

目的在进行虚拟乐器交互演奏时,需要模拟触力觉-视觉-听觉多通道同步反馈,其中触力觉反馈的难点在于模拟人手操作乐器的六自由度(6-Do F)力觉交互过程。方法提出一种基于混合模型和单边约束优化的六自由度力觉合成方法,实现了虚拟人手和琴弦的多点多区域接触力觉模拟。虚拟人手采用层次化球树模型表达,古琴采用混合模型表达,其中琴体和琴弦分别采用层次化球树模型和直线解析模型。提出了基于混合模型的离散碰撞检测算法,实时检测虚拟手和琴弦是否产生碰撞;基于发生碰撞的几何元素对建立单边不可穿透约束方程,通过Active Set方法求解约束优化后方程,获得6维位姿变量保证图形显示场景中的虚拟手不会和琴弦产生穿透。为模拟琴弦变形,提出变直径的圆柱体模型来模拟琴弦在不同振动幅度下的动力学响应;提出交互状态敏感的力计算模型以刻画人手在弹奏不同状态琴弦(静态、振动态)的力觉感受差异。结果基于力觉交互设备Phantom Premium 3.0建立了实验平台,实验结果表明,本文算法可以模拟单点、多点等不同接触状态,并能模拟6维力和力矩,操作者可以感受到琴弦振动时的细腻力感觉,力觉交互过程稳定,算法计算效率在1 k Hz以上。结论算法可模拟针对琴弦一类的超薄形状物体的多点接触力觉交互过程,算法计算效率高,包含碰撞检测、约束优化、琴弦变形仿真等计算回路的更新频率也能达到要求,该混合模型能为后续复杂形状物体的碰撞响应研究提供思路。     

虚拟手交互中约束类物体操作研究

虚拟手技术是虚拟现实技术中的一种交互方式，是指通过手势识别技术将人的真实手映射到虚拟环境中并与虚拟物体进行交互操作的人机交互方式。主要应用于虚拟训练、虚拟手术和虚拟装配等领域。对虚拟手交互的约束类对象进行了研究，提出了基于运动学的约束类物体操作方法，解决了阀门类有约束物体交互中虚拟手姿态不真实、操作不可控的问题。设计实验验证了基于运动学的方法能以符合实际操作的效果完成虚拟现实系统中的操作任务，可以应用到虚拟训练、虚拟装配等仿真平台。     

基于P-Agent的虚拟维修样机交互特性建模方法

为了有效提高虚拟维修仿真中的虚拟维修样机部件的实时和自然的交互方式,根据虚拟维修仿真需求和交互支持,提出了基于P-Agent的虚拟维修样机交互特性建模方法.给出了P-Agent的定义与交互模型的定义,围绕虚拟维修中交互的实时性和自然性两大要素展开研究,对通信过程中的交互方式进行了设计,针对通信原语无法支持自然交互存在的不足,对通信原语进行了扩充,使其能够支持P-Agent之间更高层次、更复杂、更多交互协作的交互.仿真过程表明,应用改进的建模方法可以实现良好自然的交互,能够满足实时的虚拟维修仿真交互,具有通用性.     

抓取操作中手与虚拟物体的自然融合

由于现有硬件和检测条件的限制,抓取中手指与虚拟物体之间往往会有穿透和空隙现象出现,无遮挡时就会被用户察觉;如果立即改变虚拟物体的位置来消除穿透和空隙,会使虚拟物体产生明显跳跃,缺乏交互真实感。分析了运动时手指与虚拟物体的遮挡关系,运用三维图形学中的理论实现对不遮挡情况的判断;将其与灰色预测理论相结合,实现对手的移动预测;根据预测结果和最大速度差原则,自适应地调整虚拟物体的速度,使虚拟物体与手逐渐融合。实验结果表明,使用提出的方法,既可提高抓取的成功率,又能保证虚拟物体与手的自然融合。     

基于虚拟力引导的人机协同目标抓取方法

针对力反馈遥操作中传统人工势场法无法适应于机械臂整体的避障以及在作业过程中操作者难以控制机械臂到达所需位姿的问题,提出了一种基于虚拟力引导的人机协同目标抓取方法。力反馈设备向操作者提供力觉交互。通过结合人工势场法和虚拟夹具,构建管道形虚拟力场,生成实时虚拟力引导,实现协助操作者完成从端机器人的整体避障任务并在完成避障后引导机器人返回预定义路径并趋近目标点。当进行抓取任务时,构建锥形虚拟力场,实现协助操作者操作机械臂到达目标位置和姿态。此外,提出了一种机器人运动限制方法以降低操作者的操作失误对抓取任务的影响。实验证明,该方法能有效提高目标抓取操作的成功率和操作效率。     

用于实时柔性触觉再现的平行菱形链连接模型

精度高且实时性好的柔性触觉变形模型是实现触觉再现系统的关键。提出了一种新的基于物理意义的平行菱形链连接触觉变形模型,系统中各个链结构单元相对位移的叠加对外等效为物体表面的变形,与之相连的弹簧弹性力的合力等效为物体表面的接触力。使用Delta 6-DOF手控器,建立了触觉再现实验系统,对柔性体的接触变形和实时虚拟触觉反馈进行仿真, 实验结果表明所提出的模型不仅计算简单,而且能够保证触觉接触力和形变计算具有较高精度,满足虚拟现实系统对精细作业和实时性的要求。     

Networked multiplayer cooperative interaction using decoupled motion control method in a shared virtual environment with haptic,visual and movement feedback

This paper focuses on multiplayer cooperative interaction in a shared haptic environment based on a local area network. Decoupled motion control, which allows one user to manipulate a haptic interface to control only one‐dimensional movement of an avatar, is presented as a new type haptic‐based cooperation among multiple users. Users respectively move an avatar along one coordinate axis so that the motion of the avatar is the synthesis of movements along all axes. It is different from previous haptic cooperation where all users can apply forces on an avatar along any direction to move it, the motion of which completely depends on the resultant force. A novel concept of movement feedback is put forward where one user can sense other users’ hand motions through his or her own haptic interface. The concept can also be explained wherein one person who is required to move a virtual object along only one axis can also feel the motions of the virtual object along other axes. Movement feedback, which is a feeling of motion, differs from force feedback, such as gravity, collision force and resistance. A spring‐damper force model is proposed for the computation of motion feedback to implement movement transmission among users through haptic devices. Experimental results validate that movement feedback is beneficial for performance enhancement of such kind of haptic‐based cooperation, and the effect of movement feedback in performance improvement is also evaluated by all subjects.Copyright © 2012 John Wiley & Sons, Ltd.     

虚拟手抓持力觉生成算法真实性的评价

目的 虽然许多学者研发了多种虚拟手交互触力觉生成算法,但是如何评价虚拟手交互触力觉生成算法的真实性是一个富有挑战性的新问题,值得深入研究.方法 构建手指抓持力测量平台,设计3种抓持姿态下指尖静力抓持球体实验内容,测得各指尖作用力的实测值;通过虚拟手静力抓持力觉生成算法,求得这3种抓持姿态下各手指作用力的理论值;对实测值进行统计和分析,并与理论值进行对比和讨论;结果 日常抓持经验和实测值是完全相符的,实测值和理论值很接近且偏差均在可接受范围之内.单个手指作用力或多个手指合力的实测值与理论值的偏差均在1%6%.结论 本文实现了一种基于物理的实验方法,评价和分析了虚拟手静力抓持力觉生成算法的真实性,证实此算法可以逼真地生成虚拟手抓持力,可应用于具有力反馈的自然的虚拟手交互.     

虚拟拆卸中多方式交互技术的应用

通过分析虚拟环境下不同人-机交互方式的特点，结合对产品装配体进行人工拆卸的操作活动，提出面向虚拟拆卸的人-机-零件间的多方式交互操作方法，在虚拟环境下研究和利用手抓取操作、手势操作、语音命令和3D虚拟菜单等多种交互方式对产品零部件进行自然、直观的人工拆卸，人机结合进行产品的装配／拆卸序列规划。     

双触点交互的力触觉实时生成方法

力触觉的生成和交互有助于提升虚拟环境的沉浸感和真实性.提出了一种双触点交互的力触觉实时生成方法.把双触点交互分为4种状态,分别提出不同状态下双触点交互的力触觉实时生成算法,并建立虚双触点交互的实验环境,开展双触点交互力触觉生成的评价研究.实验结果表明,该方法能够实时生成双触点交互时的力触觉,增强虚拟环境的沉浸感和真实性,提升了人手力触觉交互的自然性.     

基于虚拟手的人机交互关键技术

基于虚拟手的人机交互技术是虚拟现实中的研究热点。对其中的关键技术进行了研究,采用多边形网格建模方法,建立了虚拟手的逼真几何模型;基于Virtools平台开发了数据手套的数据采集模块,提出使用基于初始值的数据转换方法,解决了开始运动时的跳变问题,同时对手指的外展运动,使用约束值方法进行处理,提高了虚拟手与真实人手匹配一致性;最后,针对虚拟手与虚拟物体的操作交互,提出了一种基于有效阈值角度的抓取算法。通过Virtools平台进行验证,实验结果表明:虚拟手模型逼真度高,手型变化自然;同时实现了虚拟手对虚拟物体的操作交互,具有很强的实用性。