大范围增强现实环境下的制造单元快速布局系统

为了使用户能够在指定的车间环境中对布局方案进行直接感官上的评价并且进行快速设计与修改,提出了基于增强现实技术的制造单元快速布局系统。介绍了系统的模块组成及软硬件环境,对系统的实现原理进行了简述。采用数据手套、磁跟踪器、移动终端作为输入设备,并设计了头戴式设备实现摄像及显示功能。实验结果表明:该系统能够以一种直观的方式进行车间布局快速设计、浏览与修改。     

弹钢琴拟人机器手控制系统的开发

针对钢琴演奏的特点设计了一种具有拟人特征的机械手,给出了系统组成与硬件设计,机械手采用气动闸线驱动并设计了相应的气动回路。利用EON Studio软件建立虚拟现实环境,使用数据手套与方位跟踪器采集手部运动数据并存入数据库中。开发上位机软件读取数据库中存放的运动数据对机械手进行回放控制操作,也可以直接在软件中输入数据控制机械手运动。     

基于数据手套的发动机虚拟装配系统

运用EON虚拟现实软件实现了直列四缸发动机的虚拟装配。利用CATIA软件建立发动机三维实体模型,通过3ds Max渲染使零件着色,建立真实的虚拟环境。在EON中添加数据手套、方位跟踪器等控制虚拟外设的节点,并建立虚拟手模型。通过数据手套和方位跟踪器驱动虚拟手模型,获得人手的空间坐标数据,并转换为虚拟手模型的虚拟坐标数据。在沉浸式虚拟环境中完成抓取、移动、释放物体等操作,实现发动机的虚拟装配过程。通过VB与EON Studio之间信息的传递实现发动机各个模块的集成,为操作者提供了良好的交互系统平台。     

面向手部康复应用的数据手套技术研究

疾病或意外发生后经常会引起患者的手部功能障碍,但目前手部康复评估仍然依赖医生经验等主观判断,市场上现有的部分康复产品结构复杂、价格昂贵,而且无法长期记录病人的康复数据,不便于医生进行诊断和复查。提出了一种面向手部康复的多传感器数据融合手套,采用最小二乘法对加速度和地磁进行校正,利用互补滤波进行传感器数据融合,依据真实手骨模型进行虚拟手部建模,用数据手套获得的手部姿态驱动Unity3D中的手部模型。该系统可以准确地记录手的姿态信息,并在虚拟环境中进行实时还原,能高效地帮助医生进行康复评估和协助患者进行康复训练。     

虚拟装配平台实现技术研究

对实现虚拟装配平台所涉及到的虚拟装配环境建设以及人机交互技术进行了研究。在介绍虚拟装配平台所使用的三通道投影系统硬件结构的基础之上,讨论了三通道图像拆分技术、通讯技术以及三通道同步机制。在开发数据手套与跟踪器驱动类的基础上,提出了把手势与跟踪器的方向相结合进行命令映射的方法,并采用无模式动态透明菜单以及对话框等交互方式作为手势命令的补充。通过实现虚拟装配平台原型系统作为验证实例,对所使用的技术、方法进行了验证。通过自主开发的虚拟装配平台原型系统,对上述方法、技术进行了验证。     

面向人机交互的手势指向估计方法

针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5 m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34 mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211 m。     

穿戴式钢琴弹奏手套智能感知与手势识别技术

钢琴弹奏手套是一种新兴的智能可穿戴式设备,通过手套中的多惯性传感器对钢琴弹奏者的手势状态进行实时感知和分析,可以让钢琴学习者实时了解弹奏手势是否规范,从而有效提高钢琴学习效率和兴趣,并降低学习成本。区别于其他应用领域中的手势,钢琴弹奏手势具有多样性、快速性、大动态以及强时变的特点,设计了一套基于惯性数据手套与红外检测杆的钢琴弹奏手势识别系统,并提出一种基于机器学习的钢琴弹奏手势识别方法,以惯性数据手套与红外检测杆的输出作为数据样本,针对钢琴弹奏手势特性,进行多模态手势特征的提取并采用分层识别算法改善识别效果。实验表明,所提出的方法能够较好的适应钢琴弹奏手势识别需求,识别准确率达到99%以上。     

基于EPC规范的车间层多源信息集成技术

构造了一种基于产品电子代码规范的车间层多源信息智能集成的系统模型,实现了车间设备数据、人力资源、生产物流等多源制造信息与上层应用系统之间的无缝交互与集成。论述了该模型实现车间层与企业内部、外部系统的信息集成的层次结构及数据流程,介绍了其多源信息格式定义及数据交互模式设计。应用案例研究表明,该系统模型在支持车间快速响应能力提升、实施网络化制造和制造业信息化向车间底层的深化等方面具有广阔的应用前景。     

面向驾驶舱布局优化的手部操作研究

以优化飞机驾驶舱布局设计为目的,对人体的手部操作进行了研究。首先,对驾驶舱显控装置的关联性进行分析;其次,以减小人体的手部操作路线总长为目的,对驾驶舱人机界面进行了布局优化分析;接着,以人手部几何模型和人手部Kane动力学模型为依据,建立了基于人手部操作舒适性的驾驶舱布局优化模型;最后,通过实际案例对人机界面上的操作路线进行了仿真分析;利用CATIA仿真人在驾驶舱中的手部操作姿态,计算出人手的操作舒适性,并通过舒适性评价模块进行了结果验证。理论分析和仿真结果表明,在飞机驾驶舱中相对重要的设备应布置在手部操作舒适性较高的区域,并且在布局设计过程要尽量缩短人体手部操作设备的路线,该模型提高了驾驶人员的操作效率,可作为驾驶舱布局优化设计的参考依据。     

虚拟现实在工程设计的可视化应用研究

利用工程分析软件模拟的结果数据与可视化开发包AVS/Express,结合数据手套和位置跟踪器在AVS平台上实现了工程分析数据的交互式可视化。将工程分析数据和真实感模型结合起来,且利用虚拟现实技术提供给用户交互式的可视化环境。交互式可视化能够准确直观地展示工程结构的应力和应变分布情况,为产品结构优化设计提供依据,并且可以实现交互式操作,使可视化具有"沉浸感",从而大大提高工程设计的质量,提供了一种新的工程分析数据可视化实现模式。     

面向创新技法模拟的形态知识框架模型

提出了面向创新技法模拟的形态知识框架模型，构建了包括基本信息表征与操作层、推理逻辑层以及创新技法层的层次框架，以构造支持形态创新设计的开放知识环境。建立了包含形态信息的表征与操作的形态元模型，并建立了产品形态树和基于语义网络的综合推理逻辑，进一步实现了创新技法的模拟。以形态移植法为例阐述了在该模型上进行创新设计的过程，实践证明该模型是有效的，为创造性思维的计算机模拟提供了一种思路。     

基于LeapMotion的仿生机械臂交互控制系统

设计了一种新型的基于LeapMotion体感控制器的仿生机械臂交互控制系统,利用LeapMotion体感控制器替代传统的人机交互方式,采集手部数据,将识别到的手势动作经过计算机分析处理后,通过无线传输的方式给开发板传送控制信息,进而控制机械臂模仿人手的动作。该机械臂便捷灵活、操作简单,能广泛应用于各种领域。     

基于Leap Motion手势识别的机器人控制系统

设计一种通过识别手势对SCARA机器人进行控制的机器人控制系统。Leap Motion体感控制器采集手部信息数据,计算机对数据进行处理,识别出手势,同时对手掌位置坐标进行坐标转换,通过串口将数据发给机器人控制器,控制器控制机器人完成相应的动作。该系统通过了3D仿真检测,在SCARA机器人平台上运行良好,实现了通过手势对SCARA机器人进行控制的功能。     

网络化制造环境下车间层信息交互模型及实现

网络化制造中，车间层的信息化水平在一定程度上可通过信息交互方式进行衡量。针对现有网络化制造环境下车间层信息交互和资源共享过程中存在的问题，提出了基于对等网络和移动Agent的车间层信息交互模型，重点阐述了该模型的体系结构、通信过程及系统安全性等；设计了用于实现以上模式的信息终端和系统，并结合某汽车焊装自动化生产线网络化监控与管理系统，分析了它在实际应用中所表现出来的特点。     

动态视觉手势识别下手工装配时序控制的智能防错方法

为提高手工装配生产过程的效率,提出一种保证过程时序性的手势视觉识别与防错方法,通过识别信号控制增强现实装配引导系统,减少装配过程中检错和返工消耗的时间。在第一视角下采集手工装配过程的样本视频,用预定时间方法分析单步操作的标准手势和时间序列。在虚拟装配环境中建立了装配操作序列仿真引导模型。用肤色检测获取装配图像的手部区域,定义了区域几何特征并进行概率分布拟合,提取装配手势特征及其识别条件。基于装配动作的时序约束,建立了时序锁定的装配手势识别方法,进而判断装配状态,触发推送、隐藏或更新引导信息。计算机主板装配实例表明,所提出的智能防错方法提高了装配序列的执行效率和一次完成率。     

面向多学科优化的柴油机本体建模与应用

为解决柴油机产品多学科设计优化过程中的信息模型语义简单、信息无法继承与共享等问题,提出了面向多学科优化过程的柴油机本体模型建模方法。设计了柴油机本体和多学科设计优化本体的顶层结构模型,对建模对象的语义关系进行了分析,针对该模型的多域大结构特点,提出基于Tableau的一致性检查算法。为实现从企业产品数据库到所提模型之间的映射,提出基于语义对准的数据库与该模型的交互技术,实现了基于本体技术的产品数据库中信息集成与语义化操作。设计了柴油机产品多学科设计优化平台的体系结构,开发了原型系统平台,并在该平台上完成了语义检索和语义驱动的多学科优化应用实例,验证了所提技术与方法的有效性和可行性。     

大数据环境下的纺织制造执行系统设计

为解决纺织制造过程中的系统集成与数据管理问题,依据纺织制造过程工艺流程,对各工序产生的海量数据进行分析,对计划层与车间制造层之间信息无法衔接的问题进行研究。在原有系统数据,以及文本类型的原料、传感器,纱疵检测图像数据的基础上,构架了一种基于Hadoop的三层纺织大数据存储体系。利用D-S证据、增量聚类理论方法,对多源纺织数据融合技术难点进行设计,并提出了相应的算法与模型,进而对系统功能进行设计与实现。通过测试,结果表明该系统通过数据间的相关性实现了计划层与制造层之间信息的有效衔接,解决了信息"孤岛"问题,并为大数据环境下织物质量的实时在线检测提供新方法。     

基于虚拟现实的遥操控机器人系统研究

针对传统遥操控机器人系统实现环境不佳,导致系统控制效果差、时延长及图像匹配准确率低等问题,提出并实现了一种基于虚拟现实的遥操控机器人系统。首先,基于虚拟现实技术设计系统整体结构,分为人机接口部分、信息传输和遥机器人三个部分;其次,通过坐标计算构建移动机械手运动学模型,采用三目摄像机完成图像立体匹配,基于数据手套实现手势输入,完成系统人机交互设计,实现人机接口设计;然后,双向通信进行数据传输设计;最后,利用同步显示和预测显示结合的方式控制系统。实验结果表明,该系统的立体视觉图像匹配准确率高达90%以上,网络通信时延短,且系统控制效果较好。     

基于改进蛙跳算法的鲁棒性车间布局

为了避免动态环境下频繁进行车间布局,降低车间运行成本,针对设施面积不等的车间类型,将静态布局中的面积费用指标引入鲁棒性车间布局中,建立以车间物料搬运费用和面积费用最小化为目标的多目标鲁棒性布局优化模型;改进现有鲁棒性指标,设计了一种鲁棒性布局约束以提高最终方案的鲁棒性;提出一种改进蛙跳算法求解该模型,通过系统布置设计得出部分较优的初始解以提高初始解集的整体质量,利用差分变异算子替代蛙跳算法中的局部搜索策略以提高寻优速度;通过基准算例及实例问题验证了模型和算法的有效性。     

基于3D空间和FDC2214的手势识别系统分析

本文提出了一种基于3D空间和非接触式传感器的精密手势识别系统的设计方案。系统以STM32F103C8T6单片机为主控制器,通过非接触式电容传感器FDC2214检测由4块单面覆铜板构成的3D空间与人体手部之间的电容变化,提出了差值补差商除判断算法,利用外部无源屏蔽和中值滤波算法滤除外界环境对传感器的影响,从而实现对人体手势的识别。通过主控制器对任意人员手势信息进行识别学习并记忆,能够实现对任意测试者的手势识别。测试结果表明,系统识别速度较快、精度较高、操作方便、工作稳定。本系统的设计尝试可以为未来多维空间中手势操作控制的应用提供参考。