增强现实眼镜辅助的线缆连接器装配状态智能检错方法

为替代航空航天产品装配过程中人工判定线缆连接器组装结果的操作,提出一种增强现实(AR)眼镜辅助的线缆连接器装配状态智能检错方法.该智能检错方法包括自动检测连接器孔位、分布排序和可视化不匹配孔位三个环节.面向孔位检测,融合了特征金字塔网络架构与双向长短期记忆网络结构的孔位检测网络可以有效定位图像中孔位位置并识别其真实安装状态;在孔位分布排序流程中,对检测到的孔位进行聚类划分至不同圆环上,排序每层圆环上孔位的极角以获得编号;顺序遍历所有编号的孔位,比对每个孔位的理想安装结果和真实安装状态可得知错装导线孔位与漏装导线的孔位,并使用AR眼镜可视化型谱图高亮这些不匹配孔位.采用PASCAL VOC数据集的评价指标,以11种连接器的检错结果为例进行验证,提出的孔位检测网络的平均精度均值高达99.00％;同时孔位分布排序算法针对图像形变情况有较强的鲁棒性.     

增强现实机械装配环境中装配过程的研究

分析增强现实装配中虚实零件装配过程。研究虚实装配方式、运动路径规划、装配中碰撞检测和力反馈输出。通过规划虚拟零件运动路径,采用六自由度运动方式实现虚实相对运动和装配;提出一种新颖的碰撞检测方法即：壳体检测法,通过虚拟构造虚实零件碰撞点和区域来定义碰撞检测;利用力反馈设备,实现虚拟零件坐标采集和力反馈输出。实验结果证明壳体检测法具有一定通用性,可以快速、准确地实现虚实物体间碰撞检测和力反馈输出。     

增强现实环境中虚拟装配的研究与实现

利用增强现实渲染引擎osgART发了一个基于增强现实环境中的虚拟装配操作平台。通过提取组成零件模型表面的各个多边形面片的顶点坐标和法向量,利用OSG提供的线段类交集测试在运动零件模型的前表面建立一个局部碰撞检测网格。根据装配过程中约束零件自由度的需要,重点研究了相应的碰撞响应。最后用普通平键与键槽的装配实例说明了该平台的操作流程,取得了较好的效果。     

面向增强现实装配的虚实遮挡技术研究

目前增强现实中的虚实遮挡算法大多数是一般性方法,缺少相关文献针对虚拟装配的特点研究增强现实装配中的虚实遮挡问题.分析了增强现实装配场景中虚实零件、装配特征、上下文导航等元素间的遮挡关系,提出了针对增强现实装配的虚实遮挡方法.原型系统试验证明该方法能够有效解决增强现实装配中虚实遮挡问题.     

增强现实交互环境下发动机装配序列呈现方法研究与实现

针对增强现实环境的呈现特点,以汽车发动机丰田5A为具体研究对象,从设计与实现具有通用性的发动机装配引导系统的角度出发,对增强现实环境下发动机装配序列呈现方法所涉及的核心技术进行研究。具体研究内容包括:(1)对增强现实环境下的交互特点以及汽车发动机的主要装配序列进行分析;(2)发动机几何模型与运动模型在Unity3D中的描述方法;(3)基于Kinect的人手交互功能的实现。最后,通过原型系统的开发与实现验证所提出方法的可行性。     

增强现实装配工艺信息内容编辑技术

为了解决增强现实装配的工艺信息内容编辑困难的问题,从装配作业常用工艺出发,根据面向增强装配工艺信息的表达特点,对装配作业常用工艺进行分类,提取基本装配工艺类型,运用IDEF1X方法建立基本装配工艺信息模型;通过增强现实可视化技术,对基本装配工艺信息模型进行增强可视化表达;最后对增强装配工艺信息内容编辑数据的管理进行研究;开发了面向增强现实的装配工艺编辑原型系统,并通过典型基本装配工艺的编辑,对系统的有效性进行了验证。     

基于数字孪生的增强现实多人协作装配

为了保证复杂产品在关键装配阶段的一次成功率和质量一致性,提出一种基于数字孪生的增强现实(AR)多人协作装配方法。首先提出基于数字孪生的AR多人协作装配架构,根据协作装配的复杂性对装配序列进行过程分解;其次将装配过程上下文数据构造为装配工艺知识图谱,明确了协同过程装配信息的传递与迭代机制,提高了AR协作装配的工况自适应性。在此基础上采用基于根锚点的协同方法实现多人装配过程的AR场景协同,并通过装配工艺知识图谱提供的实时知识实现数据协作,保证了协同装配的质量和效率。以某钢厂复杂轧机的装配为例,建立了基于增强现实的多人协作数字孪生装配系统,验证了所提方法的有效性和可行性。     

基于Kinect的投影式增强现实 装配诱导系统研究

针对大批量定制中产品装配工艺转换快、效率低、易出现差错等问题,提出并设计了一种投影式增强现实装配诱导系统。对装配诱导过程中操作者所需穿戴设备和手动操作计算机设备优缺点进行了归纳,系统将文字、图片和三维动画等诱导信息投影到真实装配场景中,诱导操作者完成了产品装配,并对此进行了测试;利用骨骼跟踪技术和人手边缘轮廓提取方法进行了手势识别研究,提出了一种装配诱导过程中的徒手交互方法,利用Kinect跟踪操作者头部方位,提出了一种基于视点跟踪自动变换投影图像,以及使投影内容随操作者视点变化的投影增强现实方法。研究结果表明:该系统可提高装配诱导过程中的人机交互性能和装配效率,具有一定的工程应用价值。     

BRIEF算法在基于增强现实的产品装配引导中的应用研究

面向增强现实环境下采用零件自然特征的装配引导应用,提出一种基于BRIEF算法的虚实装配场景注册融合方法。利用BRIEF算法进行装配零件图像自然特征的提取,建立零件图像的特征描述符。通过海明距离进行装配引导过程中零件图像特征描述符的匹配,实现虚实装配零件的注册;同时将虚拟装配信息在真实装配场景中叠加,用于引导用户完成装配作业过程。实验结果表明:利用该算法进行虚实注册具有较好的鲁棒性和实时性,能够较好地应用于增强现实环境下的产品装配引导过程中。     

基于分层着色Petri网的增强现实装配系统建模

为弥补场景图在增强现实装配应用中的不足,提出一种将层次着色Petri网与图灵机模型结合的方法,建立了增强现实装配环境系统模型。该模型借鉴图灵机的思想,以虚拟手的手势代号及位姿矩阵作为输入,输出具体操作事件更新场景图,记录系统的当前内部状态并根据用户输入给出下一步的操作响应。相对于单一的碰撞检测方法,该方法能更好地满足增强现实装配系统的动态实时响应等性能要求。开发建立了该模型的原型系统,并通过网络状态生成图分析验证了模型实时响应的能力。     

基于深度强化学习的轨道式巡检机器人巡检驻点规划方法

针对三峡水电站中轨道式巡检机器人的实际巡检需求,对巡检驻点规划展开研究。机器人的巡检驻点一般为人为根据经验及场景预设,因此难以规划最优驻点,影响检测效果。该文通过机器人本体搭载的各种传感设备信息构建综合环境感知函数,作为无模型强化学习算法的环境信息,引导机器人找到最优检测驻点。最后设计实验评估了该方法的有效性。     

虚拟装配中的混合设计建模方法研究

针对现有虚拟装配建模方法不能为装配序列规划提供完整模型信息的问题,分析了自底向上和自顶向下建模方法在虚拟装配应用中的优、缺点,根据装配序列规划的要求,结合两种建模设计方法的优点,提出了一种混合设计方法建立产品的装配模型。该方法采用自顶向下建模方法进行了产品总体设计,使装配模型具有产品的结构层次关系信息;在产品细节设计上采用了自底向上建模方法,使装配模型具有零部件的约束关系信息,得到了完整的产品装配模型信息。通过建模应用实例,验证了混合设计建模方法的可行性,以及模型信息的易提取性。研究结果表明,利用混合设计建模方法得到的模型,能够满足虚拟装配对产品装配模型的要求,可以为虚拟装配序列规划提供完整的模型信息。     

虚拟现实环境下交互式船舶装配序列规划研究

针对传统装配序列规划方法解空间大、模型简单的问题,提出了应用虚拟现实技术解决船舶装配序列规划问题的方法。该方法分为虚拟拆卸和方案评价两个阶段,分析了虚拟装配平台上进行虚拟拆卸的基本流程和关键技术——虚拟环境下的实体模型表达和基于装配约束的运动导航。建立了船舶装配序列评价模型,确定了零件重量、装配时间、装配稳定性和装配过程难度等面向手工装配的评价指标。最后,用某船舶机舱区域的规划实例进行了验证,结果表明该方法生成的装配序列对实际船舶装配生产具有指导作用。     

表面组装在线检测中模板匹配的研究

作为重要的在线检测技术,自动光学检测是保障表面组装质量的主要手段。深入分析自动光学检测中的关键技术——模板匹配,应用实数编码的改进遗传算法进行模板匹配寻优。试验表明该方法的匹配速度和匹配精度均较为理想,该方法是可行的。     

虚拟现实技术在机械产品装配中的应用

从虚拟现实技术的角度,研究分析虚拟装配的相关技术及虚拟装配系统的设计流程;结合发动机曲柄连杆机构给出虚拟装配的一般步骤;指出成功完成虚拟装配的关键在于虚拟手的操作,提出虚拟手抓取的满足条件.     

面向复杂产品离散装配过程的数据采集和管理方法

为解决复杂产品离散装配过程中数据采集和管理困难的问题,在分析装配数据采集业务流程的基础上,引人工作流管理技术,建立了装配数据采集和管理的过程模型,提出一种基于工作流的装配数据采集和管理方法,实现了数据采集过程定义、数据采集过程实例生成和数据采集过程控制。阐述了该方法中数据采集表格的动态定制、异构采集数据的存取和组织、面向技术问题的装配数据采集和管理等关键实现技术。通过开发的软件系统进行了工程应用,验证了该方法的可行性。     

Multi-model ensemble deep learning method for intelligent fault diagnosis with high-dimensional samples

Frontiers of Mechanical Engineering - Deep learning has achieved much success in mechanical intelligent fault diagnosis in recent years. However, many deep learning methods cannot fully extract...     

带装球缺口深沟球轴承装配工艺的改进

针对带装球缺口的深沟球轴承手工压球工艺生产效率低、劳动强度大、且容易漏球的问题,研制了自动装球机,实现了自动装球、自动下料的功能,提高了生产效率、自动化程度和可靠性,减轻了工人的劳动强度。     

复杂光照环境下手工装配件视觉检测方法研究

手工装配流水线上的工件摆放位置随机,且光照复杂多变,现有的视觉检测方法易受影响.针对此工况下的插座螺钉装配检测需求,设计了一套复杂光照环境下手工装配件视觉检测方法.首先在HSV颜色空间利用颜色进行图像分割,找到工件外轮廓,通过几何位置换算找到螺钉孔所在的大致区域;然后在此区域中对自适应阈值二值化图像进行霍夫变换圆检测,...     

融合深度学习与粒子滤波的移动机器人重定位方法

为有效解决移动机器人重定位问题,提出一种融合深度学习和粒子滤波的机器人重定位方法。首先,提出了3自由度移动机器人重定位方法架构,主要包含重定位模型构建和机器人在线重定位两个递进阶段;其次,在PoseNet基础上提出并构建了针对3自由度移动机器人的重定位网络模型G_PoseNet,并将由G_PoseNet预测的位姿结果作为粒子滤波定位算法的初始化状态,支撑后续重定位过程;然后,提出了一种基于数据模型的机器人绑架状态判定方法,以确定是否启动重定位过程;最后,在公开数据集上与实际环境中做了大量实验验证了此方法,结果表明:G_PoseNet模型能够保证一定的位置预测精度并提升了姿态角预测精度,机器人重定位成功率达到87%。