基于图像自然特征的增强装配引导系统

基于增强现实的产品装配引导有助于提高装配过程的人机效率,研究了增强装配引导信息的建模技术,实现装配过程引导信息的统一组织管理;基于图像自然特征,利用BRIEF算法进行图像匹配,实现虚实装配零件注册;基于虚实注册信息,实现装配引导信息在真实装配场景中的叠加,并建立了增强装配引导原型系统。增强装配引导作为一种新型的人机交互方式,可用于辅助工人进行装配作业,有助于提高装配培训的效率。     

基于单个圆特征的三维注册技术及其在增强装配中的应用

提出了一种利用图像自然圆特征实现增强现实三维注册的方法:在摄像机已经完成标定的情况下,利用在目标平面中预定义的平面坐标系和一个圆特征实现位姿估算。根据绝对二次曲线与平面圆之间的虚交点估算出目标平面的旋转矩阵;在图像平面内确定圆心的像后,估算出平移向量,实现增强现实三维注册;并将其应用到产品装配过程的虚实融合中,将装配引导信息叠加到产品装配视频中,引导用户实现装配操作。本算法与PnP法三维注册对比实验说明了本算法的正确性和可行性;以减速箱输出轴上的齿轮装配为例,分析和说明了增强现实装配引导环境下产品的装配过程。     

面向增强现实装配的虚实遮挡技术研究

目前增强现实中的虚实遮挡算法大多数是一般性方法,缺少相关文献针对虚拟装配的特点研究增强现实装配中的虚实遮挡问题.分析了增强现实装配场景中虚实零件、装配特征、上下文导航等元素间的遮挡关系,提出了针对增强现实装配的虚实遮挡方法.原型系统试验证明该方法能够有效解决增强现实装配中虚实遮挡问题.     

AR辅助装配中基体及零件位姿组合估计方法

增强现实装配引导技术应用于复杂工业产品的装配引导中,可以提高装配操作人员装配效率。在产品增强现实装配引导过程中,对装配基体及装配零部件的位姿估计是实现真实场景中增强现实装配引导信息注册的关键技术环节。为同时对装配基体以及零部件进行位姿估计,实时获取装配基体与零部件的相对位置关系进行位置检测,针对装配过程中装配基体与装配零部件的不同特点,分别采用不同的位姿估计方法:使用SIFT特征点匹配和PNP方法对装配基体位姿进行位姿估计;使用LINEMOD算法对装配零部件进行位姿估计。本研究以汽车车门板状连接件及车窗驱动电机的装配为例,说明了该位姿估计方法对真实场景中虚拟装配引导信息注册的有效性,能够应用于产品增强现实装配引导中。     

面向增强装配中手部特征检测的改进算法

针对增强装配引导过程中手部识别检测的问题,提出一种改进自适应均值漂移的特征检测算法。该算法对装配环境中的人手进行跟踪检测,迭代计算中心距获取搜索框,动态优化检测区域,得到包含手指信息的手部完整信息。为得到手指特征点,利用图像增强处理过后的手部轮廓进行等距特征点采样,对不同部位的特征点计算曲率信息,聚类分析得到指尖特征点。以增强装配系统中的三维注册为例开发原型系统,验证了所提方法具有可行性、有效性和较好的鲁棒性。     

增强现实机械装配环境中装配过程的研究

分析增强现实装配中虚实零件装配过程。研究虚实装配方式、运动路径规划、装配中碰撞检测和力反馈输出。通过规划虚拟零件运动路径,采用六自由度运动方式实现虚实相对运动和装配;提出一种新颖的碰撞检测方法即：壳体检测法,通过虚拟构造虚实零件碰撞点和区域来定义碰撞检测;利用力反馈设备,实现虚拟零件坐标采集和力反馈输出。实验结果证明壳体检测法具有一定通用性,可以快速、准确地实现虚实物体间碰撞检测和力反馈输出。     

增强现实环境中虚拟装配的研究与实现

利用增强现实渲染引擎osgART发了一个基于增强现实环境中的虚拟装配操作平台。通过提取组成零件模型表面的各个多边形面片的顶点坐标和法向量,利用OSG提供的线段类交集测试在运动零件模型的前表面建立一个局部碰撞检测网格。根据装配过程中约束零件自由度的需要,重点研究了相应的碰撞响应。最后用普通平键与键槽的装配实例说明了该平台的操作流程,取得了较好的效果。     

基于GAPSO-SVM的钣金零件图像识别方法

为了实现视觉引导装配过程中钣金零件图像的识别,对零件图像进行预处理,提取形状特征,将遗传算法的交叉变异操作引入粒子群算法,形成遗传粒子群算法。采用遗传粒子群算法同时进行支持向量机的参数优化和特征选择。实验表明,将所选用特征由初始的12维降维到3维,测试集识别准确率100%,完全满足零件识别分类的要求。     

基于图像匹配的增强现实装配系统跟踪注册方法

为了改善跟踪注册方法面向弱纹理零件增强现实装配引导的鲁棒性与适用性,提出一种基于图像匹配的跟踪注册方法.采用图像边缘倾角对距离图像的像素值进行加权,提高图像匹配度计算的准确性;准确的初始帧相机位姿是保证跟踪注册准确性的前提,采用差分进化策略与禁忌搜索策略对遗传算法进行改进,提高初始帧相机位姿跟踪的准确性与搜索效率;采用...     

动态视觉手势识别下手工装配时序控制的智能防错方法

为提高手工装配生产过程的效率,提出一种保证过程时序性的手势视觉识别与防错方法,通过识别信号控制增强现实装配引导系统,减少装配过程中检错和返工消耗的时间。在第一视角下采集手工装配过程的样本视频,用预定时间方法分析单步操作的标准手势和时间序列。在虚拟装配环境中建立了装配操作序列仿真引导模型。用肤色检测获取装配图像的手部区域,定义了区域几何特征并进行概率分布拟合,提取装配手势特征及其识别条件。基于装配动作的时序约束,建立了时序锁定的装配手势识别方法,进而判断装配状态,触发推送、隐藏或更新引导信息。计算机主板装配实例表明,所提出的智能防错方法提高了装配序列的执行效率和一次完成率。     

Mixed Reality-based Interactive Technology for Aircraft Cabin Assembly

Due to the narrowness of space and the complexity of structure, the assembly of aircraft cabin has become one of the major bottlenecks in the whole manufacturing process. To solve the problem, at the beginning of aircraft design, the different stages of the lifecycle of aircraft must be thought about, which include the trial manufacture, assembly, maintenance, recycling and destruction of the product. Recently, thanks to the development of the virtual reality and augmented reality, some low-cost and fast solutions are found for the product assembly. This paper presents a mixed reality-based interactive technology for the aircraft cabin assembly, which can enhance the efficiency of the assemblage in a virtual environment in terms of vision, information and operation. In the mixed reality-based assembly environment, the physical scene can be obtained by a camera and then generated by a computer. The virtual parts, the features of visual assembly, the navigation information, the physical parts and the physical assembly environment will be mixed and presented in the same assembly scene. The mixed or the augmented information will provide some assembling information as a detailed assembly instruction in the mixed reality-based assembly environment. Constraint proxy and its match rules help to reconstruct and visualize the restriction relationship among different parts, and to avoid the complex calculation of constraint's match. Finally, a desktop prototype system of virtual assembly has been built to assist the assembly verification and training with the virtual hand.     

基于Petri网的虚拟装配环境建模及其应用

通过分析虚拟装配环境的结构及性能,针对场景图数据结构在虚拟装配应用中的不足,定义了一种基于知识的层次对象时间Petri网,并用于建立虚拟装配环境的应用层模型。该模型以虚拟手的位姿作为输入,运行后输出具体的操作事件更新场景图,完成装配活动,以满足虚拟装配环境的实时和并发等动态性能要求,实现了虚拟装配大量离散事件的处理及装配意图的响应。给出了基于知识的层次对象时间Petri网的产品装配模型表达,不仅表达了产品结构及装配关系,同时记录零部件在装配过程中的方位及约束状态等动态信息,从而在虚拟装配环境中实现了装配与拆卸并存的实际装配活动。此外,还给出了由产品装配层次图生成的基于知识的层次对象时间Petri网装配模型的算法,说明了基于应用层模型的装配、拆卸操作以及装配过程仿真,开发了原型系统。     

基于虚拟装配特征的虚拟装配研究

主要研究虚拟环境中产品的虚拟装配问题。在研究以往学者对装配特征定义的基础上 ,结合虚拟装配的特点 ,提出了虚拟装配特征的概念 ,虚拟装配特征不仅描述了产品中零件间的约束关系 ,而且描述了产品的公差。在充分考虑了公差对产品装配工艺计划和产品可装配性影响的情况下 ,提出了装配工艺计划算法。     

面向装配的特征层次建模方法研究

为了避免不同建模方法导致同一产品在不同设计者之间和不同设计过程中数据不一致的问题,提出了基于装配单元的特征层次建模方法。该方法将传统装配层次结构模型中的单一零件和子装配体统一为装配单元,作为组成产品的一个基本单元,构造了基于装配单元的产品模型。采用面向对象技术,以装配单元作为装配信息的载体,对不同类型装配单元的装配信息采用相同的层次结构进行了组织和存储。在每个装配单元中,采用类继承的方法,可以方便地查询到该单元最基本的组成体素。以球阀产品为例,详细介绍了装配单元的装配特征层次模型的建立方法,为保持设计过程中产品装配数据的一致性提供了保障。     

基于遗传算法的产品装配序列规划研究

为解决产品实际装配过程装配序列规划的问题,建立了描述装配过程中零部件间装配关系的几何干涉关系矩阵。设计了以装配换向次数、装配工具更换次数、装配体稳定性和基础件位置为目标函数的遗传算法,并改进了该遗传算法相应的交叉算子、变异算子和适应度函数,以确保算法的有效性。在初始种群生成时,输入由DELMIA软件虚拟拆卸得到的几何可行装配序列,改善种群的组成成份。将该遗传算法应用于某链轮的装配序列规划中,验证了该算法的有效性。     

基于质量特征产品装配顺序规划的逆向推理算法探究

在Petri网柔性装配系统装配顺序规划中引入装配质量要素,并以装配零件的装配自由度,装配作业后稳定性,装配零件配合精度对装配质量的影响作为基本因子,提出装配质量置信度概念,解决柔性装配系统装配规划中装配质量及其定量化问题。根据装配形成的产品在Petri网装配状态图中表示为一个最终库所的特点,应用改进B树模型,提出仅以变迁信息的产品装配顺序规划Petri网逆向推理算法,简化装配顺序规划推理过程,对于多个变迁均可生成最终成品的情况,亦给出装配顺序规划的解决方案,并以摩托车发动机的装配为例,证明该算法是可行的。     

航空发动机装配数字化关键技术研究

为了解决航空发动机装配中出现的错装、漏装和装配选择繁琐低效等问题,提出了一套面向装配过程的可视化管理方案,通过在装配工位模拟仿真三维可视化装配场景代替过去必须口传身授的工艺发放形式,避免了错装。利用装配可视化的规程向导,从工作方式上有效避免了原装配过程中出现的漏装。利用遗传算法实现了计算机辅助选择装配,能够更快更合理地帮助装配人员在多组待装配产品中找到最优的装配方案。     

面向自动化装配的轴孔装配参数选择研究

在面向装配的设计中,很少考虑装配工艺参数,在一定程度上削弱了面向装配的设计思想对装配过程的指导作用.对此,提出了一种面向自动化装配设计的圆柱轴孔装配工艺参数优化算法.该算法以装配成本为边界条件,建立了解析几何求解模型,能帮助设计者选择合理的工艺参数,如配合零件的尺寸公差、自动化装配设备的定位精度和转角精度等.最后,编制了相应的程序优化装配工艺参数.     

基于 Marker-SLAM 的视触觉增强现实交互算法

视触觉增强现实是将触觉感知加入到增强现实中的一种新技术。 不仅可以融合真实场景和虚拟对象,还能实现视觉和 触觉的同步感知。 基于 3D Systems Touch 触觉设备提出一种新的视触觉交互算法。 首先,基于 Marker-SLAM 算法搭建增强现 实环境,用于实时获得相机在地图中的位姿;其次,为了将触觉信息融入到增强现实环境中,提出基于无跟踪器的触控笔尖端姿 态优化算法;最后,分别采集测量点在触觉和世界坐标系中的三维信息,通过确定两个坐标系间的刚性变换,将触觉设备的正向 运动模型映射到增强现实空间中。 所提出的跟踪注册方法的注册准确率均达到 90% 以上,与基于跟踪器的方法相比,所提出的 姿态优化算法获得的校正位置的平均误差为 2. 3±0. 2 mm。