BRIEF算法在基于增强现实的产品装配引导中的应用研究

面向增强现实环境下采用零件自然特征的装配引导应用,提出一种基于BRIEF算法的虚实装配场景注册融合方法。利用BRIEF算法进行装配零件图像自然特征的提取,建立零件图像的特征描述符。通过海明距离进行装配引导过程中零件图像特征描述符的匹配,实现虚实装配零件的注册;同时将虚拟装配信息在真实装配场景中叠加,用于引导用户完成装配作业过程。实验结果表明:利用该算法进行虚实注册具有较好的鲁棒性和实时性,能够较好地应用于增强现实环境下的产品装配引导过程中。     

基于图像自然特征的增强装配引导系统

基于增强现实的产品装配引导有助于提高装配过程的人机效率,研究了增强装配引导信息的建模技术,实现装配过程引导信息的统一组织管理;基于图像自然特征,利用BRIEF算法进行图像匹配,实现虚实装配零件注册;基于虚实注册信息,实现装配引导信息在真实装配场景中的叠加,并建立了增强装配引导原型系统。增强装配引导作为一种新型的人机交互方式,可用于辅助工人进行装配作业,有助于提高装配培训的效率。     

基于单个圆特征的三维注册技术及其在增强装配中的应用

提出了一种利用图像自然圆特征实现增强现实三维注册的方法:在摄像机已经完成标定的情况下,利用在目标平面中预定义的平面坐标系和一个圆特征实现位姿估算。根据绝对二次曲线与平面圆之间的虚交点估算出目标平面的旋转矩阵;在图像平面内确定圆心的像后,估算出平移向量,实现增强现实三维注册;并将其应用到产品装配过程的虚实融合中,将装配引导信息叠加到产品装配视频中,引导用户实现装配操作。本算法与PnP法三维注册对比实验说明了本算法的正确性和可行性;以减速箱输出轴上的齿轮装配为例,分析和说明了增强现实装配引导环境下产品的装配过程。     

基于分阶式力引导的自动装配定位方法

为准确模拟人的装配意图,以对虚拟零部件进行引导定位,提高产品装配仿真过程的真实感,提出一种基于分阶式力引导的自动装配定位方法。根据装配过程各阶段不同的施力特点,采取符合各阶段装配意图的施力策略对装配件进行引导定位。从人对物体位姿的实际认知出发,提出一种面向装配过程仿真的物体位姿描述方法及控制策略。通过模拟人机因素对装配力和装配力矩的影响,将人机因素融入产品装配仿真过程。通过在自主开发的虚拟装配原型系统中的应用,验证了所提方法的有效性。     

基于3D视觉的水泵生产线零部件无序抓取研究

为了实现对堆叠零部件的识别、无序抓取及零部件装配状态的检测,依托某水泵生产线智能化改造项目,在现水泵生产线的基础上,建立了一套基于3D机器视觉的堆叠零部件无序抓取系统,从而实现了水泵生产自动化。首先,采用全局特征描述子PPF算法提取了零部件特征;在离线训练阶段,对满足条件的可见点进行了两两组合,计算了点对特征,得到了描述物体全局信息的模型;在线匹配阶段,通过使用基于霍夫变换的投票策略,完成了对零部件的识别;然后,再应用RANSAC算法进行了位姿粗估计,并利用ICP算法对位姿结果进行了微调,得到了目标的最优位姿估计;经过标定的转换矩阵确定了零部件在真实世界坐标系下的位置和姿态,以引导机械手对堆叠摆放的零部件进行精准抓取和放置;最后,将待测状态零部件图像与正确装配零部件图像进行了对比,以判断零部件装配状态,利用水泵生产线改造项目实际搭建了无序抓取系统实验,用以对该系统实施效果进行验证。研究结果表明：以水泵泵体为例,最终选定的点对特征数目为730 830,匹配准确率可以达到94.64%,匹配耗时为1.142 4 s;总体抓取平均成功率为92.3%,并且识别耗时、位姿粗估计耗时及位姿精匹配耗时...     

基于图像匹配的增强现实装配系统跟踪注册方法

为了改善跟踪注册方法面向弱纹理零件增强现实装配引导的鲁棒性与适用性,提出一种基于图像匹配的跟踪注册方法.采用图像边缘倾角对距离图像的像素值进行加权,提高图像匹配度计算的准确性;准确的初始帧相机位姿是保证跟踪注册准确性的前提,采用差分进化策略与禁忌搜索策略对遗传算法进行改进,提高初始帧相机位姿跟踪的准确性与搜索效率;采用...     

基于粒子滤波的自动装配定位方法

为了在虚拟环境中对零件模型进行快速自动定位并仿真实际装配过程,将传统的粒子滤波算法与典型的马尔科夫蒙特卡洛方法—MH抽样算法相结合,并应用于虚拟装配。利用随机样本描述零件位姿的概率分布,根据重要性函数对零件进行位姿采样。通过调节各采样粒子权值的大小对发生干涉的零件进行位姿重采样,模拟实际装配中零件位姿的概率分布,并以样本的加权计算结果对零件位姿进行估计。分析了采样粒子数、零件外形复杂程度等因素对方法性能和装配效率的影响。该方法已经用于自主开发的基于自然交互的虚拟设计平台,实例表明它可以自动精确地完成装配引导。     

基于 Marker-SLAM 的视触觉增强现实交互算法

视触觉增强现实是将触觉感知加入到增强现实中的一种新技术。 不仅可以融合真实场景和虚拟对象,还能实现视觉和 触觉的同步感知。 基于 3D Systems Touch 触觉设备提出一种新的视触觉交互算法。 首先,基于 Marker-SLAM 算法搭建增强现 实环境,用于实时获得相机在地图中的位姿;其次,为了将触觉信息融入到增强现实环境中,提出基于无跟踪器的触控笔尖端姿 态优化算法;最后,分别采集测量点在触觉和世界坐标系中的三维信息,通过确定两个坐标系间的刚性变换,将触觉设备的正向 运动模型映射到增强现实空间中。 所提出的跟踪注册方法的注册准确率均达到 90% 以上,与基于跟踪器的方法相比,所提出的 姿态优化算法获得的校正位置的平均误差为 2. 3±0. 2 mm。     

基于三维模型的单目车辆位姿估计

车辆位姿估计是智慧交通系统的重要组成部分,然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化,然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法,进一步提高了位姿估计算法的准确性。此外,本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集,在其上的验证结果表明,本文算法的平均定位误差和角度误差分别为0.162 m和4.692°,在实际场景中有着非常大的应用价值。     

面向AR辅助维修的3D物体识别技术

3D物体识别与位姿估计是AR辅助维修信息增强的基础,目前的3D物体识别技术在识别准确率、运行实时性和位姿估计准确度上仍然存在不足。以物体识别的实时性和位姿估计的准确性为要求,研究基于纹理点云的局部参考系估计技术和点云全局特征描述符生成与匹配技术,提出融合形状与纹理信息的全局正交对象描述符及其3D物体识别算法,基于蜗轮蜗杆减速器的拆装维修场景进行实例验证。验证结果表明,3D物体识别算法在AR辅助维修场景中具备实际可行性和真实有效性。     

基于数字孪生的复杂机电产品线缆装配工艺模型动态构建方法

针对目前以理想数据制定出的线缆装配工艺文件不能很好地满足实际装配需要以及制定好的装配路径与实际装配路径存在一定偏差等问题，提出一种基于数字孪生的复杂机电产品线缆装配工艺模型动态构建方法。采用同步定位与地图构建方法对线缆装配过程中的零部件特征进行地图构建和线缆空间定位，引入随机有限集描述同步定位和地图构建问题，并采用高斯混合概率假设密度进行地图零部件特征信息的预测与更新；同时采用平方根转换无味卡尔曼滤波器和单特征策略对线缆装配路径进行位姿估计，以完成线缆装配工艺模型的动态构建。最后将所提方法应用于实例分析，验证了方法的可行性。     

基于Kinect的投影式增强现实 装配诱导系统研究

针对大批量定制中产品装配工艺转换快、效率低、易出现差错等问题,提出并设计了一种投影式增强现实装配诱导系统。对装配诱导过程中操作者所需穿戴设备和手动操作计算机设备优缺点进行了归纳,系统将文字、图片和三维动画等诱导信息投影到真实装配场景中,诱导操作者完成了产品装配,并对此进行了测试;利用骨骼跟踪技术和人手边缘轮廓提取方法进行了手势识别研究,提出了一种装配诱导过程中的徒手交互方法,利用Kinect跟踪操作者头部方位,提出了一种基于视点跟踪自动变换投影图像,以及使投影内容随操作者视点变化的投影增强现实方法。研究结果表明:该系统可提高装配诱导过程中的人机交互性能和装配效率,具有一定的工程应用价值。     

融合二维图像和三维点云的相机位姿估计

为了准确地在特定三维真实环境中,通过单目相机获取的RGB图像来估计相机的六自由度位姿,本文结合已知的二维图像及三维点云信息,提出了基于稠密场景回归的多阶段相机位姿估计方法。首先,将深度图像信息与传统运动结构恢复（Structure From Motion,SFM）算法相结合,构建单目相机位姿估计数据集;其次,本文首次将深度图像检索引入2D-3D匹配点的构建当中,通过所提的位姿优化函数对位姿解算加以优化,提出多阶段相机位姿估计方法;最后为提升位姿估计的性能,将ResNet网络结构用于图像的稠密场景坐标回归,使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°,在公开数据集7scenes下的位姿估计准确率均值为82.7%,在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比,本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。     

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题，设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点，并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练，经过验证，使用合成数据训练的网络也能在真实场景中有效工作。最后，搭建了一个基于机器人操作系统的UR5机械臂抓取平台，将训练好的模型部署到该平台上进行抓取实验，结果表明所提方法能够估计出目标物体的位姿，并在实际场景中抓取位姿未知的物体。     

油气管线焊接五坐标定位装置精度设计

针对石油平台预制油气管线焊接定位装置的定位问题,运用空间坐标变换投影原理,研究了表示管线焊接定位装置任意空间位置所需的欧拉角确定方法,建立了焊接定位板位姿误差与定位装置关键零部件装配位形误差映射关系的数学模型.在进行零部件不同位形误差对定位板位姿误差的精度影响分析的基础上,对装置进行了符合经济和性能要求的精度优化综合,仿真结果验证了数学模型和精度方案的合理性.     

考虑人的因素的虚拟装配引导方法

针对当前虚拟装配技术对装配过程中人的因素和零部件的物理属性考虑不足、仿真过程无法反映实际装配运动的本质规律的问题,提出一种考虑人的因素的装配引导方法。在基于物理属性的装配仿真的基础上,对影响装配的人的因素进行分析,给出了视觉因素、舒适度因素及能量消耗的量化评价方法。根据各因素的评价值,利用蒙特卡洛方法计算装配力的大小和方向。在装配力的引导下,通过动力学仿真完成零部件的装配定位。该方法已应用于某自主开发的虚拟装配原型系统中,通过与现实实验进行对比,验证了所提方法的有效性。     

基于Petri网的虚拟装配环境建模及其应用

通过分析虚拟装配环境的结构及性能,针对场景图数据结构在虚拟装配应用中的不足,定义了一种基于知识的层次对象时间Petri网,并用于建立虚拟装配环境的应用层模型。该模型以虚拟手的位姿作为输入,运行后输出具体的操作事件更新场景图,完成装配活动,以满足虚拟装配环境的实时和并发等动态性能要求,实现了虚拟装配大量离散事件的处理及装配意图的响应。给出了基于知识的层次对象时间Petri网的产品装配模型表达,不仅表达了产品结构及装配关系,同时记录零部件在装配过程中的方位及约束状态等动态信息,从而在虚拟装配环境中实现了装配与拆卸并存的实际装配活动。此外,还给出了由产品装配层次图生成的基于知识的层次对象时间Petri网装配模型的算法,说明了基于应用层模型的装配、拆卸操作以及装配过程仿真,开发了原型系统。     

RFID定位技术在虚拟装配中的应用

旨在运用RFID技术来辅助零部件装配,实现一种在可视化界面实时显示装配过程的技术,因此需要获取到零部件之间的相对位置关系。在分析现有RFID定位算法的基础上,用遗传算法优化BP神经网络的权值和阈值,再结合现有的RFID定位算法来实现零部件的相对位置估计。实验结果表明,零件定位精度较高,此定位方法可以应用于虚拟装配。     

多传感器协助机器人精确装配

在传统的机器人装配系统中,工业机器人只能以固定的姿态装配由输送线输送的工件。这种装配系统,由于物料输送系统误差大,很难满足产品高精度装配要求。随着机器人装配技术的发展,提出了多传感器协助机器人自动装配系统方案,它能有效地降低供料供料系统误差。在这种装配方案中,位移传感器依据零件表面特征快速示教机器人确定初始装配位姿。力传感器依据装配过程中测量的力、力矩信息,引导机器人精调装配位姿。最后结合一实例,来验证提出的装配系统的准确性和实用性。     

3-RRR型数控回转台的精度分析

研究３－ＲＲＲ数控回转台的精度分析问题。利用空间矢量链分析法构造零部件制造误差与动角台位姿误差的映射关系,建立相应的精度分析概率模型;在此基础上对设定零部件加工精度等级后的动角台位姿进行误差估计和灵敏度分析。研究成果为合理确定零部件尺寸和形位公差及其加工装配工艺的制定提供了理论依据。