基于精确背景运动补偿的机器人运动目标检测与跟踪

为实现动态场景下机器人快速准确地检测与跟踪运动目标，提出一种基于精确背景补偿的运动目标检测方法，并利用Kalman滤波扩展的KCF算法进行目标跟踪。针对传统ORB算法存在特征点分布不均匀、误匹配率高导致背景补偿效果不佳的问题，采用小波变换及图像分块处理保证提取的特征点数目及均匀分布，通过SURF算法提取具有尺度不变性的特征点并构建ORB描述子。利用KNN算法与对称约束相结合的特征匹配法提高匹配精度，同时引入改进的RANSAC方法精确求解全局运动参数完成背景运动补偿，最后通过帧差法及形态学处理获得完整的运动目标，并将KCF算法融合Kalman滤波实现对被遮挡目标进行再跟踪。实验结果表明：该方法特征匹配正确率达到98.4%,在背景运动状态下能够实时准确地检测出运动目标，并且能够连续稳定地跟踪目标。     

基于视觉激光惯性相结合的机器人SLAM算法

针对弱纹理环境下SLAM系统只依靠单一传感器鲁棒性较差的问题,提出一种视觉、单线激光雷达与惯性相结合的机器人SLAM算法。在视觉与雷达预处理阶段,视觉提取点线特征,同时雷达帧间匹配过程采用激光点到其最近两个点连线的距离构建误差方程,实现更高精度匹配效果。采用惯性传感器与轮速里程计进行雷达运动畸变校正,同时雷达估计信息为单目点线特征三角化提供良好深度值,再利用点线视觉信息、雷达点云信息与惯性测量单元紧耦合优化机制提高机器人SLAM的精确度。最后,将该方法在仿真环境和真实弱纹理环境进行实验。结果表明：该方法定位准确率达到98.6%,在弱纹理环境中定位效果具有较强的鲁棒性和准确性,满足实际需求。     

改进ORB特征提取算法的ORB-SLAM2定位研究

针对ORB(oriented fast and rotated brief)算法提取图片特征时存在的特征点分布不均匀问题，提出了一种改进的ORB算法。通过密度峰值聚类算法计算四叉树分割后的各区域特征点密度峰值，并对密度峰值高的区域使用四叉树多次分割；同时在初始阈值(iniThFAST)和最小阈值(minThFAST)中加入中间阈值(middleThFAST),提高特征点灰度值差值，减少冗余特征点提取，提高图片特征点均匀性。对特征点提取与匹配进行了实验验证，结果表明改进算法对比传统ORB算法在均匀度和匹配效率方面均有明显提升。结合ORB-SLAM2定位实验表明，改进算法的定位精度平均提高16.6%,每帧追踪时间平均减少12.4%,有效保证实际定位过程的精确性和实时性。     

基于改进SIFT的室内机器人惯性视觉定位系统北大核心

对移动机器人室内单目视觉定位存在的定位精度较低,光照鲁棒性差的问题,提出一种基于改进SIFT的实时惯性视觉定位系统。首先压缩SIFT尺度空间,降低描述子维度;再利用结合位置信息的描述子曼哈顿距离进行FLANN匹配,PROSAC迭代优化。在跟踪阶段结合IMU获取的初值约束匹配,剔除误匹配。在回环检测阶段利用惯导位姿给定位姿初值范围,局部搜索SIFT特征点匹配实现重定位。在室内天花板数据集上验证改进SIFT算法,匹配准确率平均提升12.4%。在室内多个场景验证定位精度,平均定位误差为0.076 m。实验结果表明,所设计的算法能够在算力受限平台实现较精准的实时室内定位。     

语义地图中语义物体免疫遮挡定位算法

针对语义物体被遮挡而导致语义定位失效或存在多区域多位置定位位姿的问题，提出了一种在语义地图中免疫语义物体被遮挡的定位算法。首先，利用已经建立的二维语义地图生成语义链，当有障碍物遮挡语义物体时，对当前帧与构建语义地图时保存的关键帧进行基于词袋模型相似度匹配和关键帧语义链检验，确定正确相似帧；其次，进行帧间语义向量链加权求差值，根据差值确定被遮挡的语义物体类别；最后，根据当前帧包含的语义物体种类查语义地图的语义链来确定机器人所处的区域，并依据该区域的高置信度语义信息完成语义定位。通过在搭建的移动机器人平台进行定位实验验证，能快速和精确的进行重定位，相对AMCL算法迭代收敛速度提高了60%,证明本文所提算法的真实有效性。     

基于多特征点匹配的管道焊缝图像拼接方法

为解决由于曲面光照不均而导致的获取管道焊缝图像亮度差异较大、特征不清晰等问题,提出一种快速稳定的焊缝图像拼接方法。基于传统加速稳健特征(SURF)的图像拼接算法,在特征描述环节,用局部差异二值(LDB)描述子描述特征点区域,相较于传统描述子降低了特征维度;结合LDB描述子,构建特征点与相邻特征点的约束信息,利用局部结构信息进行多特征点同时匹配代替单一特征点匹配方法,提高匹配稳定性。试验结果表明:该方法有效提高了管道焊缝图像拼接的快速性和成功率,拼接效率约是SURF算法的1.8倍,拼接成功率约是SURF算法的1.3倍。该方法在其他图像拼接领域也具有一定应用价值。     

基于激光视觉的薄板焊缝跟踪方法研究北大核心

由于示教型焊接机器人在进行汽车薄板件连续焊工艺时存在装夹误差和热变形等问题,导致焊缝实际轨迹与示教轨迹存在较大误差。为提高焊接质量,基于焊接机器人构建激光视觉焊缝检测跟踪系统,提出基于目标估计准则的焊缝跟踪算法,实时跟踪焊缝中心点三维位置变化。以传统图像处理法提取初始帧焊缝特征点,通过改进的孪生神经网络对强干扰下的焊缝特征点进行跟踪提取。通过坐标转换得到机器人基坐标系下的焊缝中心特征点三维坐标。结果表明:该算法能精确提取跟踪焊缝特征点,平均误差为0.48 mm,平均帧率为90帧/s,优于传统图像处理方法和基于相关滤波的方法,能够实现快速准确的跟踪。     

基于运动线索的单目绝对深度测量

为实现单目相机识别和测量目标物体的绝对深度信息，提出基于运动线索的测量方法。首先，通过SSD算法和GrabCut算法识别并分割两幅图中的同一目标对象；其次，利用改进的ORB算法和融合几何约束的RANSAC算法获得目标物体的特征匹配结果；再利用Graham Scan算法求得两幅图中特征匹配后的凸包集合，选出最佳匹配的特征线段计算缩放率，最后，通过公式求得目标物体的绝对深度信息。结果表明，当相机移动100 mm时，目标物体测量误差最小为0.94%,最大为5.23%,平均测量误差最小。由此可见，改进的特征提取和匹配算法不仅能均匀化和亚像素化角点，还提高了匹配正确率，同时选出最佳匹配的特征线段也保证了测量精度。     

改进SURF匹配算法在并联机器人中的研究

针对传统机器人中图像匹配方法准确率低、匹配时间长的问题,提出一种新型的基于机器视觉进行加速稳健性特性（SURF）的改进算法。以SURF特征点检测为基础,利用增强高效局部图像描述符（BEBLID）替换描述子,实现高维到二值化的转换;以自适应设定阈值方法降低人为设定对匹配产生的影响,结合渐进一致采样(PROSAC)优化策略对误匹配点对的剔除方法,获取有效的匹配点对。实验结果表明：与近几年改进算法相比,该算法在正确匹配率和匹配时间上分别提高了12.06%、9.66%,可见在特征点对的提取和匹配处理上,该算法具有更高的实时性、准确性,能够满足产品检测机器人分拣的实时性要求。     

面向装配机器人的作业目标视觉识别与定位方法

针对装配机器人在作业过程中所面临的工件形状多样性等因素对工件的识别、定位造成的扰动,提出利用BRIEF描述子对SURF算法提取的作业目标特征点进行描述,采用最近邻汉明距离融合PROSAC算法进行两步骤的匹配,去除无效匹配点对,提高识别精度;通过模板图像与作业目标图像的转换关系建立4参数的仿射变换模型,求解装配作业目标的形心坐标,结合装配机器人视觉系统的标定参数得到目标形心的世界坐标。实验结果表明该方法在不考虑几何畸变的情况下,实现了对装配作业目标的快速识别与定位,定位误差不超过1. 0mm。     

多特征联合时空正则化相关滤波目标跟踪鲁棒算法

针对相关滤波跟踪框架中快速运动带来的边界效应和遮挡情况下模型错误学习的问题,提出多特征联合时空正则化的相关滤波目标跟踪算法。算法在第一帧提取目标区域的快速方向梯度直方图特征、颜色空间特征和深度卷积特征,并使用主成分分析法降低特征的维度;然后在相关滤波跟踪框架中加入空域和时域正则化项,来缓解跟踪过程中边界效应和模型退化等问题;最后结合尺度池方法,对跟踪目标进行自适应的尺度估计。实验结果表明,该算法在目标发生尺度变化、遮挡、快速运动等情况下,仍具有较好的跟踪有效性。     

基于机器视觉的管道焊接跟踪技术研究

针对爬行焊接机器人在管道自动焊接中对典型的V形坡口焊缝的定位与中心线的提取,设计了一种基于激光视觉检测的自动焊缝跟踪系统。提出了一种基于激光条纹图像特征的两步定位方法:第一步,建立模板匹配,利用模板匹配方式获取激光条纹位置区域;第二步,采用阈值分割和中心法提取激光条纹中心线,然后采用Shi-Tomasi算法对中心线进行角点检测,经过拟合直线求交点和逐列扫描对比得到焊缝坡口的4个拐点信息,并确定焊缝中心。通过对实际的焊接过程进行测试,结果表明:跟踪系统的平均纠偏误差在2像素以内,平均处理纠偏时间在120 ms以内,具有较高的精度和实时性。     

基于残差连接的高帧率Siamese目标跟踪算法北大核心

为提高Siamese跟踪算法在快速运动和相似物体等复杂情况下的跟踪性能和跟踪速度,提出一种融合残差连接与深度可分离卷积的Siamese目标跟踪算法。将原特征提取网络中的5×5卷积替换为普通3×3卷积,在减少网络计算量的同时提高其对特征的学习能力。用计算量更小的深度可分离卷积替代原网络中所有的普通3×3卷积,不仅加快了网络推理速度,还加深了特征提取网络的深度,从而获得对目标更具表征能力的深层语义信息。在深度可分离卷积模块中加入残差连接,组成残差块,用以融合网络提取的不同层特征,提高特征信息的利用率。结果表明:所提算法在跟踪精度和成功率上均有所提高,并且在实时性和可靠性上优于其他算法。     

空气-磁流变液半主动型动力吸振器的研究

为实现高振幅削减百分比的带宽制振,提出一种具有可调刚度和可调阻尼的半主动型动力吸振器。刚度装置为空气弹簧,改变空气弹簧内两气室的初始高度和初始气压可以改变刚度;阻尼装置为磁流变液阻尼器,改变阻尼器内线圈电流大小可以改变阻尼力。计算空气弹簧的刚度、气室的初始高度、气室的初始气压之间的函数关系;计算磁流变液阻尼器的阻尼力和线圈电流之间的函数关系;仿真探究动力吸振器的制振效果。结果表明：该空气-磁流变液半主动型动力吸振器最多可以削减45%的主质量振幅,可以有效抑制主系统的共振。     

基于改进的ORB算法的工件图像识别方法

针对传统的工件图像识别算法运行速度慢、匹配精度差等问题,提出一种改进的ORB（Oriented FAST and Rotated BRIEF）算法解决工件图像的实时与准确识别问题。该算法的流程是首先利用ORB算法提取工件图像的角点特征,随后为其添加SURF（Speed-Up Robust Features）描述符进行方向分配,得到具有旋转尺度不变性的图像角点,结合快速近似最近邻搜索算法进行特征点的匹配,实现工件图像的识别。实验结果表明：在图像存在旋转尺度变化的情况下,使用改进的ORB算法相比传统的ORB、SIFT（Scale Invariant Feature Transform）和SURF算法以及SIFT+SURF、SURF+FREAK组合算法在工件图像角点提取与目标匹配方面速度更快,识别精度更高,提高了工业机器人在搬运工件过程中对工件图像的识别效率和准确性     

动态场景下移动机器人视觉SLAM

为实现动态场景下移动机器人自主定位和建图,解决传统视觉里程计方法跟踪效果差及累积误差问题,提升闭环检测的准确性和鲁棒性,提出融合深度学习的同时定位与地图构建方法。采用四叉树算法均匀化特征分布,解决动态场景特征聚集问题;通过优化的目标检测网络识别场景动态语义信息,剔除动态物体对位姿估计的干扰;充分提取场景空间结构信息,结合点特征和线特征实现位姿跟踪及回环检测,构建全局一致的环境地图。TUM数据集和真实场景实验结果表明：改进方法提升了移动机器人定位和建图的准确性和鲁棒性。     

结构光视觉焊接接头鲁棒识别

针对具有直线段特征的焊接接头,提出了一种基于模型的识别方法.通过对图像列方向上的光条纹灰度分布质心点序列的计算并利用分段直线段最小二乘拟合提取了结构光条纹中心线的形状特征,进一步利用预先定义的基元符号实现了接头轮廓的定性形状描述,最后实现了基于"假设一检验"的模型匹配方法.在进行匹配时,利用模型的先验信息并结合基元特征融合与特征关系重建规则恢复因飞溅、二次反光以及定位焊点等因素而未被提取到的接头轮廓信息,保证了接头识别的正确性.结果表明,即使在图像中有多种干扰的情况下,通过结合高层模型信息与底层图像处理结果仍可以保证结构光视觉焊接接头识别的鲁棒性.     

基于改进的SURF_FREAK算法的工件识别与抓取方法研究

为解决自动化生产线上工件的准确、实时定位与抓取问题,提出改进的SURF_FREAK算法,将其应用于工件的识别与匹配。该算法首先利用加速稳健特征(SURF)算法提取特征点,随后对FREAK算法添加中距离点对进行特征点的描述,在汉明距离相似性度量之前添加极线约束匹配工件图像。研究结果表明:改进的SURF_FREAK算法相比传统的尺度不变特征变换(SIFT)、SURF、SURF_FREAK算法,其在工件的识别速度和匹配准确度上有很大的改善。将该算法应用于工业现场,可以快速准确地识别出工件,结合双目技术完成工件的定位,通过运动学逆解求出机械臂各关节的移动量,传送到控制器,实现对工件的抓取。