基于局部特征的位姿求解算法北大核心

为提高点云数据配准精度,更准确获取目标物体位姿信息,提出一种基于局部特征的多源数据匹配位姿求解方法。首先,通过3D深度相机获取模型三维点云数据,并根据梯度阈值算法从大量点云数据中得到物体表面梯度值;其次,使用L+边界提取算法提取物体边缘轮廓特征信息,再遍历实体大量点云数据求解二维轮廓特征值,从而对输出的轮廓特征数据建立特征数据库;最后,对获取的点云数据特征进行数据处理,通过Hu矩匹配算法找到相对应的数据源后再由F-ICP匹配算法获取模型位姿。结果表明基于局部特征的多源数据匹配算法可以有效对点云数据进行位姿计算,匹配精度得到提升。     

动态场景下移动机器人视觉SLAM

为实现动态场景下移动机器人自主定位和建图,解决传统视觉里程计方法跟踪效果差及累积误差问题,提升闭环检测的准确性和鲁棒性,提出融合深度学习的同时定位与地图构建方法。采用四叉树算法均匀化特征分布,解决动态场景特征聚集问题;通过优化的目标检测网络识别场景动态语义信息,剔除动态物体对位姿估计的干扰;充分提取场景空间结构信息,结合点特征和线特征实现位姿跟踪及回环检测,构建全局一致的环境地图。TUM数据集和真实场景实验结果表明：改进方法提升了移动机器人定位和建图的准确性和鲁棒性。     

基于改进SIFT的无人机双目目标识别与定位北大核心

对无人机自主着陆系统中双目视觉采集到的地标图像进行了研究,在分析地标图像中存在模糊噪声以及大量背景干扰问题,提出一种基于改进SIFT算法的无人机双目视觉目标识别与定位方法。首先,采用基于OTSU与HSV的ROI算法对无人机双目图像进行目标识别与分割预处理操作,将目标准确识别;其次,针对双目视觉获取三维信息效率慢的问题,采用基于改进的SIFT算法对已识别的地标进行特征提取,生成二进制描述符,并采用局部敏感哈希算法对特征点进行稀疏匹配,提高目标特征匹配准确度及效率;最后,采用相似三角形原理计算每个特征匹配点的三维距离,获得无人机与目标之间的平均三维距离。实验结果表明所设计的算法相较于传统的SIFT算法更具有可行性和有效性。     

基于视觉的工业机器人装配演示示教研究

针对工业机器人编程效率低下、智能化程度不高和人机交互性能弱等问题，提出一种基于视觉的工业机器人装配演示示教系统，该系统包括目标检测与中心点定位模块、装配动作分类识别模块和机器人动作执行模块。在目标检测与中心点定位模块中,提出一种目标物体中心点定位和机器人抓取方法，使用实例分割算法识别物体类别，通过掩码均值化处理和坐标转换计算物体3D姿态信息；在装配动作分类识别模块中，建立基于深度学习网络的动作分类识别模型，该模型的输入为装配动作视频帧，输出为动作分类标签；最后，机器人动作执行模块根据物体类别、物体3D姿态和动作分类标签等信息规划机器人装配动作，控制机器人执行装配任务。以轴孔装配为例，验证了上述方法的有效性，实现了基于视觉演示的机器人装配模仿编程，对机器人演示示教研究具有一定的参考价值。     

基于3D视觉传感器边缘识别和追踪算法的研究

随着人工智能的迅速发展,计算机视觉的应用越来越广泛;原来的单个目标跟踪转变为多个目标跟踪,本文基于3D视觉传感器边缘识别和追踪算法采获取相机运动轨迹,对目标进行边缘识别和追踪算法并建立模型验证算法的可行性。以希为物体的三维重建提供可鉴价值。     

基于SURF+RANSAC的双目立体视觉目标识别与抓取

针对单目视觉处理简单、无法获取获取三维维空间数据的问题,提出一种双目立体视觉目标识别和抓取方法。结合SUR算法和RANSAC算法对图像进行匹配,以滤除图像中的"外点";利用仿射变换获取关键点信息及形心坐标,根据立体重建原理实现目标测距与定位,最终完成抓取任务。实验结果表明:采用距离辅助坐标定位法可以准确识别目标物体并获得距离信息,实现准确定位。     

基于融合BEBLID和改进ORB算法的单目视觉里程计研究

为防止FAST算法在纹理丰富的环境下提取的特征点过于密集,通过预设条件使特征点稀疏化,便于后续对极约束恢复相机的位姿;为保证相机摄入的图像帧中纹理较少,特征提取时不会丢失图像信息,提出根据特征点数量调整检测方式,使其自适应提取图像特征,增强对复杂环境的适应性;为提高图像特征的匹配精度,通过融入BEBLID使特征点描述符充分表达。经实验验证,面对复杂的场景,改进算法有较强的环境鲁棒性。改进算法的匹配精度要高于ORB算法,在算法耗时方面相较SIFT算法有量级提升。经轨迹测算后,相比于ORB算法,改进算法在相机运动上更贴合真实轨迹,在位姿精度上有较明显的提升。     

改进ORB特征提取算法的ORB-SLAM2定位研究

针对ORB(oriented fast and rotated brief)算法提取图片特征时存在的特征点分布不均匀问题，提出了一种改进的ORB算法。通过密度峰值聚类算法计算四叉树分割后的各区域特征点密度峰值，并对密度峰值高的区域使用四叉树多次分割；同时在初始阈值(iniThFAST)和最小阈值(minThFAST)中加入中间阈值(middleThFAST),提高特征点灰度值差值，减少冗余特征点提取，提高图片特征点均匀性。对特征点提取与匹配进行了实验验证，结果表明改进算法对比传统ORB算法在均匀度和匹配效率方面均有明显提升。结合ORB-SLAM2定位实验表明，改进算法的定位精度平均提高16.6%,每帧追踪时间平均减少12.4%,有效保证实际定位过程的精确性和实时性。     

基于PSO/GA的立体视觉测量系统优化布局

探讨一种基于PSO/GA(粒子群优化/遗传算法)混合算法的立体视觉测量系统优化布局方法。以空间点目标的三维重构不确定度最小为目标,构建了立体视觉测量系统优化布局的目标函数。通过实例阐述了使用PSO/GA混合算法求解系统最优布局参数的过程,并且在MATLAB环境下对该方法做了验证。仿真实验结果表明:与传统的粒子群优化算法和遗传算法相比,使用PSO/GA混合算法得到的最佳个体适应度曲线上升速度最快,而且求得的系统最优布局参数使空间点目标的三维重构不确定度最小。     

基于PSO/GA的立体视觉测量系统优化布局

探讨一种基于PSO/GA（粒子群优化/遗传算法）混合算法的立体视觉测量系统优化布局方法。以空间点目标的三维重构不确定度最小为目标,构建了立体视觉测量系统优化布局的目标函数。通过实例阐述了使用PSO/GA混合算法求解系统最优布局参数的过程,并且在MATLAB环境下对该方法做了验证。仿真实验结果表明：与传统的粒子群优化算法和遗传算法相比,使用PSO/GA混合算法得到的最佳个体适应度曲线上升速度最快,而且求得的系统最优布局参数使空间点目标的三维重构不确定度最小。     

基于改进的ORB算法的工件图像识别方法

针对传统的工件图像识别算法运行速度慢、匹配精度差等问题,提出一种改进的ORB（Oriented FAST and Rotated BRIEF）算法解决工件图像的实时与准确识别问题。该算法的流程是首先利用ORB算法提取工件图像的角点特征,随后为其添加SURF（Speed-Up Robust Features）描述符进行方向分配,得到具有旋转尺度不变性的图像角点,结合快速近似最近邻搜索算法进行特征点的匹配,实现工件图像的识别。实验结果表明：在图像存在旋转尺度变化的情况下,使用改进的ORB算法相比传统的ORB、SIFT（Scale Invariant Feature Transform）和SURF算法以及SIFT+SURF、SURF+FREAK组合算法在工件图像角点提取与目标匹配方面速度更快,识别精度更高,提高了工业机器人在搬运工件过程中对工件图像的识别效率和准确性     

卷积神经网络算法在工件抓取中的应用

为提高机械手臂夹取物件的准确率,提出基于深度学习法的3D视觉辨识与抓取系统。该视觉系统结合GPU和深度影像Open CV等函数库,分别进行影像拾取、深度数据运算、坐标转换、影像轮廓搜寻和卷积类神经网络模型训练等。采用YOLOv2算法判别目标物体的种类和中心点,并利用轮廓搜寻方法找出物体的角度信息,作为机械手臂操作目标点;通过坐标转换将相机坐标转为机械手臂坐标,由TCP/IP通信传至运动控制系统进行物件夹取。实验结果表明:不同位置的所有零件辨识准确率均在82%以上,抓取误差在1～4 mm内,符合工业生产的要求。     

视觉引导下机器人拆垛场景识别定位抓取方法

针对2D图像识别缺乏3D姿态信息，而传统的3D视觉需要处理大量点云，运算时间较长等问题，提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进，在其ROIAlign结构之后加入空间变换网络模块，提升识别准确率；利用改进的Mask R-CNN网络对目标进行实例分割，结合场景点云分割得到物体感兴趣区(ROI)场景局部点云；采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准，最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题，实验结果表明：利用改进的Mask R-CNN网络提升了目标识别的准确率，使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数，提高了工业机器人的拆垛、分拣及码垛效率。     

正交异性钢结构桥梁面板焊接区缺陷空间视觉定位方法

为了减少焊接桥梁因疲劳产生裂纹，减少安全威胁，提出正交异性钢结构桥梁面板焊接区缺陷空间视觉定位方法。利用视觉注意力机制分别采集方向和亮度显著特征图，通过融合算法将二者融合，生成初始焊接区域图像。使用二值化处理方法计算图像初始对比度和像素分布系数，设定像素阈值，去除噪声点，提高图像质量。采用改进区域生长算法确定生长准则，通过阈值更新的方式实现图像背景与目标分离，获取图像条纹斜率，比较相邻像素点的斜率值，将该值做为判断特征拐点的依据，提取缺陷特征；结合获取的特征，利用最近邻域法识别出缺陷，实现缺陷视觉定位。结果表明，所提方法能够获得高质量的视觉图像，定位误差小。     

视觉机械手的抓取方法研究

针对机械手抓取物体大多以指定位置抓取特定物体的方式及柔性差的问题,提出利用基于深度学习方式的目标检测算法对物体进行识别。通过双目视觉算法检测物体所在的空间位置,利用D-H法进行机械手的坐标解算,从而实现物体的抓取。根据实际需求,采用实时性较好的YOLOv4目标检测算法与OpenCV中的立体匹配算法SGBM相结合的方式实现目标定位检测,并且通过租用云端服务器来训练神经网络和运行程序的方式降低本地硬件要求。实验结果表明：该机械手抓取物体的成功率达到了84%,验证了该方法具有较好的准确性,基本满足智能制造中的实际需求。     

基于点云三维重建的装配件尺寸测量系统北大核心

针对机械加工偏差和人为因素,造成装配面间几何尺寸信息不匹配,而采用人工检测效率低、重复性差,难以满足工厂在线实时检测要求等问题,提出一种基于点云三维重建的装配件实时在线测量系统。以点与点间存在的内在约束作为先验引导信息,提出改进的RANSAC算法来检测并剔除异常数据点,显著减少算法耗时同时大幅提高了平面特征的提取准确率;再利用最小二乘法对剩余有效点进行拟合,对法兰盘工件重建三维模型并进行关键尺寸测量。实验结果表明,基于点云三维重建的工件尺寸测量方法有较好的准确性和检测效率,法兰盘工件测量过程耗时约5.6 s,测量标准误差在±0.16 mm以内,测量误差不超过0.30 mm,满足了工件测量的实时性和准确性要求。     

基于改进图像结构算法的钣金件特征点识别

针对平面钣金件轮廓特征点识别中，特征点受边缘噪声影响，易出现伪特征点、切点难识别及特征点识别定位精度低等问题，提出了一种基于改进图像结构算法的平面钣金件轮廓特征点识别方法。首先，对特征点进行粗提取，通过判断轮廓点两相邻轮廓段的类型，并计算轮廓点间斜率差的绝对值，将斜率差的绝对值和阈值比较，分别获取切点和角点的候选特征点集；其次，进行特征点精确识别，将候选特征点进行分组融合，并引入直线度指标对线段轮廓上的伪特征点进行滤除，最终完成特征点的准确识别。实验结果表明改进的识别算法可以准确地识别平面钣金件轮廓特征点，能够滤除掉所有伪特征点，识别精度更高。     

基于改进的SURF_FREAK算法的工件识别与抓取方法研究

为解决自动化生产线上工件的准确、实时定位与抓取问题,提出改进的SURF_FREAK算法,将其应用于工件的识别与匹配。该算法首先利用加速稳健特征(SURF)算法提取特征点,随后对FREAK算法添加中距离点对进行特征点的描述,在汉明距离相似性度量之前添加极线约束匹配工件图像。研究结果表明:改进的SURF_FREAK算法相比传统的尺度不变特征变换(SIFT)、SURF、SURF_FREAK算法,其在工件的识别速度和匹配准确度上有很大的改善。将该算法应用于工业现场,可以快速准确地识别出工件,结合双目技术完成工件的定位,通过运动学逆解求出机械臂各关节的移动量,传送到控制器,实现对工件的抓取。     

基于改进Faster R-CNN的航空发动机制件表面缺陷检测算法北大核心

针对现有航空发动机制件缺陷检测所存在的检测准确率低、速度慢等问题,提出一种基于改进Faster R-CNN算法的缺陷检测方法。该算法使用深度残差网络提取缺陷特征,采用含有内容感知重组的特征金字塔模型融合各层次特征图,并根据检测框尺度选取相应层次的特征图进行检测和识别,在RCNN部分使用分层采样实现挖掘难例,增强模型对难例样本的学习。实验结果表明:所提算法具有较高的检测准确率,而且能够有效提升检测速度。     

基于CAD三维匹配的机器人定位与抓取

基于CAD三维模型匹配的方法测量了单相机下目标工件的机器人定位精度。该方法是一种利用几何形状检索CAD三维数据模型,对图像信息中相关特征进行交互,能够快速和高效地从背景中分离出目标物体,对轮廓明显且具有反光特性的目标具有高效的识别能力。通过迭代算法将三维模型与图像中目标物体的边缘进行不断拟合,以三维模型的位移及旋转量估算出目标当前的姿态。通过机器人"手眼"标定确定目标与机器人之间位置及方向,实现对目标定位抓取精度测量。将目标绕xy平面旋转0°、45°、90°后,3个位姿下平均定位误差分别为3.012、2.856、4.983 mm。实验结果表明:用这种方法定位目标,定位误差会随着摆放角度增大而增大。