互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

一种改进的角点检测法

角点包含丰富的图像几何信息，其检测精度直接影响后续图像参数的计算与分析。为满足工程上要求的高精度计算出零件轮廓参数，在检测出零件轮廓边缘后．角点定位成为影响结果精度的最重要因素。为此．本文提出了一种基于亚像素思想，综合图像灰度信息与边缘轮廓点特征的高精度角点检测法。该方法使用Marr边缘检测算子得到连续单像素边缘，结合亚像素思想对各个边缘点进行精确定位，在此基础上根据角点曲率最大原理进行检测．最终确定独立角点。实践证明，该方法能有效、高精度地进行角点检测。     

改进深度学习框架Faster RCNN的人行道障碍物目标检测

针对现有人行道上障碍物检测效果比较差,提出一种改进的Faster RCNN人行道障碍物检测方法.首先用ResNet101代替VGG16网络,并对其进行优化,使用两个3×3卷积获得比单个卷积更大的接收场,减少了训练参数,提高了对较小障碍物目标的检测精度;其次对原始的RPN结构进行改进,通过增加一个滑动窗口来增大感受野的面积,提高网络的检测能力;然后在特征提取阶段采用双线性插值操作,避免了两次量化对目标检测准确度的影响;最后用Soft-NMS算法对锚框进行筛选,减少了 NMS算法滤除交并比大于阈值的框而出现的漏检.实测结果表明,该算法适用于不同场景下的人行道障碍物检测,具有较好的鲁棒性.     

用于摄像机标定的棋盘图像角点检测新算法

摄像机标定是从二维图像获取准确的三维信息的必要步骤,摄像机标定的精度在很大程度上取决于标定板控制点的图像定位精度,鉴于此,对棋盘格标定板图像的角点定位问题进行了研究.笔者通过对图像像素类型及其性质进行分析,提出了以小邻域环形模板上像素灰度的跳变次数为判据的棋盘角点检测新算法,该算法不但能快速检测出角点,而且还能确定角点的类型.利用此性质,剔除了容易受外界环境影响的棋盘外圈角点,即非X型角点,从而从另一个角度保证了所提取角点的精度.为了达到更高的精度,笔者以棋盘图像的高度对称性为依托,在每个初定位角点的局部邻域内,用灰度重心法对角点进行了亚像素定位.实验结果表明,提出的算法具有较高的精度,能够为高精度摄像机标定提供可靠数据.     

基于对称形状生成的三维目标检测网络

基于点云的三维目标检测在机器人、自动驾驶等领域起着至关重要的作用,激光点云能为场景理解提供精确的几何信 息。 然而,由于点云的稀疏性和物体间的遮挡关系,激光点云通常只能描述物体的部分形状,导致目标结构信息不完整,从而降 低检测精度。 针对这个问题,提出基于对称形状生成的三维目标检测网络( SSG-RCNN),一种双阶段目标检测器。 考虑到感兴 趣目标形状的对称性,SSG-RCNN 在一阶段生成候选框的同时为每个前景点预测镜像对称点,从而恢复目标的整体形状。 二阶 段中,使用自注意力池化层从原始点和对称点中聚合特征用于候选框修正,完成三维框预测。 KITTI 数据集上的实验表明 SSG-RCNN 取得了卓越的检测性能,在测试集上对困难目标的检测精度达到 77. 64% ,高于所有对比方法。     

基于 Keypoint RCNN 改进模型的物体抓取检测算法

机器人抓取在工业中的应用有两个难点:如何准确地检测可抓取物体,以及如何从检测出的多个物体中选择最优抓取目标。本文在Keypoint RCNN模型中引入同方差不确定性学习各损失的权重,并在特征提取器中加入注意力模块,构成了Keypoint RCNN改进模型。基于改进模型提出了两阶段物体抓取检测算法,第一阶段用模型预测物体掩码和关键点,第二阶段用掩码和关键点计算物体的抓取描述和重合度,重合度表示抓取时的碰撞程度,根据重合度可以从多个可抓取物体中选择最优抓取目标。对照实验证明,相较原模型,Keypoint RCNN改进模型在目标检测、实例分割、关键点检测上的性能均有提高,在自建数据集上的平均精度分别为85.15%、79.66%、86.63%,机器人抓取实验证明抓取检测算法能够准确计算物体的抓取描述、选择最优抓取,引导机器人无碰撞地抓取目标。     

多目标运动变化检测及空域定位新方法

讨论了一种新的实时图像序列多目标运动变化检测算法按比特层差分运动检测以及目标空域位置确定算法;投影矩阵空域定位算法.运动检测算法在速度、精度和适用范围等方面与其他现有面向像素的检测技术相比,有更好的表现,空域位置确定算法用单个摄像机图像序列能较好地确定目标3D的位置.     

基于3-D Facet模型的亚体素边缘检测算法研究

在产品的虚拟测量中,需要获得产品内外表面的3D高精度轮廓信息。本文首先介绍了一种直接从CT切片序列获得表面点的方法,通过3DFacet模型计算方向导数并根据沿梯度方向的二阶导数零点获得边缘点的亚体级精确位置。该方法可以检测到法向垂直于切片的表面,并且由于考虑了待检测切片相邻层的信息,与仅考虑单层信息的2D亚像素边缘检测方法相比,它抗噪能力更强、精度更高。其次,本文提出了一种改进方法,通过缩减候选像素的预处理,在很大程度上提高了原始算法的处理速度。最后将改进算法应用到航空发动机叶片仿真模型的检测中,结果表明本算法检测精度可达0.1个像素左右,速度较原始算法提高约10倍。     

基于亚像素边缘检测的刀具几何参数测量

为了提高刀具几何参数图像测量精度,基于矩法理论,提出了一种亚像素边缘检测算法。该方法的基本思想是采用灰度空间矩,将图像边缘特征离散为亚像素级特征点,并用Matlab实现图像的处理。实验证明,基于亚像素特征点提取检测的刀具几何参数具有较高测量精度,且计算量小,具有很好的抗噪性能。     

适用于复杂场景的多目标跟踪算法

在视觉目标跟踪应用中,传统算法在光照变化、阴影、遮挡和背景运动等复杂环境下面临着鲁棒性较差的问题。针对上述问题,首先在局部二进制类型(LBP)背景模型基础上,提出了自适应像素距离阈值编码的背景模型(ST-LBSP)克服阴影和光照变化对目标检测的影响;其次,为了克服遮挡、背景运动等问题,计算图像块之间的最小像素距离和图像块和目标历史数据之间的标准化差值平方和距离,依据距离信息对图像块进行整合;同时,对整合后的图像块,计算其光流矢量、区域内差异性和区域间差异性,对图像块进行分割;最后,采用结构化的支持向量机设计多目标跟踪器,实现了鲁棒的视觉跟踪。基于标准数据集的实验结果显示,该方法具有较强的鲁棒性和较高的跟踪精度。     

基于关键点检测的航空发动机螺栓安装缺陷自动化检测方法

针对航空发动机螺栓存在背景复杂、目标小、且精细特征不明显的问题,本文研究了一种基于关键点检测的航空发动机螺栓安装缺陷的自动化检测方法。首先设计了基于Faster RCNN和改进CPN(AD-CPN)的级联卷积神经网络,实现了图像中螺栓及二维关键点的检测,可判断该螺栓是否脱落、漏装。为进一步检测螺栓的三维安装缺陷,通过欧氏距离选择策略对已检测出的关键点进行双目匹配、筛选以获得检测点对,最后对检测点对三维重构,并计算出螺栓的实际长度,从而判断螺栓是否错装。实验结果表明,相较于CPN,AD-CPN的mAP、AP₅₀、AP₇₅分别提升了2.9%、3.3%、4%;螺栓测量长度的相对平均误差约为3.0%,可见该方法具有较高的缺陷检测准确率,有效保障了航空发动机的安全运行。     

融合通用形变模型信息的面部三维重建

基于图像对的立体重建是用于获取人脸三维信息的通用方法,但根据图像数据和重建算法所得到的三维重建结果存在各种误差,本文对通用形变模型进行改进并与三维立体重建融合以得到更精确的重建结果。首先使用Max-Margin对象检测算法来获取面部边界框,其中回归树集合法能直接从像素强度的稀疏子集识别面部特征点。然后通过PCA颜色模型生成形状和颜色的三维面部统计模型,利用ISOMAP算法将三维网格转换为二维表面并提取纹理信息,得到面部模型。最后在源网格上进行两步非刚性表面配准的变形过程:先通过对源网格进行二次采样来选择少量网格点来表示源的全局变化,并选取径向基函数(RBF)进行非刚性全局变形;再对源顶点进行Procrustes分析获得非刚性变换,再通过加权方案来进行k-近邻变换,得到平滑的局部变形。将单图像重建的面部模型,立体重建的面部模型和本文的面部变形模型与高质量扫描云图进行对齐比较,得到面部变形模型的3个RMS值分别为2.795 2,2.102 8和2.153 4,相比于其他模型,面部变形模型更接近高质量扫描云图,即与原图像一致性更高,误差更小。面部变形模型的定性和定量分析表明,立体重建与人脸一般形状信息的组合在几何信息的表达上优于基于通用模型的单个图像重建以及未考虑通用模型的立体重建。     

基于角点稳健提取的长方体参数化拟合方法

长方体基元拟合是三维点云几何拟合的典型问题,在三维重建、逆向工程、工业三维量测等实际场景中有着广泛应用。在实际应用中由于遮挡及设备盲区等原因,通常无法获取完整长方体点云数据,导致建模或量测时难以准确拟合长方体结构。针对该问题,本文提出一种结合平面拟合投影分割以及残缺平面垂角检测的长方体参数化拟合方法实现了长方体参数化拟合。首先,该方法通过平面拟合投影分割算法获取强轮廓信息的平面点云;然后,设计了残缺平面垂角检测算法,以拟合长方体真实角点;最后,利用非共面四点法对长方体残缺角点进行计算补全,获得完整的长方体参数信息。实验表明,本文方法在各类情况下均能准确检测并补全长方体角点信息以及平面参数信息,角点查准率召回率均为100%,平均误差仅为1.204×10^-3 m,能够实现精确的长方体参数化拟合。     

基于改进Faster RCNN的铝材表面缺陷检测方法

针对传统检测算法对工业铝材表面缺陷识别率不高、对于小缺陷定位不准确等问题,提出改进的Faster RCNN深度学习网络对于铝材表面10种缺陷进行检测。首先,对数据进行增强后,在主干网络加入特征金字塔网络(FPN)结构以加强对小缺陷的特征提取能力,随后用感兴趣区域校准(ROI Align)算法来代替粗糙的感兴趣区域池化(ROI Pooling)算法,获得更准确的缺陷定位信息,最后加入K-means算法对缺陷数据进行聚类,得出更适应铝材缺陷的锚框。实验表明,改进后的网络对铝材表面缺陷检测的平均精度均值(mAP50)为91.20%,比原始的Faster RCNN网络提高了16%,并且对铝材小缺陷的检测能力也得到明显的提高。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

基于梯度聚类的有序点云边缘优化提取方法

应用传统的2D边缘检测器检测低分辨率深度图中物体边缘时,边缘检测精度较差,召回率低;而当前基于3D点云的边缘提取方法也存在实时性差、抗干扰能力弱等缺点。为此,提出一种基于梯度聚类的边缘优化提取方法,实现从有序点云中快速、稳定地检测物体的边缘。首先,通过邻域点距离分析滤除飞行像素噪声,消除边缘误检;其次,提出一种基于梯度聚类的边缘点/非边缘点分离方法,快速获取物体的粗边缘;最后,结合快速平行细化算法与掩膜滤波,优化粗边缘,获得物体精确边缘。在公共数据集和TOF相机实测数据上进行实验验证。结果表明,提出方法的实时性与检测精度均优于现有方法,在实测数据中的边缘检测精度达89%,FPS达28 fps。