基于机器视觉的三维点云匹配算法在散货物料实时检测中的应用与研究

面对杂乱堆叠的散货物料实时检测场景,传统机器视觉会受物体遮挡限制,使得识别结果存在偏差。为解决此问题,本文运用三维点云算法,设计基于点对特征的位姿估计算法,同时调整场景点云中法线方向使其朝向点云成像设备视点,以优化其一致性,最后基于该算法构建实际物体抓取系统。结果显示,此次研究设计的位姿检测算法的平均重合率为98%,平均内点均方根误差为0.000 3 mm,点云匹配成功率为100%,抓取成功率为97.1%。结果表明,该基于点对特征的三维点云算法在散货物料场景中的检测准确率较高,且在抓取场景中也有较理想的表现,具有一定的实际应用意义。     

基于点对特征的三维点云匹配算法

针对现有的基于全局特征的三维物体识别方法和基于局部特征的三维物体识别方法在有遮挡和混叠场景中识别效果均不理想的问题,提出了一种基于点对特征的三维点云匹配算法。利用模型上的所有点对特征来完成全局模型描述构建,并在减少的二维空间上,利用快速投票方案,在局部对模型点云和场景点云进行匹配,从而恢复模型在场景中的全局姿态。实验结果表明:该算法在有遮挡和混叠的场景中识别效果比较理想。     

基于Kinect的服务机器人任务操控学习方法的研究

本文围绕中国科学院深圳先进技术研究院认知技术研究中心自行研发的搭载有Kinect传感器的服务机器人操控平台,从Kinect传感器带来的彩色图像、深度图像和真三维点云信息中提取基于图像的2D和基于点云的3D特征,并将它们进行融合,作为待识别物体几何模型归类的依据,为手爪选择合适抓取姿态提供判断准则。同时结合人体示范学习框架（Learning from demonstration,LFD）,研究了一种通过提高机器人的认知学习能力来完成人类生活环境中室内日常物品操控任务的方法,如：自行识别门把手的位置并完成开门动作,从橱柜中识别出目标物,抓取目标物体并送到指定目标地点等。最后,我们通过实验验证,该方法能够保证服务机器人成功抓取一些类似圆柱状、长方体等几何形态的物体并能在抓取之后顺利完成与周围环境进行交互过程中的轨迹规划这一复杂任务。     

适用于家庭服务机器人的倒地人体检测方法

人体检测是家庭服务机器人的一项基本功能.本文针对复杂家庭环境,倒地人体面临地上杂物的干扰、遮挡等情况下,提出一种结合三维点云分割和局部特征匹配的倒地人体检测方法.该方法对点云进行分割之后将每个物体横向切分成若干段,对每段点云采用局部特征匹配并分类,并根据匹配段数来判断是否为倒地人体.实验结果表明,该方法在0.3秒的检测时间内,实现平均误识别率低于10%的高检测率,满足服务机器人实时性要求的同时具有良好的鲁棒性,即使人体部分被遮挡,依然可以检测到各种倒地姿态的人.     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在ModelNet40和ShapeNet Part数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

面向自动扫描的三维形状多层次局部匹配算法

为了让机器人在对未知场景的扫描与重建过程中同时获得对该场景的理解,需要基于目前已有的部分信息进行物体分割与识别,解决基于不完整点云的局部匹配问题.针对已有的局部匹配方法面临着匹配准确度低、计算复杂度高等问题,提出三维形状的多层次局部匹配算法.在粗层次上,通过使用改进的词袋方法进行降维加速;在细层次上,通过精细地筛选三维特征点对之间的对应关系提升精度.首先使用基于深度学习描述子的多尺度SVM方法对数据库中模型上的特征点进行聚类,然后采用基于空间关系的视觉词袋方法在数据库中检索候选模型,最后基于全局和局部等距性对不完整点云与候选模型间的特征点对对应关系进行筛选.文中对于各部分算法分别进行验证,并与相关算法进行对比和评估,实验结果表明,该算法显著提高了局部匹配的准确性,为机器人在线场景扫描、分析、重建等相关工作提供了十分有意义的参考和支持.     

基于加权距离投票的点云匹配算法设计

点云匹配问题是计算机技术中的一个非常重要的问题,在表面重建、三维物体识别、定位追踪等问题中有着极为重要的作用。针对现有的点云匹配算法无法很好地适用于部件位姿调整过程中的点云匹配任务,进而无法完成姿态追踪等问题,提出基于加权距离投票的点云匹配算法,完成部件表面点云的匹配。     

基于激光雷达巡检机器人的变电站三维地图构建

变电站场景相比于一般场景,更为复杂,相似场景多,不易于三维(3D)可视化,基于传统迭代最近点(ICP)算法的点云匹配易出现地图误匹配.为了解决上述问题,设计了基于三维激光雷达的巡检机器人系统,利用三维激光雷达提供的点云信息构建三维地图;同时优化传统点云匹配算法,采用基于特征的点云匹配算法,解决由于相似场景导致误匹配,出...     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

基于特征点密度峰值的视觉伺服目标选择方法

为避免机器人视觉伺服过程中因无法进行目标选择而导致视觉伺服失败的问题,提出一种基于特征点密度峰值的视觉伺服目标选择方法.采用(oriented fast and rotated brief,ORB)特征点检测与匹配算法识别视场中所有的目标物体,利用PROSAC算法剔除误匹配点,通过引入特征点密度峰值聚类算法分离图像中不同目标物体的特征点,提出基于位置优先决策方法选择最佳视觉伺服目标.实验结果表明,通过该方法机器人能够在多个相同目标物体中选择一个最佳视觉伺服目标,有效解决了移动机器人视觉伺服中出现的目标选择问题.     

3D object recognition method with multiple feature extraction from LiDAR point clouds

During autonomous driving, fast and accurate object recognition supports environment perception for local path planning of unmanned ground vehicles. Feature extraction and object recognition from large-scale 3D point clouds incur massive computational and time costs. To implement fast environment perception, this paper proposes a 3D recognition system with multiple feature extraction from light detection and ranging point clouds modified by parallel computing. Effective object feature extraction is a necessary step prior to executing an object recognition procedure. In the proposed system, multiple geometry features of a point cloud that resides in corresponding voxels are computed concurrently. In addition, a scale filter is employed to convert feature vectors from uncertain count voxels to a normalized object feature matrix, which is convenient for object-recognizing classifiers. After generating the object feature matrices of all voxels, an initialized multilayer neural network (NN) model is trained offline through a large number of iterations. Using the trained NN model, real-time object recognition is realized using parallel computing technology to accelerate computation.

     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。     

点云场景下基于结构感知的车辆检测

在自动驾驶领域,计算机对周围环境的感知和理解是必不可少的.其中,相比于二维目标检测,三维点云目标检测可以提供二维目标检测所不具有的物体的三维方位信息,这对于安全自动驾驶是至关重要的.针对三维目标检测中原始输入点云到检测结果之间跨度大的问题,首先,提出了基于结构感知的候选区域生成模块,其中定义了每个点的结构特征,充分利用...     

YOLOv4-tiny-based robust RGB-D SLAM approach with point and surface feature fusion in complex indoor environments

Algorithm frameworks based on feature point matching are mature and widely used in simultaneous localization and mapping (SLAM). However, in the complex and changeable indoor environment, feature point matching-based SLAM currently has two major problems, namely, decreased accuracy of pose estimation due to the interference caused by dynamic objects to the SLAM system and tracking loss caused by the lack of feature points in weak texture scenes. To address these problems, herein, we present a robust and real-time RGB-D SLAM algorithm that is based on ORBSLAM3. For interference caused by indoor moving objects, we add the improved lightweight object detection network YOLOv4-tiny to detect dynamic regions, and the dynamic features in the dynamic area are then eliminated in the algorithm tracking stage. In the case of indoor weak texture scenes, while extracting point features the system extracts surface features at the same time. The framework fuses point and surface features to track camera pose. Experiments on the public TUM RGB-D data sets show that compared with the ORB-SLAM3 algorithm in highly dynamic scenes, the root mean square error (RMSE) of the absolute path error of the proposed algorithm improved by an average of 94.08%. Camera pose is tracked without loss over time. The algorithm takes an average of 34 ms to track each frame of the picture just with a CPU, which is suitably real-time and practical. The proposed algorithm is compared with other similar algorithms, and it exhibits excellent real-time performance and accuracy. We also used a Kinect camera to evaluate our algorithm in complex indoor environment, and also showed high robustness and real-time. To sum up, our algorithm can not only deal with the interference caused by dynamic objects to the system but also stably run in the open indoor weak texture scene.     

基于双目的三维点云数据的获取与预处理

在计算机辅助几何设计、医学诊断、物体识别与定位等领域的应用需求下,三维点云数据的获取与处理技术受到越来越多的关注。现在有多种不同的方式可以获取现实世界中物体的三维点云数据,并对数据进行相应处理。为了能够很好地对三维数据点云进行前期的预处理,首先通过双目摄像机获取物体的三维点云,并采用八叉树法对点云数据进行相应的预处理,然后在逆向工程软件中描述出来,从逆向工程软件中可以看出得到的物体与实际物体比较接近,从而可以证明所获取的点云数据可以用来描述物体,并且点云数据的处理技术是可行的。     

基于局部指纹曲面片的点云三维物体识别

提出一种新的基于局部描述符的点云物体识别算法。算法根据点云的位置信息提取出邻域以及曲率信息,进而得到形状索引信息。根据形状索引提取到特征点,在每个特征点根据样条拟合原理得到测地距离和矢量夹角分割曲面得到曲面片集。每个曲面片的等距测地线构成了曲面片指纹,通过矢量和半径的变化描述,可以把每个模型物体得到的曲面片集描述存入数据库。对于给定的一个物体,根据上面步骤同样得到其曲面片集描述,通过和数据库中模型物体曲面片集的比对,得到初始识别结果。对每对初始识别结果进行对应滤波后,通过最近点迭代方法得到最终的识别结果。最后通过具体的实验说明了算法的有效性和高效性。     

基于3维点云鸟瞰图的高精度实时目标检测

针对基于3维点云的目标检测问题,提出了一种高精度实时的单阶段深度神经网络,分别在网络特征提取、损失函数设计和训练数据增强等3个方面提出了新的解决方案.首先对点云直接进行体素化来构建鸟瞰图.在特征提取阶段,使用残差结构提取高层语义特征,并融合多层次特征输出稠密的特征图.在回归鸟瞰图上的目标框的同时,在损失函数中考虑二次偏移量以实现更高精度的收敛.在网络训练中,使用不同帧3维点云混合的方式进行数据增强,提高网络的泛化性能.基于KITTI鸟瞰图目标检测数据集的实验结果表明,本文提出的网络仅使用雷达点云的位置信息,在性能上不仅优于目前最先进的鸟瞰图目标检测网络,而且优于融合图像和点云的检测方案,且整个网络运行速度达到20帧/秒,满足实时性要求.     

基于相对角分布聚类和支持向量机的3维人脸特征点匹配技术的研究

人脸特征点自动定位及对应点匹配是计算机视觉和模式识别领域一个非常热门的研究方向,应用领域包括图像配准、对象识别与跟踪、3维重建、立体匹配等。通过相对角直方图分布和K均值聚类确定脸部特征点的聚类点集,再利用几何信息提取聚类点集的特征,进而采用支持向量机分类最终从点集中分离出39个脸部特征点。实验结果表明,此混合提取方法比单纯使用RAC得到了更好的匹配准确率,在给定的距离阈值范围内,50%的特征点定位准确率达到了100%。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。