基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

颠簸环境下的快速障碍物检测算法

障碍物检测是智能车辆研究中的一个重要内容.用射影几何的方法给出了用重投影变换进行障碍物检测的一般原理,并引入摄像机的内、外参数和姿态参数,建立了重投影变换的参数化模型.为了满足颠簸环境的要求,提出了一种新的基于立体视觉视差分析的障碍物检测算法.实验结果表明,算法具有计算量小和可靠性高的特点.     

基于三维激光雷达的道路边界提取和障碍物检测算法

为了快速有效地提取智能车辆在不同环境下的道路环境信息,提出基于三维激光雷达的道路边界提取和障碍物检测算法.首先,对三维激光雷达点云数据进行栅格化滤波处理,利用单束激光点云空间邻域联合分割的方法进行空间分析,得到点云平滑度特征图像.然后,采用自适应方向搜索算法获取道路边界候选点,并进行聚类分析和曲线拟合.最后,对道路边界约束下可通行区域内点云进行聚类分割,获得道路内障碍物方位和距离信息.实验表明,文中算法能够实时准确地提取道路边界和障碍物位置信息,满足智能车环境建模和路径规划的需求.     

基于深度学习的点云目标检测方法

随着自动驾驶技术和点云处理技术的不断发展,如何对点云数据中的点的相关特征进行分析就成为关键问题.针对点云特征分析问题,很多的文献中对点云特征值采取手动输入的方法.然而,该类方法无法适应实际环境中复杂多变的情况.为了解决该问题,该文提出了一种新的基于深度学习网络的三维点云检测框架.该框架以深度学习作为点云分析工具,并引入...     

基于改进栅格图的道路和障碍物检测算法研究

多线激光雷达(LIDAR)是无人驾驶汽车在环境感知过程中的核心传感器,运用多线激光雷达中提取的点云数据进行道路和障碍物检测是环境感知过程中重要的任务.目前常见的栅格化算法无法实现高效的障碍物和道路检测,论文针对这些问题提出一种新颖改进栅格化方法,通过统计栅格内点云高度分布的方法进行障碍物分类,有效避免噪声点和悬浮障碍对...     

基于角点检测的图像分割算法及在三维重建中的应用

针对基于单幅图像的三维重建方法的多解性和病态性的难点问题,提出了一种基于Harris多尺度角点检测的图像分割算法,将复杂的工程图像分离成若干个简单基本几何形体,分别对其重建以避免直接恢复深度信息的病态解问题;为了提高基于角点的图像配准算法的配准精度,把多分辨分析的思想引入到经典的Harris角点检测中,构造了基于小波变换的灰度强度变化公式,并得到了具有尺度变换特性的自相关矩阵,从而使改进的Harris角点检测算法具有旋转、平移和尺度的不变性;实验验证了改进算法的快速、准确和稳定的特性。     

基于稀疏点云分割的适应视角变化的场景识别方法

在机器人自主导航中,同时定位与建图负责感知周围环境并定位自身位姿,为后续的高级任务提供感知支撑。场景识别作为其中的关键模块,可以帮助机器人更加准确地感知周围环境,它通过识别当前的观测和之前的观测是否属于同一个场景来校正传感器硬件固有误差导致的误差累积。现有的方法主要关注稳定视角下的场景识别,根据两个观测之间的视觉相似性来判断它们是否属于同一个场景。然而,当观测视角发生变化时,同一个场景的观测可能存在较大的视觉差异,使得观测之间可能只是局部相似,进而导致传统方法失效,因此,一种基于稀疏点云分割的场景识别方法被提出。它将场景进行分割,以解决局部相似的问题,并且结合视觉信息和几何信息实现准确的场景描述和匹配,使得机器人能识别出不同视角下的相同场景,支撑单机的回环检测模块或多机的地图融合模块。该方法基于稀疏点云分割将每个观测分割为若干部分,分割结果对视角具有不变性,并且从每个分割部分中提取出局部词袋向量和β角直方图来准确描述其场景内容,前者包含场景的视觉语义信息,后者包含场景的几何结构信息。之后,基于分割部分匹配观测之间的相同部分,丢弃不同部分,实现准确的场景内容匹配,提高场景识别的成功率。最...     

基于图像的重建点云离群点检测算法

基于图像重建出的三维点云模型通常会包含许多离群点,这些离群点可能孤立存在或密集聚集在一起形成点簇,也可能分布在模型周围甚至附着在模型表面。通过一种检测方法很难有效滤除多种分布状态的离群点,因此,提出了综合的离群点监测算法。首先通过空间距离剔除与模型主体较远的离群点,并通过构建空间拓扑关系加快离群点搜索速度;然后利用边界匹配法,将较小点簇分别与最大点簇进行对比,滤除模型周围离群点簇;最后采用改进的K-means算法,根据RGB颜色值特征对点云数据进行聚簇分类,结合已识别的离群点,检测和滤除附着在模型表面的离群点。仿真实验结果表明,此方法能够有效滤除点云模型中多种分布状态的离群点。     

基于改进PointNet++的大规模猪体点云部位分割

PointNet++点云分割网络能直接处理点云并有良好的分类和分割效果,然而对于自由运动状态下获取的大型牲畜点云,存在较大姿态差异,PointNet++无法难以直接捕捉其局部特征,对牲畜体点云各部位分割效果不佳。针对此问题论文采用Octree结构改进了PointNet++集合抽象层中的分组与采样层,使得网络能够更好地捕捉目标点云的非刚性变化,充分提取不同层次下的局部信息,实现对大规模牲畜点云数据的自动分割。采用Octree改进的PointNet++模型分割活体猪点云数据的头部、耳朵、尾部、躯体和四腿。实验表明,500组猪体点云数据,采用320组不同姿态下的猪体点云进行网络训练,180组分割测试结果的平均mIoU达到了88.06%,OA达到了96.57%。     

基于图像点云的道路缺陷检测

本文针对无人机图像点云道路缺陷检测问题, 提出了一种基于点云切片平面拟合与聚类的道路缺陷检测方法. 首先, 采集无人机图像进行三维重建生成图像点云, 对点云进行坡度滤波与统计离群点滤波, 消除噪声和异常点的干扰. 然后, 对点云进行切片并利用随机采样一致性平面拟合算法估计道路的平面模型. 随后, 运用点云DBSCAN聚类算法分类出边缘噪声与道路损伤点云. 最后, 采用点云切片法估计损伤程度. 在实验中, 我们使用真实无人机采集的点云数据, 并与基于点云垂直度特征检测方法进行了对比. 实验结果表明, 本文方法表现出较高的准确性和鲁棒性, 体积估计的误差为1307 cm³. 相较于传统方法, 本文方法能够更精确地检测出道路损伤, 并能适应复杂的道路形状变化.     

基于稀疏图像序列的雕塑点自动云三维重构方法

为了提高对雕塑点稀疏图像的点云三维重建的分析能力,提出一种基于稀疏图像序列的雕塑点自动云三维重构方法,基于稀疏散乱点三维重建和锐化模板特征匹配方法进行图像三维重建。采用三维角点检测和边缘轮廓特征提取方法,进行雕塑点稀疏图像三维点云特征检测,对检测的雕塑点稀疏图像点云数据进行信息融合处理,采用梯度运算方法进行特征分解,实现对雕塑点稀疏图像的信息增强和融合滤波。结合局部均值降噪方法进行图像的提纯处理,提高雕塑点稀疏图像轮廓重建能力,采用锐化模板特征匹配和块分割技术,实现雕塑点自动云三维重构。仿真结果表明,采用该方法进行雕塑点自动云三维重构的准确性较高,图像匹配能力较好,且重构输出信噪比较高。     

图匹配算法激光扫描点云树干分割

目的 移动激光扫描系统能够成功采集丰富的城市行道树侧边信息,然而由于点云数据规模大、密度欠均匀和噪声多等原因,导致行道树的提取精度和效率偏低。为此,本文提出一种基于层次聚类的算法从移动激光扫描点云中提取树干。方法 采用自下而上的聚类策略合并目标区域,基于点云间欧氏距离和点云的局部主方向计算聚类所需的邻近矩阵,通过构造能量函数评估不同的簇合并方案,将能量函数最小化问题转换为计算二分图匹配问题,求解二分图的最小代价完美匹配获得全局最优的层次聚类。结果 实验在公开的巴黎场景数据集与自采集的南京黄埔路场景数据集上进行测试,本文提出的自下向上的聚类算法成功地从点云中提取出树干和主要树枝点,其中提取树干的平均正确率、完整率和F-score分别为98.5%、94.8%和0.97,与其他算法中最好的实验结果对比,分别提高了1.0%、0.6%和0.02。结论 实验结果表明,本文算法通过优化层次聚类中的簇合并,可以有效减少聚类中的“过分割”和“欠分割”,提高点云中树干的分割精度与效率。     

Ground object recognition and segmentation from aerial image‐based 3D point cloud

Several attempts have been made to grasp three‐dimensional (3D) ground shape from a 3D point cloud generated by aerial vehicles, which help fast situation recognition. However, identifying such objects on the ground from a 3D point cloud, which consists of 3D coordinates and color information, is not straightforward due to the gap between the low‐level point information (coordinates and colors) and high‐level context information (objects). In this paper, we propose a ground object recognition and segmentation method from a geo‐referenced point cloud. Basically, we rely on some existing tools to generate such a point cloud from aerial images, and our method tries to give semantics to each set of clustered points. In our method, firstly, such points that correspond to the ground surface are removed using the elevation data from the Geographical Survey Institute. Next, we apply an interpoint distance‐based clustering and color‐based clustering. Then, such clusters that share some regions are merged to correctly identify a cluster that corresponds to a single object. We have evaluated our method in several experiments in real fields. We have confirmed that our method can remove the ground surface within 20 cm error and can recognize most of the objects.     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于语义分割引导的三维目标检测

三维目标检测是计算机视觉领域的热门研究内容之一。在自动驾驶系统中,三维目标检测技术通过捕获周围的点云信息与RGB图像信息,对周围物体进行检测,从而为车辆规划下一步的行进路线。因此,通过三维目标检测实现对周边环境的精准检测与感知是十分重要的。针对三维目标检测技术中随机采样算法导致前景点丢失的问题,首先提出了基于语义分割的随机采样算法,通过预测的语义特征指导采样过程,提升了前景点的采样比重,进而提高了三维目标检测精度;其次,针对三维目标检测定位置信度与分类置信度不一致的问题,提出了CL联合损失,使得网络倾向于选择定位置信度与分类置信度都高的3D候选框,避免了传统的NMS仅考虑分类置信度所带来的歧义问题。在KITTI三维目标检测数据集进行了实验,结果表明,该方法能够在简单、中等、困难3个难度下均获得精度的提升,从而验证了其在三维目标检测任务中的有效性。     

A multi-scale 3D Otsu thresholding algorithm for medical image segmentation

Thresholding technique is one of the most imperative practices to accomplish image segmentation. In this paper, a novel thresholding algorithm based on 3D Otsu and multi-scale image representation is proposed for medical image segmentation. Considering the high time complexity of 3D Otsu algorithm, an acceleration variant is invented using dimension decomposition rule. In order to reduce the effects of noises and weak edges, multi-scale image representation is brought into the segmentation algorithm. The whole segmentation algorithm is designed as an iteration procedure. In each iteration, the image is segmented by the efficient 3D Otsu, and then it is filtered by a fast local Laplacian filtering to get a smoothed image which will be input into the next iteration. Finally, the segmentation results are pooled to get a final segmentation using majority voting rules. The attractive features of the algorithm are that its segmentation results are stable, it is robust to noises and it holds for both bi-level and multi-level thresholding cases. Experiments on medical MR brain images are conducted to demonstrate the effectiveness of the proposed method. The experimental results indicate that the proposed algorithm is superior to the other multilevel thresholding algorithms consistently.     

优化的PCNN自适应三维图像分割算法*

脉冲耦合神经网络(pulse coupled neural network,PCNN)对图像分割具有天然的优势,但是传统的PCNN模型参数难以确定,且算法耗时多。对多种PCNN模型进行研究改进,并利用统计学知识提出了一种精简高效的自适应三维分割算法。将其用于脑部磁共振成像(magnetic resonance imaging,MRI)图像的分割,把脑组织分成白质、灰质和脑脊液。与标准PCNN、传统的Otsu阈值方法、SPM8工具箱及专家手动分割结果的对比实验表明,该自适应算法具有精确性、高效性。     

基于粒子群优化方法的2维Otsu快速图像分割算法

经典的2维Otsu算法在对图像进行分割时能不依赖于图像的内容,具有较好的适应性,但有着计算复杂度过高和实时性较差的缺点。针对这一问题,提出一种将粒子群算法应用于Otsu图像分割以提高分割速度的方法。实验结果表明,该方法不仅能获得较好的分割效果,而且极大地降低分割时间,能够适应实时性应用的要求。     

基于图像分割的立体匹配算法

针对在立体匹配中弱纹理及纯色区域匹配不准确和图像分割算法耗时较多的问题,提出一种融合图像分割的立体匹配算法。首先,将初始图像进行高斯滤波和Sobel平滑的处理,获取图像的边缘特征图;然后,将原图的红、绿、蓝三个通道值采用最大类间方差法进行二分类,再融合得到分割模板图;最后,将所得到的灰度图、边缘特征图和分割模板图用于视差计算和视差优化的过程,计算得到视差图。相比绝对差值和(SAD)算法,所提算法在精度上平均提升了14.23个百分点,时间开销上平均每万个像素点只多消耗了7.16 ms。实验结果表明,该算法在纯色及弱纹理区域和视差不连续区域取得了更加平滑的匹配结果,在图像分割上能够自动计算阈值且能够较快地对图像进行分割。