An Agricultural Mobile Robot with Vision-Based Perception for Mechanical Weed Control

This paper presents an autonomous agricultural mobile robot for mechanical weed control in outdoor environments. The robot employs two vision systems: one gray-level vision system that is able to recognize the row structure formed by the crops and to guide the robot along the rows and a second, color-based vision system that is able to identify a single crop among weed plants. This vision system controls a weeding-tool that removes the weed within the row of crops. The row-recognition system is based on a novel algorithm and has been tested extensively in outdoor field tests and proven to be able to guide the robot with an accuracy of ±2 cm. It has been shown that color vision is feasible for single plant identification, i.e., discriminating between crops and weeds. The system as a whole has been verified, showing that the subsystems are able to work together effectively. A first trial in a greenhouse showed that the robot is able to manage weed control within a row of crops.     

3D视觉结合图像检测与导纳控制的圆轴孔零件机器人装配

面向机器人柔顺装配圆轴与圆孔零件,建立基于3D、单目视觉与导纳控制的机器人自动装配系统,提出基于三维点云的轴线位姿估计算法、图像深度学习目标检测、导纳控制结合的圆轴孔零件的装配策略.针对3D视觉估计圆孔零件位姿问题,重点研究基于三维点云的轴线位姿估计算法.首先,介绍三维点云关键点选取方法;然后,以点云表面法线与轴线的几何约束为基础,提出并分析轴线粗估计的算法;最后,在轴线粗估计的基础上,提出并分析基于迭代鲁棒最小二乘的轴线位姿优化的算法.实验结果表明:轴线位姿估计的角度均方根误差为0.248°,位置均方根误差为0.463 mm,与现有流行的轴线估计方法相比,所提方法的精度更高,使装配策略很好地满足了机器人圆形轴孔零件装配的精度高、稳定可靠的要求.     

结合图像分割和点云分割的障碍物检测算法

针对单目图像检测障碍物的低可靠性和当前双目视觉检测障碍物的局限性的问题,提出一种结合图像分割和点云分割技术的双目视觉障碍物检测方法。通过设定检测深度范围,分割障碍物点云与道路点云;采用将分割出的障碍物点云对应的视差图与图像分割得到的子图进行比较的策略,有效解决对不同深度、倾斜面和不规则障碍物检测效果差的问题。通过实验验证了在获得稀疏三维点云的情况下,该方法对障碍物的检测具有较好的鲁棒性。     

基于深度学习的三维点云分类方法研究

随着深度学习和3D传感技术的快速发展,点云分类已在智能分级等领域得到了广泛的应用。为了更好地推进点云分类技术的研究与应用,利用管道体系结构对相关方法的研究进展进行全面而系统的梳理、分析和总结。首先,根据点云数据处理方式的不同,将现有的点云分类方法归纳为间接基于点云的方法和直接基于点云的方法。然后,着重介绍了具有代表性的方法和最新研究成果,同时比较分析了主要方法的核心思想、优缺点、适用范围、应用场景以及实验结果。最后,从四个方面对点云分类的未来发展以及研究方向进行了展望,结果表明,将间接和直接点云的方法进行2D-3D特征融合是未来的一个重要发展方向。     

基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。     

基于三维视觉的机器人安全预警系统

在许多自动化应用场景中,如装配和分拣过程中,工业机器人的应用是提高生产质量和生产效率的一个重要环节。在机器人工作过程中,保证机器人和工人工作的安全,是推动机器人应用和发展的首要前提。该文提出一种基于三维视觉的机器人安全预警系统。首先,该系统利用三维相机对监控场景进行高精度三维重建,并将多个点云进行融合;然后,提取人体关键点,并根据三维人体关键点判断人与机械臂的安全距离;最后,计算判断人体与机器人是否处于设定的安全距离范围,并据此控制机械臂的工作状态。实验结果表明,该文所开发的安全预警系统能保障大视野范围内的人员安全。     

基于Kinect的轴类零件三维重建研究

使用Kinect采集的深度数据,进行了轴类零件三维重建算法的研究。首先借助Kinect获取深度和彩色数据,通过坐标转换将深度信息转换成三维点云数据;其次提取出感兴趣目标的点云数据,根据点云数据的噪声特点,并对其进行滤波降噪处理;然后进行点云分割获得点云集,最后对各点云集进行结构参数化分析。实验结果表明,本文算法能够精确、高效地实现轴类零件的重建。     

基于焊件识别与位姿估计的焊接机器人视觉引导

为实现智能化柔性化焊接,并解决焊件本身立体结构遮挡焊缝影响视觉引导的问题,提出一种基于物体识别与位姿估计思想的焊接机器人视觉引导方法.首先,通过焊件的CAD模型离线建立焊接模型库;然后,在线计算焊件点云的VFH特征,与焊接模型库进行比对实现焊件识别,计算FPFH特征实现SAC-IA和ICP结合的两步位姿估计,并通过假设验证优化结果;最后,利用焊接模型库的焊接信息结合焊件位姿生成焊接轨迹,为焊接机器人提供视觉引导.实验结果表明,所提方法可以利用目标整体三维信息准确识别焊件并估计其姿态,进而引导机器人完成智能柔性的焊接操作.     

综合颜色和形态特征的小麦田杂草识别方法

利用机器视觉技术把杂草精确识别出来是精细农业领域研究的热点问题之一。针对杂草与小麦叶子交叠的情况,提出一种综合颜色和形态特征的方法进行杂草识别。在L*a*b*颜色空间,选取a*作为特征量并用改进的最大类间方差法进行阈值分割获得植物图像;在HSI颜色空间,利用多层的同质性分割算法分离小麦与杂草;结合形态学特征开闭运算滤波及二值逻辑与运算获得杂草图像;模拟化学除草系统,从理论上评价整个系统的识别效率。实验结果表明：杂草正确识别率高达92.6%以上,且除草剂的使用量减少超过72.4%。     

基于点云的转子表面缺陷检测方法

转子缺陷影响鼓风机运转,降低工作性能,为工业生产带来安全隐患。传统人工检测费时费力,检测和标注精度低,且难以进行缺陷精准分类。因此,本文基于机器视觉获取点云数据,对其进行预处理,并对比基于点云配准和基于工件特征的2种缺陷检测方法。实验结果表明,基于工件特征的缺陷检测能得到更精确的缺陷标注和分类效果,并为缺陷检测方法研究工作提供了新的方向。     

利用Kinect深度信息的三维点云配准方法研究

针对三维重建中的点云配准问题,提出一种基于点云特征的自动配准算法。利用微软Kinect传感器采集物体的多视角深度图像,提取目标区域并转化为三维点云。对点云进行滤波并估计快速点特征直方图特征,结合双向快速近似最近邻搜索算法得到初始对应点集,并使用随机采样一致性算法确定最终对应点集。根据奇异值分解法求出点云的变换矩阵初始值,在初始配准的基础上运用迭代最近点算法做精细配准。实验结果表明,该配准方法既保证了三维点云的配准质量,又降低了计算复杂度,具有较高的可操作性和鲁棒性。     

一种基于小波的三维扫描线数据处理算法

从三维点云数据中提取实物的边界特征点,在以计算机视觉为基础的数字化曲面重建过程中有非常重要的意义。为提高精度,重建之前,必须对通过各种方法获得的大量原始散乱数据进行除噪及精简处理。基于此,提出了一种基于小波变换的激光测量扫描边界特征点提取算法,我们通过严格的理论推导,构造了一种类似mexh小波的小波基来对两种边界特征点进行检测。多次实验结果显示：该算法有效地避免了噪声和冗余数据的干扰,较精确地定位到了边界特征点,通过重建原始数据,准确地提取了三维实体的外型轮廓,同时也为实现冗余数据的精简提供了一种新的思想。     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN。首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提取局部区域的特征,然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征;最后,利用全连接层进行三维人脸的分类,从而实现三维人脸识别。在CASIA数据库上的结果显示,所提方法的平均识别率为96.34%,优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN.首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提...     

时域非填充网络视频行为识别算法研究

视频行为识别是图像和视觉领域的一个基础问题,在基于深度学习的行为识别模型中,2D卷积方法模型参数较少,但是准确率不高;3D卷积方法在一定程度上提高了准确率,但会产生较多的参数和计算量。为了在保持准确率的前提下降低3D卷积神经网络行为识别模型的参数量,减少计算资源消耗,提出了时域零填充卷积网络行为识别算法,对视频进行3D卷积时不在时间维度上填充额外数据,以此来保证时域信息的完整性。为了充分利用有限的时间信息,设计了适合此填充方式的网络结构：先以时域不填充的方式使用3D卷积提取时空信息,然后利网络重组结构将3D卷积变为2D卷积来进一步提取特征。实验表明,该网络的参数量为10.385×106,不使用预训练权重的情况下在UCF101数据集上准确率为60.28%,与其他3D卷积网络行为识别方法相比在资源占用和准确率上都有明显优势。     

基于重叠域采样混合特征的点云配准算法

针对部分重叠的两片点云配准效率低、误差大等问题,提出了一种基于重叠域采样混合特征的点云配准算法。首先,通过编码和特征交互的方式预测每个点的重叠分数,获得更丰富的点云特征。其次,提取重叠点的局部几何特征,基于重叠分数和点特征的显著性保留重叠关键点。最后,利用重叠关键点的几何信息和空间信息构建混合特征矩阵,计算矩阵的匹配相似度,采取加权奇异值分解运算得到配准结果。实验结果表明,该方法具有较强的泛化能力,能在保证配准效率的同时显著提升点云配准精度。     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.