面向室外移动机器人的雷达-图像跨模态检索

移动机器人主要依靠激光雷达采集的点云和摄像机采集的图像信息来感知周围环境.在极端天气或夜晚的情况下,摄像机采集图像会受到极大干扰;本文基于聚类典型相关分析(cluster-canonical correlation analysis,cluster–CCA)提出一种面向室外移动机器人的雷达图像跨模态检索技术,首先利用深度学习网络提取点云和图像的特征,然后使用聚类典型相关分析将两种模态的特征映射到子空间,最后计算欧氏距离进行检索,可以从图像数据库中检索得出与点云最相似的图像文件.本文所提出的方法在KITTI数据集上进行了验证,实现了从点云到图像的跨模态检索,结果验证了cluster–CCA在室外移动机器人雷达图像检索方面应用的有效性.     

室内环境下基于R-CNN的光照自适应物体检测

物体检测是工作于室内环境的移动机器人必须解决的问题。物体检测受到环境动态变化的影响,其中尤以光照变化的影响最为明显。分析室内环境中光照变化特点,研究如何通过提取图像空间特征快速识别环境中光照状况,并以光照识别结果控制物体检测模式切换,在不同光照状态下,自适应地选择使用图像传感器或者激光传感器数据,结合深度学习的特征选择能力,保证物体检测性能。机器人运行时,首先通过提取图像在CIEXYZ空间Y分量上的统计特征,并结合一些其他特征,实现快速地对图像拍摄时所处环境的光照状态进行估计;在光照适中的情况下,利用R-CNN算法结合移动机器人特点,实现在图像空间下的快速物体检测;在光照不足或过强时,先把三维激光传感器获取的点云转换成深度图像,再利用R-CNN算法实现物体检测。实验结果表明了所提出算法的有效性。     

基于深度强化学习的红外单目摄像头移动机器人避障方法

由于现有机器人避障方法绕过障碍物不能及时达到原点,研究了基于深度强化学习的红外单目摄像头移动机器人避障方法。在神经网络中,设计方法通过卷积遍历整个图像区域进行特征学习,在池化层去除冗余特征信息,将图像输入障碍物检测网络检测,生成避障场景下的深度图,运用红外单目摄像头及视觉传感器采集图像中的信息进行训练,实现避障任务。实验结果表明,在不同行驶环境下,3组移动机器人绕过障碍物后均能准确到达原点（0,0）位置。     

基于深度强化学习和动态窗口法的移动机器人路径规划

为了应对复杂多变的环境并提高移动机器人实时避障能力,提出了一种基于深度强化学习和动态窗口法的融合路径规划方法.首先,通过将机器人的驱动控制直接作用在速度空间来执行路径规划,从而使机器人具备动态窗口特性.然后,设计并训练一个深度Q网络去逼近移动机器人的状态-动作值函数,进而与环境动态地进行交互和试错,实时调整机器人的移动轨迹,最终为机器人找到最优路径.仿真实验结果表明,论文所提方法在自定义RGB(图像像素)图像的复杂环境中能够使移动机器人保持安全适当的速度行驶,找到无碰撞的最优路径,具有较好的鲁棒性.     

基于移动机器人的人类行为识别

随着移动机器人的不断发展和进入人们的生活,对移动机器人进行有效的人类行为识别的需求已成为必要。这项研究计划是回顾当前的技术发展,使移动机器人的活动识别成为可能。我们将使用不同类型的相机提取的图像,从而达到开发移动机器人识别人的行为和情绪状态。移动机器人将继续在非固定的室内和室外环境中移动。当任何进入机器人视线时,机器人系统都能够实时检测到他们的活动和情绪状态。我们的主要目标是使该机器人的系统基于摄像机和先进、可靠的学习算法。研究成熟后的机器人将会被应用到许多现实生活中,例如:公共安全、养老、自动驾驶汽车等。我们认为这项研究与普通移动机器人是密切相关的。     

基于深度学习的移动机器人自主导航实验平台

随着移动机器人的发展,其应用场景越来越复杂,对自主导航这一关键技术提出了更高要求。本文搭建了移动机器人实验平台,设计了基于深度学习的自主导航方法,将RGB图像作为卷积神经网络模型的输入,即可直接输出导航控制信号,不仅降低硬件成本,而且避免复杂的特征工程和规划策略。实验结果表明该平台具有良好的自主导航性能,对移动机器人适应未知复杂环境作业有着重要参考价值。同时,能够为机器人工程专业实践教学提供实验平台,通过开展相关应用拓展,促进学生创新研究能力的培养。     

基于全局彩色摄像机的移动机器人定位

本文提出一种基于全局彩色摄像机的移动机器人定位方法。该方法首先利用全局彩色摄像机对移动机器人所在的运动平面拍摄图像并基于色调和饱和度信息进行图像分割获取目标物体在图像平面坐标系中的位置,然后利用多项式拟合的方法实现图像平面坐标系到移动机器人运动平面坐标系的映射,从而确定移动机器人在其运动平面坐标系中的位置,同时利用移动机器人的行驶轨线近似获得其方向角。实验结果表明了上述方法的有效性,具有一定的实用价值。     

基于虚拟现实技术的移动机器人视觉伺服控制系统设计

为了有效确保移动机器人视觉伺服控制效果,提高移动机器人视觉伺服控制精度,设计了基于虚拟现实技术的移动机器人视觉伺服控制系统。通过三维视觉传感器和立体显示器等虚拟环境的I/O设备、位姿传感器、视觉图像处理器以及伺服控制器元件,完成系统硬件设计。从运动学和动力学两个方面,搭建移动机器人数学模型,利用标定的视觉相机,生成移动机器人实时视觉图像,通过图像滤波、畸变校正等步骤,完成图像的预处理。利用视觉图像,构建移动机器人虚拟移动环境。在虚拟现实技术下,通过目标定位、路线生成、碰撞检测、路线调整等步骤,规划移动机器人行动路线,通过控制量的计算,实现视觉伺服控制功能。系统测试结果表明,所设计控制系统的位置控制误差较小,姿态角和移动速度控制误差仅为0.05°和0.12m/s,移动机器人碰撞次数较少,具有较好的移动机器人视觉伺服控制效果,能够有效提高移动机器人视觉伺服控制精度。     

基于深度强化学习的移动机器人导航策略研究

针对移动机器人在复杂动态变化的环境下导航的局限性,采用了一种将深度学习和强化学习结合起来的深度强化学习方法。研究以在OpenCV平台下搭建的仿真环境的图像作为输入数据,输入至TensorFlow创建的卷积神经网络模型中处理,提取其中的机器人的动作状态信息,结合强化学习的决策能力求出最佳导航策略。仿真实验结果表明：在经过深度强化学习的方法训练后,移动机器人在环境发生了部分场景变化时,依然能够实现随机起点到随机终点的高效准确的导航。     

移动机器人视觉定位方法的研究与实现

针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列，然后在分析二次成像法获取目标深度信息的缺陷的基础上，提出了一种获取目标的空间位置和运动信息的方法。该方法利用序列图像和推广卡尔曼滤波，目标获取采用了HIS模型。在移动机器人满足一定机动的条件下，较精确地得到了目标的空间位置和运动信息。仿真结果验证了该方法的有效性和可行性。     

融合感知损失的单幅雾霾图像深度估计

针对雾霾情况下室内外图像深度难以估计的问题,提出了融合感知损失函数的单幅雾霾图像深度估计方法.首先采用双尺度网络模型对雾霾图像进行粗提取,再结合底层特征进行局部细化;然后在上采样阶段使用多卷积核上采样方法,得到雾霾图像的预测深度图;最后将像素级损失函数与感知损失函数结合构造新的复合损失函数,对网络进行训练.在室内NYU...     

自主移动机器人路径规划中的点云噪声处理

机器人在自主导航过程中,图像处理算法通过对路径中障碍物的三维点云平面夹角进行分析,实时计算障碍物的高度,判断是否可以通行。而RGB-D相机输出的原始点云数据存在大量噪声,严重影响分割的准确性,需要进行滤波处理。本文在Table Scene数据集中分析比较了统计滤波中不同参数的去噪效果,得到了最佳参数K=20,α=2。移动机器人通过ORB-SLAM2算法在户外环境下构建点云地图,然后分别进行直通滤波、体素滤波、统计滤波和平面分割,计算斜坡夹角,实施运动规划。实验结果表明,在Table Scene数据集中获得的最优统计滤波参数能适用于户外环境,机器人能根据运算结果自动进行路径规划,完成指定任务。     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

室外未知环境下的AGV地貌主动探索感知

智能机器人对复杂地貌环境的识别一直是机器人应用领域研究的前沿问题,移动机器人在不同的地貌上采取的运动方式并非一成不变,所以选择的运动方式对于迅速准确识别所处地貌的类型至关重要。针对该问题本文提出了一种基于贝叶斯框架的主动感知探索方法,使移动机器人能够主动探索有兴趣的运动方式并且感知识别和运动之间的匹配关系,可以优化在地貌识别之中的模糊不确定性;为了进一步验证实验的可靠性,还使用了被动感知策略来比较和分析不同策略之间的差异。实验结果表明:主动感知方法能够规划出有效的地貌识别动作序列,能够引导移动机器人主动感知目标地貌,该框架对于室外未知环境下主动感知后的地貌识别效果优于被动感知。     

Real-time monocular image-based path detection

In this work, we present a new real-time image-based monocular path detection method. It does not require camera calibration and works on semi-structured outdoor paths. The core of the method is based on segmenting images and classifying each super-pixel to infer a contour of navigable space. This method allows a mobile robot equipped with a monocular camera to follow different naturally delimited paths. The contour shape can be used to calculate the forward and steering speed of the robot. To achieve real-time computation necessary for on-board execution in mobile robots, the image segmentation is implemented on a low-power embedded GPU. The validity of our approach has been verified with an image dataset of various outdoor paths as well as with a real mobile robot.     

Cloud‐based Real‐time Outsourcing Localization for a Ground Mobile Robot in Large‐scale Outdoor Environments

Cloud robotics is the application of cloud computing concepts to robotic systems. It utilizes modern cloud computing infrastructure to distribute computing resources and datasets. Cloud‐based real‐time outsourcing localization architecture is proposed in this paper to allow a ground mobile robot to identify its location relative to a road network map and reference images in the cloud. An update of the road network map is executed in the cloud, as is the extraction of the robot‐terrain inclination (RTI) model as well as reference image matching. A particle filter with a network‐delay‐compensation localization algorithm is executed on the mobile robot based on the local RTI model and the recognized location both of which are sent from the cloud. The proposed methods are tested in different challenging outdoor scenarios with a ground mobile robot equipped with minimal onboard hardware, where the longest trajectory was 13.1 km. Experimental results show that this method could be applicable to large‐scale outdoor environments for autonomous robots in real time.     

基于Kinect的改进移动机器人视觉SLAM

针对传统ICP（iterative closest points,迭代最近点算法）存在易陷入局部最优、匹配误差大等问题,提出了一种新的欧氏距离和角度阈值双重限制方法,并在此基础上构建了基于Kinect的室内移动机器人RGB-D SLAM（simultaneous localization and mapping）系统。首先,使用Kinect获取室内环境的彩色信息和深度信息,通过图像特征提取与匹配,结合相机内参与像素点深度值,建立三维点云对应关系;然后,利用RANSAC（random sample consensus）算法剔除外点,完成点云的初匹配;采用改进的点云配准算法完成点云的精匹配;最后,在关键帧选取中引入权重,结合g2o（general graph optimization）算法对机器人位姿进行优化。实验证明该方法的有效性与可行性,提高了三维点云地图的精度,并估计出了机器人运行轨迹。     

基于混合位姿估计模型的移动机器人三维地图创建方法

针对室内复杂环境下的稠密三维建模问题, 提出一种基于RGB-D 相机的移动机器人同时定位与三维地图创建方法. 该方法利用架设在移动机器人上的RGB-D 相机获取环境信息, 根据点云和纹理加权模型建立结合局部纹理约束的混合位姿估计方法, 确保定位精度的同时减小失败率. 在关键帧选取机制下, 结合视觉闭环检测方法, 运用树结构网络优化(TORO) 算法最小化闭环误差, 实现三维地图的全局一致性优化. 在室内环境下的实验结果验证了所提出算法的有效性和可行性.

     

移动机器人基于三维激光测距的室内场景认知

研究了移动机器人在室内三维环境中的场景认知问题.室内场景框架具有结构化特性,而室 内多样化的物体则难以进行模型化表述. 本文利用区域扩张算法进行平面特征的提取,并根据平面属性及其相互间的空间关系,完成室 内场景框架的辨识.为了借鉴图像处理领域的物体识别方法, 本文提出一种基于Bearing Angle模型的激光测距数据表述方法,从而将三维点云数据转换为二维Bearing Angle图. 同一类物体中的个体形态具有多样性,同时观测视角也导致激光测距数据的显著差异.针对这些 问题,采用一种基于Gentleboost算法的有监督学习方法, 并利用物体碎片及其相对于物体中心的位置作为特征,从而完成室内场景中的物体认知. 利用室内场景框架辨识结果在Bearing Angle图中进行天棚、地面、墙壁、房门等区域的标记,并利用所产生的语义信息去除错误的认知结果,从而有助于提高识别率. 利用实际机器人平台所获得的实验结果验证了所提方法的有效性.     

基于声音的分布式多机器人相对定位

提出了一种基于声音的分布式多机器人相对定位方法.首先,每个机器人通过声源定位算法估计发声机器人在其局部坐标系下的坐标;然后,每个机器人（不含发声机器人）通过无线通信方式将发声机器人在其坐标系下的坐标广播给所有其他机器人,通过坐标变换每个机器人可计算出所有其他机器人在其坐标系下的坐标,从而实现分布式相对定位.理论推导及实验证明只要两个机器人先后发声,通过本文所提方法即可实现多机器人相对定位.室内外环境中采用6个自制小型移动机器人实验表明,所提方法在3米的范围内可实现16厘米的相对定位精度.