基于 FPGA 的三目半全局匹配算法设计与实现

三目立体视觉系统能够克服双目立体视觉系统存在的遮挡等问题,进一步提高立体视觉系统测量精度。 然而增加传感 器数量会导致匹配算法计算量增大,影响系统实时性,从而限制三目立体视觉系统在各领域的实际应用。 为此,本文提出一种 三目半全局立体匹配算法及其硬件计算框架。 首先,在对三目立体视觉系统基本模型深入分析的基础上,提出一种硬件友好的 半全局匹配算法。 随后,根据 FPGA 硬件并行化计算和流水线处理的特点,对片上系统整体框架及各计算模块结构进行设计。 最后,基于 Zynq-7000 SoC FPGA 搭建一套完整硬件实验系统进行算法实现,分别使用数据集图像和真实场景图像对本文算法 进行评估。 实验结果表明,本文算法与传统双目半全局匹配算法相比,有效像素填充率提高 17. 31% ,错误率降低 13. 06% ,在真 实场景下可实现 60 fps 实时立体匹配,能够满足各类应用场景的实际需求。     

弱纹理环境下的视觉惯性里程计优化方法

基于视觉的机器人自主定位与导航系统都是利用点特征进行工作，但在弱纹理环境中，无法提取充足的点特征，系统的精度与鲁棒性就会下降。为此，提出了一种弱纹理环境下的视觉惯性里程计优化方法。将点线特征融合，相对于点特征，线特征在弱纹理环境下有较强的鲁棒性，可提供更多的环境几何结构信息，有利于三维地图的构建。为了提高精度，使用紧耦合的方式将相机与IMU采集到的数据融合。利用滑动窗口算法，将IMU预积分后的误差与点线重投影误差，在滑动窗口中用最小化误差函数的方式进行优化。通过EuRoc数据集，将优化后的系统与VINS-Mono系统进行比较。经测试，不同场景中的几组数据的绝对轨迹误差都很小，且均方根误差下降3%左右。验证了算法的精度与鲁棒性。     

面向AGV导航的双目立体相机研究

根据使用场景及应用需求，提出采用X角点构成视觉标签，利用视觉标签标记场景中关键路径点的方式实现AGV的定位和路径规划的视觉导航方法。搭建双目立体相机，基于段测试X角点检测算法，识别视觉标签、建立标签坐标系统，根据视觉标签库中的预存信息检索、确定AGV的地图位置；基于视觉标签局部坐标系统，确定AGV的姿态信息，在简化导航复杂度的同时，保证AGV路径控制和运行控制精度和可靠性，进而实现基于视觉标签的自动导航和运动控制。将双目立体相机应用于AGV现场试验，结果表明，所搭建的双目立体相机能够为AGV的视觉导航提供信息，开发的基于视觉标签的导航算法具有较好的鲁棒性，视觉标签的正确识别率达95%，双目立体相机定位误差小于2%，充分发挥了视觉导航的优势，能够完成园区内的可靠自动运行。     

基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。     

基于自适应惯导辅助特征匹配的视觉SLAM算法

为提高视觉同步定位与建图系统的定位、建图精度,克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题,本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配,并获取地图点三维坐标,然后通过预积分惯性测量单元的量测值预测相机位姿,再根据误差传播定律计算预测位姿的协方差,最后利用预测位姿将地图点投影至图像得到对应像素坐标,从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明,该方法可有效缩小特征匹配的搜索半径,显著提高图像特征匹配的准确度,使跟踪线程位姿精度提高约38.09%,系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束,提高特征点匹配的准确度,进而提升系统位姿估计精度,构建更高精度的稠密地图。     

眼科手术机器人双目视觉标定方法研究

双目视觉系统通过相机模拟人眼,基于视差原理,从不同角度采集被测物体的两幅图像获取其二维信息,建立特征点的对应关系,计算出位置偏差,从而实现三维重建。眼科手术机器人双目视觉系统选用的标定方法是以张正友摄像机标定方法为基础,利用Harris角点检测方法实现亚像素点的精确化,对采集图像进行畸变矫正。将得出的标定结果与常用传统标定方法MATLAB相机标定工具箱Toolbox_calib的标定结果进行比较,分析像素误差。结果表明:使用新算法标定后的结果更加稳定,像素误差更小,精度更高,适用情况更加广泛,可用于眼科手术机器人的双目视觉标定系统中。     

未知环境下机器人导航算法与避障算法研究

针对机器人在复杂动态工作环境下如何进行定位和导航的问题做了深入研究,全文阐述了机器人混合导航和地图重建的基本方法。首先,介绍了机器人机械结构与软件平台,并分析了经典双轮差动模型,并总结了机器人的应用范围;然后,通过对视觉数据的数据采集实现了对于环境特征的提取,建立了导航图像和导航机器人导航;最后,建立了基于超声波传感器的模糊避障系统,解决了由于障碍物定位不准确、检测盲区、镜子反射等缺陷导致避障不稳定的问题。经过实验证明,该机器人具有良好的避障性能和导航性能,实现了机器人视觉导航算法。     

改进动态窗口法的阿克曼移动机器人局部路径规划器

局部路径规划是移动机器人的一项关键技术,它的品质密切关系到整个机器人系统的性能。动态窗口法是一种在机器人的速度空间内进行运动规划的自主避障算法。将该算法与阿克曼机器人相结合,提出了一个包含轨迹曲率相似度评价因子的阿克曼移动机器人局部路径规划算法。最后,在机器人操作系统(Robot Operating System,ROS)上对该新算法进行了"S"型路径导航仿真实验。实验结果表明,该算法能在已知栅格地图内实现阿克曼机器人的自主避障功能。     

基于工业CCD摄像机的机器人视觉定位系统研究

提出了一种基于工业CCD摄像机的机器人顶部视觉定位检测技术。CCD传感器感应由光学镜头聚焦的光线在其电荷收集品格阵列上产生的电荷来获得3D场景的视觉信息,并将其输送到图像采集卡。图像采集卡通过对场景信号解析,再通过机器视觉算法对机器人识别,并通过建立图像坐标与世界坐标之间的关系得出机器人的世界坐标,进而对机器人的移动进行导航。     

惯导/双目视觉位姿估计算法研究

无人飞行器自主导航系统作为无人机自主控制的核心,是制约无人机性能提升的关键因素.传统的惯导/GPS组合导航系统受其自主性、稳定性等限制无法满足无人机导航需求.在分析视觉导航特性的基础上,针对无人飞行器复杂运动特性,设计了基于非线性尺度空间的双目视觉三维位姿估计算法.在此基础上,针对双目视觉导航存在的位姿估计误差累积问题,提出了基于惯导/视觉融合的无人飞行器位置和姿态估计算法,利用卡尔曼滤波实现惯导与视觉信息的融合.通过仿真验证和实际跑车验证结果表明,提出的双目视觉位姿估计算法相比SIFT算法能够有效提高视觉图像特征检测准确度,惯导/视觉组合算法能够有效提高位姿估计精度,组合定位精度优于2.5m.     

一种基于自适应窗口和图切割的快速立体匹配算法

针对基于图切割的立体匹配算法计算量大的缺点,提出了一种新的快速立体匹配算法。首先根据图像边缘特征自适应变化窗口,并采用灰度差平方和匹配(SSD)作为相似判定准则计算初始视差图,再通过左右一致性校验去除误匹配点,在构造能量函数时,将初始视差作为能量函数的一个参考项,最后采用图切割(graph cuts)算法求取使全局能量最小的视差最优分配。通过标准图像对测试了提出的方法,并与其他方法进行了比较,实验结果表明,该算法不仅能够保留基于图切割的立体匹配算法对大的低纹理区域和遮挡像素较好处理的优点,而且匹配时间短,运行时间比原有算法约缩短了三分之二,能够满足工程实用性的要求。     

Multiview registration-based handheld 3D profiling system using visual navigation and structured light

This article describes the 3D handheld profiling system composed of a stereo camera and an illumination projector to collect high-resolution data for close range of applications. Visual navigation approach is either based on feature matching or on accurate target, and the target-based approach was found to be more accurate if the 3D object has less texture on its surface. Block matching algorithm was used to render the single-view 3D reconstruction. For multiview 3D modeling, coarse registration and final refinement of the point clouds using iterative closest point algorithm were utilized. The proposed approach yields good accuracy for multiview registration as demonstrated in the results of this research.     

Multi-Range approach of stereo vision for mobile robot navigation in uncertain environments

The detection of free spaces between obstacles in a scene is a prerequisite for navigation of a mobile robot. Especially for stereo vision-based navigation, the problem of correspondence between two images is well known to be of crucial importance. This paper describes multi-range approach of area-based stereo matching for grid mapping and visual navigation in uncertain environment. Camera calibration parameters are optimized by evolutionary algorithm for successful stereo matching. To obtain reliable disparity information from both images, stereo images are to be decomposed into three pairs of images with different resolution based on measurement of disparities. The advantage of multi-range approach is that we can get more reliable disparity in each defined range because disparities from high resolution image are used for farther object a while disparities from low resolution images are used for close objects. The reliable disparity map is combined through post-processing for rejecting incorrect disparity information from each disparity map. The real distance from a disparity image is converted into an occupancy grid representation of a mobile robot. We have investigated the possibility of multi-range approach for the detection of obstacles and visual mapping through various experiments.     

基于动态规划的分层立体匹配算法研究

动态规划是双目立体匹配的经典算法,针对控制点动态规划算法易产生横向条纹以及立体匹配普遍的边缘性和弱纹理区域问题,提出一种基于金字塔分层双向动态规划的改进立体匹配算法。该算法将分层模型加入传统动态规划方法,以低像素层级为高像素层级提供控制点集,并在匹配代价计算中采用一种自适应相关性测度函数,加以匹配代价滤波,提高算法精确度及实时性并获取高精度视差图。以Middlebury标准库中的图片以及实拍图片作为实验对象,实验表明所提出的方法具有较好的性能。     

基于种子点传播的快速立体匹配

针对计算机视觉中的对应点误匹配问题,提出了一种基于种子点传播的快速局部立体匹配算法来进一步提高匹配算法的运行效率。该算法首先利用Canny算子提取图像边缘,结合边缘信息构造动态匹配窗口,以克服固定窗口对匹配带来的不利影响;然后利用AD-Census联合匹配代价在动态窗口上进行代价聚集,用WTA搜索策略得出初始视差图,对视差值进行筛选以确定种子点;随后利用像素间颜色差异将种子点的视差值传递给周围非种子点;最后采用区域投票和局部校正方式对视差值求精,进而获取精确的稠密视差图。实验结果表明,该算法可对Middlebury测试图生成高质量的视差图。与目前较新的局部立体匹配算法相比,其运行速度提高了1.8倍,满足了实际应用对速度和精度的要求,具有较高的实用价值。     

基于激光测距雷达和机器视觉的障碍物检测

障碍物检测问题一直是移动机器人的研究热点之一,也是机器人实现安全可靠导航的前提。文章利用激光测距雷达和机器视觉对障碍物进行联合检测,首先对摄像机标定,然后进行摄像机和激光测距雷达之间的联合标定,最后通过激光点数据将检测图像划分为几个小区域并进行图像处理。实验结果表明该方法能够有效检测出障碍物的大小信息,将检测图像划分为小区域也提高了图像处理的运算速度。     

挖掘机器人双目视觉系统标定方法与立体匹配

在挖掘机器人视觉系统实现中,摄像机标定、特征提取、立体匹配是关键环节,而立体匹配又是视觉系统中最复杂、最重要的步骤。首先分析了通用双目立体视觉模型及平行双目立体视觉模型,对挖掘机器人平行双目立体视觉系统测量方法及参数标定进行了研究。结合基于特征的匹配方法,通过对左、右图像角点的提取,实现了基于极线几何约束的特征点匹配。通过对铲斗图像匹配实验,验证了该方法能满足挖掘机器人视觉系统要求。     

Self-learning navigation algorithm for vision-based mobile robots using machine learning algorithms

Many mobile robot navigation methods use, among others, laser scanners, ultrasonic sensors, vision cameras for detecting obstacles and following paths. However, humans use only visual (e.g. eye) information for navigation. In this paper, we propose a mobile robot control method based on machine learning algorithms which use only camera vision. To efficiently define the state of the robot from raw images, our algorithm uses image-processing and feature selection steps to choose the feature subset for a neural network and uses the output of the neural network learned through supervised learning. The output of the neural network uses the state of a reinforcement learning algorithm to learn obstacle-avoiding and path-following strategies using camera vision image. The algorithm is verified by two experiments, which are line tracking and obstacle avoidance.     

移动机器人导航算法研究

利用非线性微分动力系统稳定性理论,用点吸引子构造移动机器人奔向目标行为和用点排斥子构造避障行为两种行为模式,将奔向目标行为和避障行为相结合,使机器人能够根据所处环境的变化,通过行为模式权值的调整实现行为间的竞争;分析了系统稳定的基本条件,建立了基于动态方法的智能机器人行为动态导航模型;运用立体双目视觉构建局部地图,通过计算机实例仿真,验证了该机器人导航模型的可行性。仿真结果表明:该模型可以满足较为复杂未知动态环境中的导航和目标跟踪要求。     

水下双目立体视觉对应点匹配与三维重建方法研究

针对水下双目立体视觉成像稠密立体匹配因不满足空气中极线约束问题,提出一种水下对应点匹配与三维测量方法,可将水下双目相机采集的立体图像校正为符合共面行对齐原则的图像对,再套用空气中成熟的立体匹配方法得到水下左右相机图像视差图,从而实现水下目标的三维重建。首先,将进入相机的所有光线总和看成光场,采用四维光场参数表达对每一条光线建模,据此建立相机的折射成像模型和双目立体视觉模型并计算光线的方向向量;根据光线的光场表达将光线转化为点矢量的形式,计算方向图像上任意像点对应原图像的像素坐标并确定位置映射关系。通过插值即可快速得到符合行对齐原则的左、右方向图像,并最终获得每条光线对应的视差图。仿真结果表明,方向图像的行对齐误差小于0.8 pixel。水池实验采用事先标定的靶球作为目标物,利用随机散点主动投射以增加目标物表面的纹理信息,对靶球多次测量的均方根误差为2.8 mm,具有较高的测量精度。