基于XTION的机器人室内三维地图实时创建

针对室内复杂环境中移动机器人三维地图创建问题,基于RGB-D相机XTION搭建机器人地图创建系统,提出一种利用视觉里程计和贝叶斯闭环检测实时创建三维地图的方法。在机器人操作系统(ROS)框架内,首先由移动机器人携带XTION获取环境三维图像经WIFI上传上位机,然后由上位机软件使用SURF算法对RGB-D相机图像进行特征点提取与匹配,接着采用视觉里程计进行机器人位姿估计,同时利用贝叶斯闭环检测消除累积误差,最后使用g2o方法对三维点云图进行优化并创建完整的三维地图。经室内环境实验验证,机器人地图创建系统创建了完整的室内环境三维地图,所描述室内物体轮廓比较清晰并与真实场景相一致,机器人位姿估计比较精确,验证了利用视觉里程计和贝叶斯闭环检测实时创建三维地图的可行性。     

基于RGB-D传感器的同步定位与建图方法研究

机器人同时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)可实现机器人的自主控制,文中将SLAM算法与视觉传感器结合,搭载红外摄像头的RGB-D摄像头可以快速进行运动估计及构建3D点云地图,最后将视觉里程计测量的相机位姿与回环检测的信息结合,经过优化可得到轨迹估计的地图。     

室内场景下实时地三维语义地图构建

移动机器人自主建图是完成智能行为的前提。为提高机器人智能水平和直观的用户交互,地图需要扩展超出几何和外观信息的语义信息。研究了将基于深度残差网络(DRN)的像素级图像语义分割和三维同时定位与建图(SLAM)相融合的三维语义地图构建方法。首先,采用一种联合中值滤波算法进行深度图像的修复,使用改进的迭代最近点(ICP)算法得到相机估计位姿以及基于随机蕨类的闭环检测构建出三维环境地图;其次,采用优化的深度残差网络对输入的图像实现较精准的像素语义级别的预测与分割;最后,采用贝叶斯更新方法,渐进式的将图像分割获取的语义分类标签迁移到重建的室内三维模型中,获得完整的三维语义地图。实验表明,所设计的方法可以在实际的、复杂环境下实时地构建语义地图。     

一种融合二维激光雷达和RGB-D相机的移动机器人建图方法研究

针对单独使用二维激光雷达描述环境信息不足、单独使用RGB-D相机构建地图精度不足以及三维激光雷达使用成本高的问题，提出一种使用低成本二维激光雷达和RGB-D相机点云信息融合的方法。首先，通过Autoware联合标定的方式获取相机的内部参数和外部参数，建立激光雷达数据和相机数据的变换关系。然后，基于体素网格滤波的方式降低相机原始数据的噪声和密度，并将滤波后的数据进行投影转换成伪激光雷达数据。最后，通过将转换后激光雷达数据与相机的伪激光雷达数据叠加的方式，实现两传感器信息融合。实验结果表明，有效弥补了移动机器人搭载单一传感器地图构建精度不足和获取环境信息描述不足的问题，提高了移动机器人建图的可靠性和完整性，为机器人有效导航提供保障。     

基于激光点云与图像信息融合的交通环境车辆检测

随着无人驾驶汽车的快速发展,仅依靠单一传感器的环境感知已经无法满足车辆在复杂交通场景下的目标检测需求。融合多种传感器数据已成为无人驾驶汽车的主流感知方案。提出一种基于激光点云与图像信息融合的交通环境车辆检测方法。首先,利用深度学习方法对激光雷达和摄像头传感器所采集的数据分别进行目标检测;其次,利用匈牙利算法对两种目标检测结果进行实时目标跟踪,进而对两种传感器检测及跟踪结果的特征进行最优匹配;最后,将已匹配及未匹配的目标进行择优输出,作为最终感知结果。利用公开数据集KITTI的部分交通环境跟踪序列及实际道路测试来验证所提方法,结果表明,所提融合方法实时车辆检测精度提升12%以上、误检数减少50%以上。     

基于稀疏直接法和图优化的移动机器人SLAM

针对目前移动机器人同时定位和三维稠密地图构建算法中存在的计算复杂、实时性差的问题,提出一种基于RGB-D数据的实时的同时定位与地图构建(SLAM)算法。首先提取RGB图像中的FAST特征点,并计算特征点的3D位置,接着采用直接法最小化光度误差来估计相机的位姿变换,然后根据位姿变换的大小提取关键帧。为了减小移动机器人运动过程中的累积误差,提出基于词袋模型的闭环检测方法,并采用通用图优化(g2o)框架进行位姿图优化。实验结果表明,所提算法能够大大提高SLAM系统的实时性,并构建稠密化的三维环境地图。     

激光雷达与深度相机融合的SLAM技术研究

针对移动机器人在复杂环境中使用单一传感器进行同时定位与建图存在的精度不足、扫描范围有限等问题,提出一种将激光雷达与Kinect深度相机两种传感器数据融合的方法。首先对Kinect深度数据进行降维处理,然后使用卡尔曼滤波对激光数据与Kinect深度数据进行融合,在建图阶段使用贝叶斯估计将激光雷达与Kinect各自生成的二维局部栅格地图进行融合。通过实验表明,该方法获得的地图包含更加丰富的环境信息,有助于后续的导航避障工作。     

一种基于计算机视觉的无人机实时三维重建方法

针对机器人(或无人机)实时的三维重建中面临的噪声干扰和计算量大的问题,提出一种实时的鲁棒性的同时定位和建图的方法:用RGB-D相机精确估计相机位置的同时重建三维环境。关键思想是测量残差函数——用于估计当前帧的移动量,同时用金字塔模型一步步去逼近真实值。提出一种新的衡量标准用于建立关键帧。然后通过与相邻关键帧的三角化投影给全局地图增加地图点。此外,应用图优化来实现全局优化以获取更高的精度。     

基于激光雷达和摄像头信息融合的车辆检测算法

针对摄像头在无人驾驶系统车辆检测中易受环境干扰的问题，通过激光雷达数据和摄像头图像进行融合，提出了一种强鲁棒性实时车辆检测算法。首先，将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图。然后将彩色图像和密集深度图分别通过 ＹＯＬＯｖ３实时目标检测框架得到各自的车辆检测信息。最后，提出了决策级融合方法将两者的检测结果进行融合，得到了最终的车辆检测结果。在 ＫＩＴＴＩ数据集上对算法进行评估，实验结果表明该算法完全满足无人驾驶车辆所需的强鲁棒性、强实时性和高检测精度的要求。     

一种改进ICP算法的移动机器人激光与视觉建图方法研究

针对未知环境中移动机器人定位与建图中激光雷达建图提供的信息少,视觉slam实时性差的问题,提出了激光slam与视觉建图结合的方式,激光地图用于导航,而视觉地图用于复原目的地场景。首先采用区域分割和特征提取处理激光雷达数据,通过区域分割主要完成了特征模式的分类及识别确定,通过特征提取完成了各类特征模式参数的确定以及特征点的提取;使用改进的基于RGBD图像的ICP迭代最近点算法求取了转换关系,进行了点云拼接;采用图优化算法,消除了累计误差,提升了整体视觉地图的精度。通过激光雷达与Kinect相机之间的位置关系,算得了三维点云到激光雷达坐标系的对应关系,实现了激光地图与点云地图的融合。研究结果表明:能实现实时建立周围环境的二维地图,并将三维点云信息融入到激光雷达坐标系等功能,精度高、鲁棒性好。     

一种抑制图像扭曲的卷积神经艺术风格化算法

针对卷积神经图像风格艺术化过程中出现的图像语义内容扭曲,前后景边界模糊的问题,我们提出了一种抑制图像扭曲的卷积神经艺术风格化算法.首先用VGG-19网络模型对输入的内容图像和风格图像提取特征图并进行内容重建和风格重建.然后把输入的内容图像和风格图像到输出图像的变换约束在色彩空间局部仿射变换中,在输入图像RGB通道上构建Laplacian抠图矩阵,对于每一个输出区块,仿射变换将输入图像的RGB值映射到对应的输出及的位置上,实现了语义内容的约束和空间布局的控制.最后,将合成的图像叠加至白噪声图像上,并用反向传播算法迭代更新至损失函数最小,完成图像的风格化.实验结果表明,该方法生成的图像前后景边缘明显、纹理清楚,抑制了语义内容扭曲,实现了迁移图像的空间约束和颜色映射,风格化图像视觉上令人满意.     

航空变焦距斜视成像几何畸变的自动校正

针对变焦距航空摄像机斜视成像产生的几何变形,提出一种同时校正斜视梯形失真和变焦距镜头非线性畸变的自动校正方法。根据直线透视投影不变性原理,利用单参数除式模型通过变步长优化搜索方法得到不同焦距对应的镜头畸变系数和畸变中心坐标;研究了焦距变化对畸变的影响规律,校正了镜头畸变使其满足针孔成像模型;引入飞机位置、姿态和摄像机视轴指向方位等因素,将航空图像重投影到地图坐标系中,对坐标变换后的像素亮度值进行重采样得到校正斜视变形和镜头畸变后的正射投影图像。对不同焦距和位置姿态下拍摄的地面靶标畸变图像和实际航空变焦距斜视图像进行了校正。结果表明,该方法能够有效准确地校正图像的几何变形,当飞行高度为2 500m时,在文中给定的位置姿态精度下的图像几何校正均方误差约为2m,较好地满足了后续图像拼接需求。该方法效率高,便于自动化实现,对提高图像拼接精度和实现目标精确定位与实时稳定跟踪具有重要意义。     

一种彩色印刷图像套印检测新方法研究

提出了一种印刷品检测方法,用印刷图像信息取代套印控制条来检测套准。首先,把CCD采集到的印刷品图像从RGB色彩空间转换到CMYK色彩空间,并分解成C、M、Y、K(青、品、黄、黑)4个通道。之后求出C、M、Y、K通道图像的边缘,计算C、M、Y边缘图像和基准K边缘图像的距离边缘共生矩阵(distance edge cooccurrence matrix,DECM),即可求出四色套印偏差。通过仿真和实验证明本算法检测印刷品套准具有较高的精度,符合国家印刷行业标准规定的套准精度要求。为印刷机的工作状态的调整提供可靠的数据。     

基于联合标定的图像分割

针对普适环境下人体区域的提取问题,提出一种基于彩色摄像头和深度摄像头联合标定的图像分割方法。首先根据深度摄像头采集的深度信息易处理和受外界环境影响小的优点,利用大律法从深度图像中快速提取出人体区域;然后建立世界坐标系中彩色图像坐标系和深度图像坐标系的对应关系,实现彩色信息和深度信息的相对位置映射;最后根据分割的深度图像及其在彩色图像中的映射,在彩色图像中完成人体区域分割。通过在复杂背景和不同光照条件下的图像分割实验,验证了本方法具有良好的精度和鲁棒性。     

基于双频彩色光栅投影测量不连续物体三维形貌

为减少多频条纹相移法进行三维形貌测量时的投影条纹数量,提高测量速度, 提出了采用双频四步相移彩色条纹投影技术来准确测量具有台阶状不连续或孤立物体表面三维形貌的方法。利用计算机将高低两种不同频率的正弦条纹分别输入彩色图像的红色和蓝色通道合成为彩色条纹,由数字视频投影仪将四步相移彩色条纹投影到被测物体,然后利用彩色CCD或CMOS相机采集4幅彩色条纹图并存储于计算机中。基于色彩分离技术得到8幅两种不同频率的四步相移条纹图并由图像灰度算法获得1幅反映背景的灰度图像;由低频条纹确定台阶状的物体边缘,高频条纹计算物体的形貌,并通过背景图像的二值化定位阴影和不连续区域。提出的方法仅用4幅彩色图像完成了台阶状不连续或孤立物体三维形貌的准确测量。与现有的多频4步相移条纹投影形貌测量技术需要8~12幅图像相比,该方法有效地减少了条纹投影与图像采集的数量。     

A novel approach for the field calibration of line structured-light sensors

A new approach for the field calibration of line structured-light sensors is presented, which is fulfilled using a planar target and a raising block. The camera model is firstly established according to the mapping between the world coordinate frame and the computer image coordinate frame. Based on the rule of cross-ratio invariance the calibration points are extracted from the squares on the target, and the lens distortion coefficients are simultaneously acquired. The unknown parameters in the camera model are solved using these points. On the projection of the laser plane, two intersection lines are formed by the laser plane with the target and the raising block, respectively. The angle between the laser plane and the target is worked out by fitting plane using the two lines. Utilizing this angle, the three coordinates of a point in the laser plane can be represented by two of them. Thus the two coordinates can be directly obtained from the camera model. This method simplifies the calibration procedure of structured-light sensors, and facilitates online use. Experiment studies show that the calibrated sensor possesses good accuracy.     

基于数字光处理的结构光三维扫描系统的设计

结合结构光投影三维扫描的原理,设计了数字微镜器件(DMD)作为结构光的发生装置,主控芯片为FPGA,实现了高速的DMD的控制和相机的同步采集。搭建了一个嵌入式三维扫描光学平台,并应用四步相移法完成实验。首先指定不同方向和周期的正弦条纹结构光,同步采集图像;然后通过软件设计完成对采集图像的预处理、相位的解调、相位的展开、相位-高度映射还原得到三维的深度信息并建模;最终获得最高464.8帧/s不同方向和周期的正弦条纹结构光显示,达到194帧/s的相机触发采集,三维扫描效果图清晰,还原和重建效果理想。     

Stereoscopic high-speed imaging using additive colors

An experimental system for digital stereoscopic imaging produced by using a high-speed color camera is described. Two bright-field image projections of a three-dimensional object are captured utilizing additive-color backlighting (blue and red). The two images are simultaneously combined on a two-dimensional image sensor using a set of dichromatic mirrors, and stored for off-line separation of each projection. This method has been demonstrated in analyzing cavitation bubble dynamics near boundaries. This technique may be useful for flow visualization and in machine vision applications.