YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

基于几何约束的视觉闭环检测和位姿优化

为实现视觉里程计在大规模复杂环境下的准确导航,消除载体位姿估计的累计误差,提出了一种基于几何约束的视觉闭环检测和位姿优化方法。首先建立基于LATCH二进制描述子的视觉词袋(Bo VW),并采用视觉单词向量描述图像进而归一化相似度的闭环检测方法,然后对闭环候选关键帧和当前关键帧进行基于RANSAC-HORN运动估计的闭环验证,最后将闭环关键帧的局部地图点投影到当前帧并最小化重投影误差以使得位姿得到优化。数据集实验表明,提出的闭环检测和位姿优化算法能够有效地对闭环进行准确检测和验证,并对视觉里程计的误差积累进行闭环位姿优化,提高了视觉导航精度。     

基于兴趣倾向机制的仿生SLAM算法

该文针对同时定位与地图创建(SLAM)闭环检测算法易受复杂环境因素干扰,导致定位误差较大、闭环检测精度低等问题,受哺乳动物空间认知机理启发,提出一种基于兴趣倾向机制的仿生SLAM算法。采用反Hebbian网络(Lateral Anti-Hebbian Networkm, LAHN)对网格细胞进行建模,通过不规则复杂环境边界信息对网格细胞进行校正来提高算法定位精度。利用兴趣倾向机制对提取的显著性区域进行兴趣赋值,减小冗余显著性区域带来的影响,提高系统闭环准确率。将位置感知模型获取的位置信息与视觉感知模板相关联构建认知地图。在公开数据集及真实环境中进行测试,测试结果表明该文算法在构建认知地图的准确率、实时性以及对环境的适应能力具有优势。     

基于残差网络的图像序列闭环检测

机器人在大尺度场景下开展同时定位与建图(SLAM)任务时,其闭环检测环节会出现较严重的错匹配或者漏匹配问题,因此,采用残差网络(ResNet)对图像序列进行特征提取,并提出一种新的闭环检测算法。通过预训练的ResNet提取输入图像的全局特征,并对该帧图像及之前具有一定长度的图像序列的特征按照下采样的方式进行拼接,将结果作为当前帧图像的特征,保证图像特征的丰富性与准确性。同时,设计一种双层查询的方法以获得最相似的图像帧,并对最相似图像进行一致性检验,确保闭环的准确性。在闭环检测主流公开数据集New College和City Centre上,所提算法在100%准确率下的召回率为83%,在99%准确率下的召回率为85%。与传统的词袋方法和VGG16方法相比,所提算法具有显著的提升。     

基于局部彩色二元模式纹理特征的人脸分类方法

针对现有的局部纹理特征在光照变化下的人脸分类准确率不高的问题,提出一种局部彩色二元模式纹理特征提取和表示方法.该方法首先求取多个信号通道的彩色向量的模,以减少单独对每个信号通道提取 LBP 特征导致的量化误差;其次提取任意两个信号通道之间的像素彩色夹角来减少光照变化的影响.对于给定的测试人脸图像集,通过 SVM 的二分类器投票得到人脸图像的分类.在 Color FERET 和 XM2VTSDB 人脸图像数据库上的实验证明该方法在光照变化下可以有效地分类人脸图像.     

智能轮椅视觉SLAM仿真系统实现

运用了基于视觉的EKF同时定位与地图创建（SLAM）方法来实现智能轮椅在室内环境下的导航问题。通过对图像的特征提取及匹配、更新确定自身位姿并建立地图。有效准确的特征提取是SLAM实现的必要条件之一。仿真实验显示,所提出的算法可以实现移动机器人的视觉SLAM。     

一种基于三维视觉的移动机器人定位与建图方法

针对移动机器人三维视觉SLAM(同步定位与建图)中定位精度低、实时性差等问题,提出一种基于由初到精的位姿估计和双重闭环策略的SLAM方法。首先对MSER(最大稳定极值区)检测算法进行椭圆拟合化处理并提取出图像中的ROI(感兴趣区);然后从ROI中提取出稀疏像素点并使用直接法得到初始位姿变换参数;接着结合改进的基于八叉树结构的ICP(迭代最近点)对相机位姿进行精估计;再结合关键帧选择机制提出一种双重闭环检测方法为构建的位姿图添加约束;最后通过g2o图优化框架对位姿图进行优化并完成点云的拼接。通过NYU和TUM标准数据集验证了算法的实时性与有效性,室内实验结果表明,在复杂环境下也能利用该方法进行准确的位姿估计,并构建出环境的三维点云地图。     

融合特征法与直接法的RGB-D稠密视觉SLAM算法

为了保持直接法的快速性与特征法的高精度和闭环能力,提出了一种融合直接法与特征法的RGB-D同时定位与地图创建(SLAM)算法。该算法主要包含3个并行线程:跟踪线程、局部建图线程和闭环线程。在跟踪线程中对非关键帧进行跟踪,通过最小化光度图像误差来进行相机的初始位姿估计以及像素点的对应关系计算,利用最小化局部地图点重投影误差进一步优化相机位姿,实现快速准确的跟踪与定位;在局部建图线程中对关键帧进行提取并匹配ORB特征,执行局部BA(光束平差法),对局部关键帧位姿和局部地图点的位置进行优化,提高SLAM的局部一致性;在闭环线程中执行对关键帧的闭环检测和优化,从而保证SLAM全局一致性。另外,根据RGB-D图像和相机位姿信息,通过基于Octomap的建图框架,构建完整准确的3D稠密环境地图。在TUM数据集下的实验表明,所提出的方法可以得到与基于特征法相当的精度,且所需时间更少。     

融合混合注意力实例分割的视觉同步定位与建图算法

针对视觉同步定位与建图算法在遮挡情况下易受到干扰而导致定位误差较大且闭环检测精度较低等问题，提出一种融合混合注意力实例分割的视觉同步定位与建图算法。该算法能够动态调整被遮挡物识别权重，在出现遮挡情况时提升对被遮挡物的特征提取与识别能力。同时采用概率去误匹配算法去除错误匹配点对，增加位姿求解及关键帧选取精度，从而更好地修正机器人位姿、提高系统构图的准确率。通过KITTI公开数据集和真实场景对所提算法进行测试，结果表明，所提算法在闭环准确率上与ORB-SLAM2算法相比约提高10.7%，平移误差约减小27.6%，体现了良好的构图能力。     

基于ORB词袋模型的SLAM回环检测研究

即时定位与地图构建(SLAM)是解决移动机器人在未知非结构化环境中自主导航与控制的关键,一个完整的SLAM系统包括传感器数据处理、位姿估计、构建地图、回环检测四个部分。其中回环检测机制是解决移动机器人的闭环重定位,提高SLAM系统鲁棒性的重要环节。该研究提出一种基于ORB词袋模型的SLAM系统框架,通过研究与分析了使用FLANN算法选取关键帧与匹配帧间特征点,ORB特征描述子对检测速度的提高,通过k-means++算法对特征点进行训练生成含有视觉单词的词袋模型,使用高斯金字塔的直方图交叉核的SVM分类器,使用e PNP算法的增量式帧间位姿估计,回环检测重定位机制等环节,实现了单目视觉SLAM系统的初始化与位姿优化,实现了在丢帧状况下通过词袋模型进行重定位。最后通过搭建实验平台和标准数据集的测试得到的数据结果表明,基于ORB词袋模型的SLAM系统,具有良好的实时性,能够有效提高SLAM系统的重定位准确性,增强了系统的鲁棒性。     

基于融合改进RANSAC光流法的无人机视觉SLAM研究

针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长,提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法,加入最小二乘法对模型进行迭代优化来估计最优模型,对光流法的误匹配点进行剔除,大量减少图像误匹配特征点;把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合,最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明：该改进算法能够有效减小光流法特征匹配的误差,从而提高无人机视觉SLAM的定位精度。     

样本限制场景下金属板带材表面缺陷分类研究

深度学习在金属板带材表面缺陷检测中取得良好的检测效果,但随着网络层数的增加 ,针对较小样 本的金属板带材表面缺陷数据集训练数据容易出现过拟合现象的问题,为此将残差网络与迁 移学习结合提出 了一种融合多层次缺陷特征的图像分类算法。该算法采用残差网络模块逐层提取金属表面缺 陷特征,获得丰 富的位置信息和语义信息缺陷特征的特征图,后续利用分类网络基于该融合特征图得到最终 分类结果,同时 对特征提取网络进行迁移学习,增加网络泛化能力,优化分类精度。利用钢带表面缺陷检测 数据集评估本文 算法性能,实验结果表明,提出的算法具有较好的分类效果,优于其他缺陷分类算法,分类 准确率可达到 99.07%,同时本文所提算法具有良好的抗噪性和泛化性,在金属板带材表面缺陷智能检测中 具有较好的应用价值。     

采用深度学习的遥感图像花生种植区域分类技术研究

近年来，深度学习在图像处理和数据分析等方面取得了巨大的进展。针对传统遥感估计农作物种植面积统计方法时效性差、依赖人工操作经验、耗费人力资源等问题，以Sentinel-2卫星遥感影像为数据基础，提出了一种基于深度学习的农作物种植区域分类方法。实验以从背景中提取出花生种植区域为目标，首先对Sentinel-2遥感影像数据进行预处理，然后用人工目视解译的方法标注遥感影像中种植花生的区域，将标注后的图像输入到图像分割网络中进行训练，最后将测试图像输入到训练好的分割网络，获得测试结果:检测准确率为89.20%，检测召回率为79.22%。      

Detection of loop closure in visual SLAM:a stacked assorted auto-encoder based approach

The current mainstream methods of loop closure detection in visual simultaneous localization and mapping (SLAM) are based on bag-of-words (BoW). However, traditional BoW-based approaches are strongly affected by changes in the appearance of the scene, which leads to poor robustness and low precision. In order to improve the precision and robustness of loop closure detection, a novel approach based on stacked assorted auto-encoder (SAAE) is proposed. The traditional stacked auto-encoder is made up of multiple layers of the same autoencoder. Compared with the visual BoW model, although it can better extract the features of the scene image, the output feature dimension is high. The proposed SAAE is composed of multiple layers of denoising auto-encoder, convolutional auto-encoder and sparse auto-encoder, it uses denoising auto-encoder to improve the robustness of image features, convolutional auto-encoder to preserve the spatial information of the image, and sparse auto-encoder to reduce the dimensionality of image features. It is capable of extracting low to high dimensional features of the scene image and preserving the spatial local characteristics of the image, which makes the output features more robust. The performance of SAAE is evaluated by a comparison study using data from new college dataset and city centre dataset. The methodology proposed in this paper can effectively improve the precision and robustness of loop closure detection in visual SLAM.     

基于在线估计的视觉SLAM低光照图像增强算法

为了提升基于特征点的双目视觉定位算法在低光照环境下定位的准确性,提出一种基于在线估计的视觉同步定位与地图构建(simultaneous localization and mapping,SLAM)低光照图像增强算法.通过在线估计图像亮度值,实时更新图像增强算法的参数,解决了基于固定参数的图像增强算法在图像较亮、较暗等情况下的不适用性问题.首先,通过ORB-SLAM2系统寻找定位准确度的影响因素,并通过在线估计参数的方法实时更新相关参数.其次,利用低光照图像增强算法(low-light image enhancement,LIME)改善图像效果.最后,根据增强后的图像进行特征点提取,提升了特征匹配准确度,进而提升了定位的准确度.在公开EuRoC数据集上,通过与目前广泛使用的ORB-SLAM2算法进行对比实验,结果表明本文提出的视觉SLAM系统,具有更好的定位准确性及鲁棒性.     

基于IMU/视觉融合的导航定位算法研究

针对基于视觉传感器的移动机器人在快速运动或发生旋转时出现图像模糊和特征丢失,以至无法进行特征匹配,从而导致系统定位和建图的准确度及精确度下降问题,该文提出了一种以深度相机(RGB_D)融合惯性测量单元（IMU）的方案。采用ORB SLAM2算法进行位姿估计,同时将IMU信息作为约束弥补相机数据的缺失。两种传感器的测量数据采用基于扩展卡尔曼滤波的松耦合方式进行非线性优化,通过数据采集实验表明,该方法能有效提高机器人的定位精度和系统建图效果。     

A new head pose tracking method based on stereo visual SLAM

Real-time and reliable head pose tracking is the basis of human–computer interaction and face analysis applications. Aiming at the problems of accuracy and real time performance in current tracking method, a new head pose tracking method based on stereo visual SLAM is proposed in this paper. The sparse head map is constructed based on ORB feature points extraction and stereo matching, then the 3D-2D matching relations between 3D mappoints and 2D feature points are obtained by projection matching. Finally, the camera pose solved by the Bundle Adjustment is converted to head pose, which realizes the tracking of head pose. The experimental results show that this method can obtain high precise head pose. The mean errors of three Euler angles are all less than 1°. Therefore, the proposed head pose tracking method can track and estimate precise head pose in real time under smooth background.     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。