YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

Semantic loop closure detection based on graph matching in multi-objects scenes

Robust loop-closure detection is essential for visual SLAM. Traditional methods often focus on the geometric and visual features in most scenes but ignore the semantic information provided by objects. Based on this consideration, we present a strategy that models the visual scene as semantic sub-graph by only preserving the semantic and geometric information from object detection. To align two sub-graphs efficiently, we use a sparse Kuhn–Munkres algorithm to speed up the search for correspondence among nodes. The shape similarity and the Euclidean distance between objects in the 3-D space are leveraged unitedly to measure the image similarity through graph matching. Furthermore, the proposed approach has been analyzed and compared with the state-of-the-art algorithms at several datasets as well as two indoor real scenes, where the results indicate that our semantic graph-based representation without extracting visual features is feasible for loop-closure detection at potential and competitive precision.     

基于栈式稀疏降噪自编码网络的辐射源调制识别

针对辐射源识别中噪声敏感和识别能力不足等问题,提出了一种基于核空间时频特征与栈式稀疏降噪自编码网络的识别系统.通过时频变换、稀疏域降噪和核空间降维投影降低噪声干扰和特征冗余,基于降噪自编码与稀疏自编码思想构建栈式稀疏降噪自编码识别网络.实验结果表明系统在识别率和时效性上综合性能最优,能够显著降低噪声敏感性,低信噪比环境下适应性较强.当信噪比为-12dB时,系统对8类辐射源信号的整体平均识别率达到96.75%.     

基于无监督栈式降噪自编码网络的显著性检测算法

针对现有的显著性检测算法检测目标类型单一、通用性差的问题,提出一种基于无监督栈式降噪自编码网络的显著性检测算法.该算法利用无监督栈式降噪自编码网络（Stacked Denoising Auto Encoder,SDAE）在多个尺度对原始图像进行稀疏重构,将原始图像与SDAE网络重构图像之间的差作为显著图,二值化后的显著图作为显著性目标检测结果.在SDAE网络训练过程中,将原始图像作为原始数据,网络重构的图像作为观察数据.为了提升网络训练效率,首先利用无监督逐层贪婪方法训练同结构的深度信念网络（Deep Belief Network,DBN）,将训练得到的DBN网络参数设为SDAE网络的初始参数,再计算原始数据与观察数据之间的互信息作为网络收敛代价,利用反向传播进行网络参数微调.实验表明,该网络模型可以完成多类型目标的显著性检测,具有通用性好,准确度高等优点.     

基于卷积稀疏自编码的图像超分辨率重建

针对卷积稀疏编码算法中特征映射的准确性的问题,为了进一步提高图像超分辨率重建的的质量,文中提出一种基于卷积稀疏自编码的图像超分辨率重建算法。该算法首先在预训练阶段利用稀疏自编码器对输入高低分辨率图像分别进行训练,得到对应的图像稀疏特征表示;然后再由卷积神经网络根据得到的稀疏系数共同训练相应的滤波器及特征映射函数并更新到最优解;最后由高分辨率滤波器和对应的稀疏表示系数卷积求和,得到高分辨率重建图像估计。实验结果显示,改进算法的峰值信噪比（PSNR）结果较卷积稀疏编码算法提高了近0.1 dB,有效提高了重建图像的质量。     

基于特征聚类的稀疏自编码快速算法

稀疏自编码网络在自然语言、图像处理等领域都取得了显著效果.已有的研究表明增加网络提取的特征个数可以优化稀疏自编码网络的处理效果,同时该操作将导致网络训练耗时过长.为尽可能减少网络的训练时间,本文提出了一种基于特征聚类的稀疏自编码快速算法.本算法首先根据K均值聚类最优数确定本质特征的个数,再由网络训练得到本质特征,并通过旋转扭曲增加特征的多样性,使网络处理效果得到提升的同时,减少网络训练耗间.实验在标准的手写体识别数据库MNIST和人脸数据库CMU-PIE上进行,结果表明本文所提算法能在保证网络正确率有所提升的同时,大幅度缩短网络训练耗时.     

基于深度学习的视觉SLAM闭环检测方法

针对在摄像机视角、光照、气候、地貌等条件的大 幅度变化或者存在快速移动物体的 复杂场景下,视觉即时定位与地图构建(simultaneous localization and mapping,SLAM)的精确性和鲁棒性较低等问题,闭环检 测作为解决SLAM位姿漂移的重要环节,提出了一种基于神经网络的闭环检测方法。该方 法通过传感器获取视觉图像的数据,不同于传统方法的特征提取,采用改进三重约束损 失函数训练Darknet提取图像特征,构造对应特征向量矩阵。由于Darknet借鉴了残差网络(resnet)的思想,在具有较深网络层数的同时,仍保持较高的准确率,减少了特征提取 误差。经过自编码器方法对数据进行降维处理,通过余弦相似度计算,设定合理阈值,能够 更快的得到闭环检测结果。最后通过在两个公开视觉SLAM闭环检测数据集,New College数 据集和光照及角度变化更明显的City Centre数据集上进行实验,结果表明复杂环境下本文 提出的方法比现有闭环检测方法,能够得到更高准确率和速率,更好满足了视觉SLAM系统对 消除累计误差和实时性的要求。     

基于CNN的毫米波无蜂窝大规模MIMO信道估计

针对小区间干扰导致蜂窝边缘无法满足不断增长的数据速率需求问题,毫米波无蜂窝大规模多输入多输出(Multiple-Input Multiple-Output, MIMO)系统被认为是一种很有前途的解决方案。然而,毫米波的高频率、大带宽以及接入点配置的大量天线给信道估计带来了较大挑战。将毫米波大规模MIMO信道矩阵视为二维图像,结合图像去噪方法提出一种基于改进去噪卷积神经网络(Improved-Denoising Convolutional Neural Network, I-DnCNN)的信道估计算法。通过具有注意力机制的压缩与激励(Squeeze-and-Excitation, SE)模块,自适应调整提取的全局特征以增强对信道噪声特征的学习,根据接收信号估计出噪声等级图且增添为输入,提升对噪声的鲁棒性。最后,采用残差学习的方式获得估计信道矩阵。利用理论信道模型和基于波束追踪的信道数据集进行的仿真实验结果表明,与去噪卷积神经网络(Denoising Convolutional Neural Network, DnCNN)算法相比,所提算法在两个数据集下的信道估计精度可分别平均提升2.27...     

Illumination robust image transformations for feature-based SLAM using photometric and feature matches loss

Simultaneous localization and mapping (SLAM) technology becomes more and more important in robot localization. The purpose of this paper is to improve the robustness of visual features to lighting changes and increase the recall rate of map re-localization under different lighting environments by optimizing the image transformation model. An image transformation method based on matches and photometric error (name the method as MPT) is proposed in this paper, and it is seamlessly integrated into the pre-processing stage of the feature-based visual SLAM framework. The results of the experiment show that the MPT method has a better matching effect on different visual features. In addition, the image transformation module encapsulated by a robot operating system (ROS) can be used with multiple visual SLAM systems and improve its re-localization effect under different lighting environments.     

融合特征法与直接法的RGB-D稠密视觉SLAM算法

为了保持直接法的快速性与特征法的高精度和闭环能力,提出了一种融合直接法与特征法的RGB-D同时定位与地图创建(SLAM)算法。该算法主要包含3个并行线程:跟踪线程、局部建图线程和闭环线程。在跟踪线程中对非关键帧进行跟踪,通过最小化光度图像误差来进行相机的初始位姿估计以及像素点的对应关系计算,利用最小化局部地图点重投影误差进一步优化相机位姿,实现快速准确的跟踪与定位;在局部建图线程中对关键帧进行提取并匹配ORB特征,执行局部BA(光束平差法),对局部关键帧位姿和局部地图点的位置进行优化,提高SLAM的局部一致性;在闭环线程中执行对关键帧的闭环检测和优化,从而保证SLAM全局一致性。另外,根据RGB-D图像和相机位姿信息,通过基于Octomap的建图框架,构建完整准确的3D稠密环境地图。在TUM数据集下的实验表明,所提出的方法可以得到与基于特征法相当的精度,且所需时间更少。     

基于自适应模型更新的实时跟踪算法

为提高分层卷积特征目标跟踪算法的速度和精度,文中提出了一种基于自适应模型更新的单层卷积特征目标跟踪算法。首先提取Pool4层的多通道的卷积特征对训练样本的类标函数进行调整,在确保跟踪精确度的同时提高了算法的速度。该算法引入了平均峰值能量比,通过比值变化情况反馈目标跟踪的结果,与稀疏模型更新策略相结合,对跟踪器进行自适应更新,提高了算法对遮挡和相似物干扰的鲁棒性。对于目标快速尺度变化问题,文中采用尺度金字塔对尺度进行评估,提高了跟踪器的泛化能力。在OTB2013和OTB2015上测试新算法,实验结果表明,该算法的平均距离精度分别为91.0%和86.8%,平均速度约43 帧/s,局域良好的鲁棒性和实时性。     

动态环境下基于深度学习的视觉SLAM研究综述

目前的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究大多是基于静态场景的假设,而实际生活中动态物体是不可避免的。在视觉SLAM系统中加入深度学习,可以协同剔除场景中的动态物体,有效提升视觉SLAM在动态环境下的鲁棒性。文章首先介绍了动态环境下基于深度学习的视觉SLAM分类,然后详细介绍了基于目标检测、基于语义分割和基于实例分割的视觉SLAM,并对它们进行了分析比较。最后,结合近年来视觉SLAM的发展趋势,通过对动态环境下基于深度学习的视觉SLAM存在的主要问题进行分析,总结了未来可能的发展方向。     

一种基于稀疏编码的多核学习图像分类方法

 本文提出一种基于稀疏编码的多核学习图像分类方法.传统稀疏编码方法对图像进行分类时,损失了空间信息,本文采用对图像进行空间金字塔多划分方式为特征加入空间信息限制.在利用非线性SVM方法进行图像分类时,空间金字塔的各层分别形成一个核矩阵,本文使用多核学习方法求解各个核矩阵的权重,通过核矩阵的线性组合来获取能够对整个分类集区分能力最强的核矩阵.实验结果表明了本文所提出图像分类方法的有效性和鲁棒性.对Scene Categories场景数据集可以达到83.10%的分类准确率,这是当前该数据集上能达到的最高分类准确率.     

稀疏特征重用的人脸特征提取网络

为了提高人脸特征提取网络的性能,进而提高人脸识别算法的准确率,本文对基于卷积神经网络的人脸特征提取网络进行研究,提出了SFRNet (Sparse Feature Reuse Network)。首先,基于稀疏特征重用、混合特征融合、中心-高斯池化三个创新点,给出了SFRNet的网络结构。然后,在图像分类数据集ImageNet和人脸识别数据集LFW (Labeled Faces in the Wild)、MegaFace上进行实验,分别验证了SFRNet在一般场景和人脸识别这一特定场景下的特征提取能力。实验表明本文所设计的SFRNet不仅计算量和参数量小,还能有效提取到人脸特征并且在一般场景中也有较强的泛化能力。      

自适应位置融合的目标跟踪算法

为提高分层卷积特征目标跟踪算法的实时性和鲁棒性,文中提出了一种基于多个相关滤波器预测位置自适应融合的实时目标跟踪算法。该算法首先提取VGG-19网络的Pool4层卷积特征,通过特征均值比对多通道的特征图进行裁剪,提高算法速度。然后利用不同高斯样本分布训练多个相关滤波分类器,并对所有分类器预测的目标位置进行自适应融合,提高算法对目标姿态变化的鲁棒性;最后采用稀疏模型更新策略,进一步提高算法速度。在OTB100标准数据集上测试本文算法, 实验结果表明,该算法的平均距离精度为86.3%,比原分层卷积特征跟踪算法提高了2.6个百分点,在目标发生遮挡、形变、相似背景干扰等情况时具有很好的鲁棒性;平均跟踪速度为45.2帧/s,是原算法的4倍,实时性能良好。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

Fusing integrated visual vocabularies-based bag of visual words and weighted colour moments on spatial pyramid layout for natural scene image classification

The bag of visual words (BOW) model is an efficient image representation technique for image categorization and annotation tasks. Building good visual vocabularies, from automatically extracted image feature vectors, produces discriminative visual words, which can improve the accuracy of image categorization tasks. Most approaches that use the BOW model in categorizing images ignore useful information that can be obtained from image classes to build visual vocabularies. Moreover, most BOW models use intensity features extracted from local regions and disregard colour information, which is an important characteristic of any natural scene image. In this paper, we show that integrating visual vocabularies generated from each image category improves the BOW image representation and improves accuracy in natural scene image classification. We use a keypoint density-based weighting method to combine the BOW representation with image colour information on a spatial pyramid layout. In addition, we show that visual vocabularies generated from training images of one scene image dataset can plausibly represent another scene image dataset on the same domain. This helps in reducing time and effort needed to build new visual vocabularies. The proposed approach is evaluated over three well-known scene classification datasets with 6, 8 and 15 scene categories, respectively, using 10-fold cross-validation. The experimental results, using support vector machines with histogram intersection kernel, show that the proposed approach outperforms baseline methods such as Gist features, rgbSIFT features and different configurations of the BOW model.     

视觉惯性里程计异常视觉测量的检测与处理

对于视觉惯性里程计(VIO),视觉遮挡、运动物体等复杂场景可能带来异常的视觉测量,导致系统定位精确度急剧下降。对此,提出了一种新的VIO异常视觉测量的检测和处理方法。通过选取检测指标、设置先验阈值和设计检测分类器,实现对异常视觉测量的检测与分类;提出多传感器融合策略和自适应误差加权算法,及时消除与实际运动不一致的异常视觉测量的影响;最后,将异常视觉测量检测和处理算法整合到基于关键帧的视觉惯性里程计(OKVIS)系统中,提出了视觉惯性里程计的异常检测和处理(EDS-VIO)系统框架。在复杂场景仿真数据集上的评测结果表明,EDS-VIO比OKVIS取得了更好的性能,定位误差均值从1.045 m下降到0.437 m。所提方法较好地提升了VIO在复杂场景中的定位精确度和鲁棒性。     

基于“轮廓-区域”多层互补特性的显著性检测

针对显著性检测在混杂场景中目标容易混淆的问题,本文借助Gestalt心理学理论,利用轮廓线索与外观线索的互补特性,提出一种基于"轮廓-区域"多层互补特性的显著性检测方法.首先,在图像超像素分割基础上,分别提取基于颜色直方图的全局外观线索和基于区域近邻关系的局部对比度线索,充分描述了区域内容的显著性特征;其次,针对混杂场景的区域外观差异小而引起的目标混淆问题,提取基于边缘的目标轮廓封闭性,描述区域轮廓的显著性特征;最后,为了提高对目标尺寸的自适应能力,本文方法使用支持向量机优化多尺度模型中的"轮廓-区域"互补特性融合过程.在ASD,MSRA10K,SED2公认数据集上的实验表明,本文基于轮廓封闭特性的显著性特性,能够有效改善目标显著性查全率、查准率,优于现有的其他先进方法.     

基于激光点云NDT特征的两步回环检测

针对传统激光雷达配准算法进行大规模同时定位与建图(SLAM)时,存在较大累计误差的问题,本文提出一种基于正态分布变换(NDT)的两步回环检测方法,充分利用NDT配准中点云均值与方差特征,并将所提方法加入SLAM完整框架。点云匹配中采用重叠网格,首先根据各网格特征值,构建点云外观描述,进行粗回环检测。符合粗回环条件后,计算点云网格均值到坐标原点距离的方法使点云具有旋转不变性,进行精确回环检测。本文提出算法在“小旋风”智能车平台进行验证,实验表明,所提算法可以有效减小大规模建图中的累计误差,系统的鲁棒性更强,跟踪性能更好。