动态环境下结合实例分割与聚类的鲁棒RGB-D SLAM系统

视觉同步定位与建图（VSLAM）技术常常用于室内机器人的导航与感知,然而VSLAM的位姿估算方法是针对静态环境的,当场景中存在运动对象时,可能会导致定位和建图失败。针对此问题,提出了一个结合实例分割与聚类的VSLAM系统。所提系统使用实例分割网络生成场景中动态对象的概率掩膜,同时利用多视图几何的方法检测场景中的动态点,并将检测到的动态点与获得的概率掩膜匹配之后确定动态物体的精确动态掩膜;利用动态掩膜删除动态物体的特征点,然后利用剩余的静态特征点准确估计摄像机的位置。为了解决实例分割网络欠分割的问题,采用深度填充算法和聚类算法保证动态特征点完全删除。最后,重建图片被动态物体遮挡的背景,在正确的相机位姿下建立静态稠密点云地图。在公开的TUM(Technical University of Munich)数据集上的实验结果表明,在动态环境中,所提系统在保证实时性的同时能实现鲁棒的定位与建图。     

基于高斯差分特征网络的显著目标检测

中心-邻域对比度理论作为具有生理学依据的一种线索,在传统显著性检测模型中获得了广泛应用,然而该理论却很少显式地应用在基于深度卷积神经网络（CNN）的模型中。为了将经典的中心-邻域对比度理论引入深度卷积网络中,提出了一种基于高斯差分（DoG）特征网络的显著目标检测模型。首先通过在多个尺度的深度特征上构造高斯差分金字塔（DGP）结构以感知图像中显著目标的局部突出特性,进而用所得到的差分特征对语义信息丰富的深度特征进行加权选择,最终实现对显著目标的准确提取。进一步地,在提出的网络设计中采用标准的一维卷积来实现高斯平滑过程,从而在降低计算复杂度的同时实现了网络端到端的训练。通过把所提模型与六种显著目标检测算法在四个公用数据集上的实验结果进行对比,可知所提模型取得的结果在平均绝对误差（MAE）和最大F度量值的定量评价中均取得了最优表现,尤其是在DUTS-TE数据集上所提模型取得的结果的最大F度量值和平均绝对误差分别达到了0.885和0.039。实验结果表明,所提模型在复杂自然场景中对于显著目标具有良好的检测性能。     

基于空间语义信息特征融合的目标检测与分割

高质量的特征表示可以提高目标检测和其他计算机视觉任务的性能.现代目标检测器诉诸于通用的特征金字塔结构以丰富表示能力,但是他们忽略了对于不同方向的路径应当使用不同的融合操作,以满足其对信息流的不同需求.提出了分离式空间语义融合（separated spatial semantic fusion,SSSF）,它在自上而下的路径中使用通道注意模块（channel attention block,CAB）来传递语义信息,在自下而上的路径中使用具有瓶颈结构的空间注意模块（spatial attention block,SAB）来通过较少的参数和较少的计算量（相比于直接利用不降维的空间注意模块）将精确的位置信号传递到顶层.SSSF十分有效,并且具有很强大的泛化能力：对于目标检测,它可以将AP提高1.3%以上,对于自上而下的路径进行语义分割的融合操作,它可以将普通加和版本的AP提高约0.8%,对于实例分割,所提方法能够在所有指标上提高实例分割的包围框AP和掩膜AP.     

基于改进的Faster R-CNN的通用目标检测框架

针对当前基于深度学习的检测器不能有效检测形状不规则或长宽相差悬殊的目标的问题,在传统Faster R-CNN算法的基础上,提出了一个改进的二阶段目标检测框架——Accurate R-CNN。首先,提出了新的交并比（IoU）度量——有效交并比（EIoU）,通过提出中心度权重来降低训练数据中冗余包围框的占比。然后,提出了一个上下文相关的特征重分配模块（FRM）,通过建模目标的远程依赖和局部上下文关系信息对特征进行重编码,以弥补池化过程中的形状信息损失。实验结果表明,在微软多场景通用目标（MS COCO）数据集上,对于包围框检测任务,当使用深度为50和101的残差网络（ResNet）作为骨干网络时,Accurate R-CNN比基线模型Faster R-CNN的平均精度（AP）分别提高了1.7个百分点和1.1个百分点,超越了使用同样骨干网络的基于掩膜的检测器。在添加掩膜分支后,对于实例分割任务,当使用两种不同深度的ResNet作为骨干网络时,Accurate R-CNN比Mask R-CNN的掩膜平均精度分别提高了1.2个百分点和1.1个百分点。研究结果显示,相较于基线模型,Accurate R-CNN在不同数据集、不同任务上均取得了更好的检测效果。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构（ResNet）进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作（ASPP）对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络（AUNet）、全景特征金字塔网络（Panoptic FPN）、亲和金字塔单阶段实例分割算法（SSAP）、联合全景分割网络（UPSNet）、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量（PQ）值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率（AP）、目标IoU阈值超过50%的平均精确率（AP₅₀）分别提升了0.002与0.014,平均交并比（mIoU）值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。     

动态生成掩膜弱监督语义分割

目的 传统图像语义分割需要的像素级标注数据难以大量获取,图像语义分割的弱监督学习是当前的重要研究方向。弱监督学习是指使用弱标注样本完成监督学习,弱标注比像素级标注的标注速度快、标注方式简单,包括散点、边界框、涂鸦等标注方式。方法 针对现有方法对多层特征利用不充分的问题,提出了一种基于动态掩膜生成的弱监督语义分割方法。该方法以边界框作为初始前景分割轮廓,使用迭代方式通过卷积神经网络（convolutional neural network,CNN） 多层特征获取前景目标的边缘信息,根据边缘信息生成掩膜。迭代的过程中首先使用高层特征对前景目标的大体形状和位置做出估计,得到粗略的物体分割掩膜。然后根据已获得的粗略掩膜,逐层使用CNN 特征对掩膜进行更新。结果 在Pascal VOC（visual object classes） 2012 数据集上取得了78.06% 的分割精度,相比于边界框监督、弱—半监督、掩膜排序和实例剪切方法,分别提高了14.71%、4.04%、3.10% 和0.92%。结论 该方法能够利用高层语义特征,减少分割掩膜中语义级别的错误,同时使用底层特征对掩膜进行更新,可以提高分割边缘的准确性。     

使用超像素分割与图割的网状遮挡物检测算法

针对由于摄影角度受限,一些自然图像被铁丝网、栅栏、外墙玻璃接缝等网状遮挡物所遮挡的问题,提出了一种用于修复此类图像的网状遮挡物检测算法。对于现有算法使用单像素颜色特征和固定形状特征造成对颜色和形状不均的网状遮挡物检测效果不佳的弊端,首先将图像进行超像素分割,引入颜色与纹理直方图的联合特征来描述超像素块,将基于像素分类问题转换成基于超像素的分类问题,抑制了局部颜色变化造成的误分类;然后,使用图割算法将超像素块进行分类,使网状结构能够沿着光滑的边缘进行延伸,不受固定的形状限制,提高了对异形网状结构的检测准确率,并且不依赖Farid等提出的算法（FARID M S,MAHMOOD A,GRANGETTO M.Image de-fencing framework with hybrid inpainting algorithm.Signal,Image and Video Processing,2016,10（7）：1193-1201）所需的人工输入;其次使用新的联合特征训练支持向量机（SVM）分类器并对所有未被分类的超像素块进行分类,得到准确网状遮挡物掩膜;最后,使用SAIST算法对图像进行修复。实验中,获得的网状遮挡物掩膜比Farid等提出的算法所得到的保留了更多的细节,在修复算法不变的同时显著提升了图像修复效果。在使用相同网状遮挡物掩膜的情况下,使用SAIST算法修复得到的图片在峰值信噪比（PSNR）和结构相似性（SSIM）上分别比Farid等提出算法提高了3.06和0.02。新的掩膜检测算法联合SAIST修复算法的总体修复效果对比Farid等提出算法及Liu等提出的算法（LIU Y Y,BELKINA T,HAYS J H,et al.Image de-fencing.Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition.Washington,DC：IEEE Computer Society,2008：1-8）有了明显提升。实验结果表明,所提算法提升了网状遮挡物的检测准确性,得到了效果更好的去除网状遮挡物的图像。     

基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法

为解决判别式相关滤波（DCF）跟踪算法在跟踪目标旋转或非刚性形变时的模型漂移、尺度粗糙、跟踪失败问题,提出一种基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法（DWOP-EFO）。首先,同时采用矩形框之间的重叠度和中心距离作为动态锚框质量评价的依据,能够缩小预测结果与目标区域之间的空间距离,缓解模型漂移问题;其次,为了进一步提高跟踪精度,采用轻量化的目标分割网络将目标从背景中分割出来,再利用椭圆拟合算法对分割轮廓进行优化并输出稳定的旋转矩形框,实现对目标尺度的精确估计;最后,通过尺度置信度优化策略对置信度高的尺度结果实现门控输出。所提算法能缓解模型漂移问题,同时有利于增强跟踪器的鲁棒性和提升跟踪精度。在两个最为流行的评测数据集VOT2018和OTB100上进行了实验,结果表明：在VOT2018数据集上,所提算法的期望平均重叠率（EAO）指标比基于重叠度最大化准确跟踪算法（ATOM）提高2.2个百分点,相较于基于可学习的判别模型跟踪器（DiMP）提高1.9个百分点;同时,所提算法在OTB100评测数据集上的成功率指标比ATOM高出1.3个百分点,特别是在非刚性形变属性上效果显著。所提算法在评测数据集上的平均运行速率均超过25 frame/s实现了实时跟踪。     

基于深度学习模型的遥感图像分割方法

利用遥感图像快速准确地检测地物信息是当前的研究热点。针对遥感图像地表物的传统人工目视解译分割方法效率低下和现有基于深度学习的遥感图像分割算法在复杂场景下准确率不高、背景噪声多的问题，提出一种基于改进的U-net架构与全连接条件随机场的图像分割算法。首先，融合VGG16和U-net构建新的网络模型，以有效提取具有高背景复杂度的遥感图像特征；然后，通过选取适当的激活函数和卷积方式，在提高图像分割准确率的同时显著降低模型预测时间；最后，在保证分割精度的基础上，使用全连接条件随机场进一步优化分割结果，以获得更加细致的分割边缘。在ISPRS提供的标准数据集Potsdam上进行的仿真测试表明，相较于U-net，所提算法的准确率、召回率和均交并比（MIoU）分别提升了15.06个百分点、29.11个百分点和0.3662，平均绝对误差（MAE）降低了0.02892。实验结果验证了该算法具备有效性和鲁棒性，是一种有效的遥感图像地表物提取算法。     

基于改进Mask R-CNN的越南场景文字检测

针对越南场景文字检测训练数据缺乏及越南文字声调符号检测不全的问题,在改进的实例分割网络Mask R-CNN的基础上,提出一种针对越南场景文字的检测算法。为了准确地分割带声调符号的越南场景文字,该算法仅使用P2特征层来分割文字区域,并将文字区域的掩码矩阵大小从14×14调整为14×28以更好地适应文字区域。针对用常规非极大值抑制（NMS）算法不能剔除重复文字检测框的问题,设计了一个针对文字区域的文本区域过滤模块并添加在检测模块之后,以有效地剔除冗余检测框。使用模型联合训练的方法训练网络,训练过程包含两部分：第一部分为特征金字塔网络（FPN）和区域生成网络（RPN）的训练,训练使用的数据集为大规模公开的拉丁文字数据,目的是增强模型在不同场景下提取文字的泛化能力;第二部分为候选框坐标回归模块和区域分割模块的训练,此部分模型参数使用像素级标注的越南场景文字数据进行训练,使模型能对包括声调符号的越南文字区域进行分割。大量交叉验证实验和对比实验结果表明,与Mask R-CNN相比,所提算法在不同的交并比（IoU）阈值下都具有更好的准确率与召回率。     

实例分割和边缘优化算法的研究与实现

摘 要：近年来,实例分割技术正受到越来越多的关注。Mask R-CNN 实例分割方法是实 例分割领域中的重要方法,但是用 Mask R-CNN 方法得到的结果中,每个分割出的实例的边缘 往往不够理想,无法与真正的边缘完全吻合。针对此问题,提出了一种用显著性目标提取方法 得到的结果与 Mask R-CNN 实例分割结果相结合的方法,从而得到更好的实例分割边缘。首先, 利用 Mask R-CNN 对图片进行识别,得到实例分割的结果。然后用 PoolNet 对待检测图片进行 处理,得到图片中的显著物体信息。最后用 PoolNet 的结果对实例分割的掩码图边缘进行优化, 从而得到边缘更好的实例分割结果。经过测试,该方法可以对绝大多数待检测目标较为显著的 图片在一些重要指标上得到比 Mask R-CNN 更好的分割结果。     

面向特定目标自识别的交通图像语义检索方法

为了从海量的道路交通图像中检索出违反交通法规的图像,提出了一种特定目标自识别的语义图像检索方法。首先,通过交通领域专家建立交通领域本体及道路交通规则描述;然后,通过卷积神经网络（CNN）对交通图像的特征进行提取,并结合改进的支持向量机决策树（SVM-DT）算法对图像特征进行分类的策略,对交通图像中的特定目标及目标间空间位置关系进行自动识别,并映射成为相应的本体实例及其对象之间的关联关系（规则实例）;最后,利用本体实例和规则实例,通过推理得到语义检索结果。实验结果表明,相比关键字和本体交通图像语义检索方法,所提方法具有更高的准确率、召回率和检索效率。     

基于改进YOLOv3的实时交通标志检测算法

针对目前我国智能驾驶辅助系统识别道路交通标志检测速度慢、识别精度低等问题,提出一种基于YOLOv3的改进的道路交通标志检测算法。首先,将MobileNetv2作为基础特征提取网络引入YOLOv3以形成目标检测网络模块MN-YOLOv3,在MN-YOLOv3主干网络中引入两条Down-up连接进行特征融合,从而减少检测算法的模型参数,提高了检测模块的运行速度,增强了多尺度特征图之间的信息融合;然后,根据交通标志目标形状的特点,使用K-Means++算法产生先验框的初始聚类中心,并在边界框回归中引入距离交并比（DIOU）损失函数来将DIOU与非极大值抑制（NMS）结合;最后,将感兴趣区域（ROI）与上下文信息通过ROI Align统一尺寸后融合,从而增强目标特征表达。实验结果表明,所提算法性能更好,在长沙理工大学中国交通标志检测（CCTSDB）数据集上的平均准确率均值（mAP）可达96.20%。相较于Faster R-CNN、YOLOv3、Cascaded R-CNN检测算法,所提算法拥有具有更好的实时性和更高的检测精度,对各种环境变化具有更好的鲁棒性。     

CT影像肝脏转移瘤分割与检测深度网络的研究

肝脏肿瘤的评估是结直肠癌肝转移临床诊疗的重要步骤。为了完成腹部CT影像中的肝脏肿瘤自动分割和检测任务,提出一种改进的级联深度学习网络。级联网络采用U-Net和Mask R-CNN模型分别完成分割和检测任务。训练U-Net模型作为级联网络的第一层来分割肝脏器官作为感兴趣区域（ROI）;针对ROI区域进行形态学活动轮廓提取;使用U-Net模型和Mask R-CNN模型作为级联网络的第二层分别完成精准分割和检测ROI内肝脏肿瘤的任务。实验结果表明,对于级联U-Net模型的肝脏转移瘤分割平均Dice系数为74%;Mask R-CNN的肿瘤实例分割Dice系数为67%（置信度为95%）,均值平均精度（mAP）为88%。     

基于改进Mask RCNN的电力检修违规操作检测

电力检修现场中施工行为的规范关系到工作人员的人身安全, 对电力行业的发展至关重要. 为了从计算机视觉的角度对电力检修工作人员的违规操作行为进行检测, 基于Mask RCNN算法设计了一种多任务多分支违规行为检测算法, 综合目标检测、关键点检测与实例分割任务, 并行对目标进行检测并获得目标的边框坐标、关键点与mask信息. 实验结果表明, 相对于原来的Mask RCNN, 该算法在实例分割和关键点检测方面都有了显著的提升, 具有更高的准确性和鲁棒性, 在电力检修违规检测方面满足实际部署的精度要求.     

在线多类别逐点式多目标跟踪与分割

现有基于深度学习的多目标跟踪算法大多利用目标检测任务预测的边界框跟踪目标,当目标间存在遮挡时,边界框会产生重叠进而影响跟踪准确度,针对这个问题,提出了一种在线多类别逐点式多目标跟踪与分割（category-free point-wise multi-object tracking and segmentation,CPMOTS）算法。该算法摒弃了边界框的目标表征方式,利用实例分割的像素级掩码表征目标进行跟踪,网络采用并行结构同时分割与跟踪多类别目标,并保证了运行效率,这在真实场景中有很强的实用性。CPMOTS首先利用实例分割网络得到实例分割掩码,对其采样得到无序点集;然后将点集的特征输入跟踪网络得到判别性的实例级嵌入向量;最后将该嵌入向量通过直观高效的注意力模块以显式建模其通道间的依赖关系,自适应学习每个特征通道的重要程度,依照这个重要程度选择性地强化有用的特征,抑制无用的特征,实现通道特征重标定,从而提高算法的性能。在多目标跟踪与分割基准数据集KITTI MOTS的实验表明,CPMOTS跟踪的精度优于大部分其他对比方法,并达到了16 frame/s的近实时速度。     

基于改进Mask R-CNN的在架图书书脊图像实例分割方法

运用人工智能技术将是构建下一代智慧图书馆的关键,为了实现图书的定位和识别,提出一种基于改进Mask R-CNN的在架图书书脊图像实例分割方法.考虑到图书密集排列、具有一定的旋转性、副本纹理极相似等难点,改进锚框为旋转矩形框,提出旋转区域建议网络取代区域建议网络;提出旋转特征提取方法可减少池化误差且有效提取目标特征,结合掩膜的旋转对齐以提升预测掩膜的准确性.建立了一个包含1849张在架图书书脊图像的标注数据集,提出方法的测试结果大幅度优于其他重要的实例分割算法,证实了在网络中使用旋转特征对于具有一定朝向的、密集的目标分割难题很有效.     

基于改进Mask R-CNN的卫星目标部位检测方法

针对卫星部件维修更换、燃料加注、废弃卫星回收等空间在轨服务中需解决的目标卫星部位检测问题,在Mask R-CNN的基础上,改进其主干网络结构并缩减分类回归、Mask分支通道数,提出了一种改进的实例分割网络模型Ring-Engine-Mask R-CNN,使用实物模型图像和3dsMax生成的仿真图像建立了专用数据集,给出了一种基于深度学习的卫星目标部位检测方法;实验结果表明,该方法能较好的完成卫星星箭对接环和远地点发动机喷管两种目标部位的检测分割,相较于传统的网络模型,在缩小了模型规模的同时,具有更高精度和更快的检测速度.