基于DeepLabV3+与超像素优化的语义分割

针对基于深度学习的DeepLabV3+语义分割算法在编码特征提取阶段大量细节信息被丢失,导致其在物体边缘部分分割效果不佳的问题,本文提出了基于DeepLabV3+与超像素优化的语义分割算法。首先,使用DeepLabV3+模型提取图像语义特征并得到粗糙的语义分割结果;然后,使用SLIC超像素分割算法将输入图像分割成超像素图像;最后,融合高层抽象的语义特征和超像素的细节信息,得到边缘优化的语义分割结果。在PASCAL VOC 2O12数据集上的实验表明,相比较DeepLabV3+语义分割算法,本文算法在物体边缘等细节部分有着更好的语义分割性能,其mIoU值达到83.8%,性能得到显著提高并达到了目前领先的水平。     

基于多路径网络的权值调整图像语义分割算法

为提高图像语义分割准确程度,针对场景解析中类别边缘分辨清晰度,提出了一种基于多路径网络的权值调整图像语义分割算法。通过引入多路径网络和权值调整并对图像场景中的物体类别具有的特征进行分析,提高图像的语义分割的准确程度;通过采用ADE20K数据集进行训练,提高边缘信息的分割效果,使模型具有更好的泛化能力。此算法加快了网络收敛速度。     

视觉导航中路面检测方法与DSP实现

路面检测在基于视觉导航的汽车自动驾驶中具有重要意义。针对路面的多样性和场景的复杂性,文中研究并开发了基于DSP的路面检测技术,提出了一种融合图像灰度和图像深度的路面检测方法。系统首先采用双目立体视觉方法获取场景深度图像,然后根据图像灰度和图像深度进行超像素分割,最后提取超像素的灰度和深度特征,用SVM分类器对超像素进行分类,实现路面的检测。实际场景的测试证明了文中方法的可行性。街景图像数据库的实验表明,文中路面检测方法的准确性高。     

基于多尺度特征融合的遥感图像场景分类

为了解决遥感图像场景分类中因样本量小而分类精度不高的问题,提出了一种基于多尺度特征融合(MSFF)的分类方法。首先,对遥感图像进行尺度变换,得到同一遥感源图像的多个不同尺度图像。接着,将其分别输入深度卷积神经网络(DCNN)中进行卷积操作。然后,将各卷积层和全连接层提取出的不同尺度特征进行降维和编码/平均池化操作。最后,将各尺度特征进行编码融合并利用多核支持向量机(MKSVM)进行场景分类。在两个公开遥感图像数据集UCM Land-Use和NWPU-RESISC45中进行试验,分类精度最高分别达到98.91%和99.33%。本文方法能够利用不同尺度的图像特征,结合低、中、高层语义表示,使融合特征的可辨识性更高,同时使用多核支持向量机提高了深度网络学习的泛化能力,因此分类效果更好。     

利用卷积神经网络的自动驾驶场景语义分割

图像语义分割是现代自动驾驶系统的一个必要部分,因为对汽车周围场景的准确理解是导航和动作规划的关键。为提高自动驾驶场景的图像语义分割准确率,且考虑到当下流行的基于卷积神经网络的语义分割模型(DeepLab v3+)无法有效地利用注意力信息,导致分割边界粗糙等问题,提出一种融合底层像素信息与通道、空间信息的语义分割神经网络。在卷积神经网络中插入注意力模块,提取出图像语义级别的信息,通过学习图像的位置信息和通道信息得到更加丰富的特征;从卷积神经网络输出的各类别得分值计算出单点势能,且从初步分割图和原图得到成对势能,以便全连接条件随机场对图像的全部像素进行建模,并且优化图像的局部细节;全连接条件随机场通过迭代得到语义分割的最终结果。在CityScapes数据集上进行了测试,与DeepLab v3+相比较,改进后的模型分别提高了均交并比和均像素精度等关键指标1.07%和3.34%。它能够更加精细地分割目标,较好地解决分割边界粗糙,有效地抑制边界区域分割的过度平滑和不合理孤岛等问题。     

基于语义信息的陪护机器人定位鲁棒性研究

智能机器人与一般的工业生产机器人不同,智能机器人不是单一的执行固化的指令,而是追求更高层次的人机互融,实现自然的人机交互,故要求机器人清楚了解自身所处场景信息以及准确执行交互的意图。研究基于语义信息的机器人定位方法,当机器人采集到场景的RGB图像时,在深度卷积神经网络模型Mask-RCNN和MonoDepth的基础上对场景进行语义分割和深度预测,并通过获取的语义信息以及深度信息限定图像匹配范围,实现机器人的准确定位、场景语义分析以及自然人机交互。实验表明,该研究成功地获得机器人所处环境的语义信息和场景的深度信息以及提高了机器人的定位精度,从而实现了更加自然、准确的人机交互。     

一种结合域自适应的图像语义分割算法

语义分割为图像分配像素级稠密标签,对场景理解具有重要作用,是视觉研究核心任务之一,涉及自动驾驶、医学成像等实际应用.现有基于深度神经网络的图像语义分割方法的训练需要大量标记数据,这些数据的收集和标记成本高昂,这很大程度上限制了此类方法的实际应用.为解决此问题,这里使用成本较低的计算机生成并标记的逼真的合成数据训练深度神经网络.但真实图像与合成图像在分布域上存在的差异会降低模型性能,因此这里使用一种对抗学习方法来实现域的自适应,以解决上述问题.又因为语义分割的结构化输出描述了源域与目标域的空间相似性,所以这里选择在语义分割的输出空间上实现域自适应方法.在此基础上,这里又于不同级别的空间构建多级域自适应网络以提升模型性能.     

基于深度学习的微流体液滴特征检测方法

微流体液滴可以作为一个进行生化反应的微容器,在生物、化学、医学等领域有着广泛的应用前景。近年来,深度学习越来越多地被用于微流体测量,如利用微流体液滴图像测量流体的速度、浓度。通过分析T型微通道基本流型,发现已经形成的液滴及其生成过程挤压-滴状区具有不同的特征。通过一个基于深度学习的多语义分割网络,可以得到不同的分散相区域,从而精确捕捉不同流态下液滴、挤压-滴状区的特征。微流体液滴语义分割网络的输入输出均为RGB图像,利用3个跳跃结构和padding操作的解码编码卷积神经网络,实现了从图像到图像的语义分割。结果表明,建立的方法除了精确测量液滴的位置、大小和速度信息等参数外,还可对液滴生成过程中连续相液膜厚度、液滴头部宽度和高度等参数进行表征。该方法的建立可为研究液滴生成机制提供帮助。     

语义分割网络的 FPGA 加速计算方法综述

随着深度学习技术的发展和图像场景理解需求的提升,基于现场可编程门阵列(field programmable gate array, FPGA)部署语义分割网络,为用户提供低延迟、高能效的边缘端智能服务成为研究热点。针对语义分割网络结构中计算和存储密集型特点,构建基于FPGA的定制计算结构是研究的重点问题。鉴于此,本文在归纳总结语义分割网络基本原理和计算结构特点的基础上,分别从面向硬件资源约束的模型压缩方法和定制硬件架构设计两个角度阐述基于FPGA的语义分割网络加速计算方法,并重点对硬件架构设计中的计算结构设计和内存访问优化的典型方法进行总结。最后,展望了语义分割网络FPGA加速计算方法的发展趋势,以期为语义分割、边缘计算、定制高能效计算以及其他相关领域的研究者提供设计参考。     

动态场景下基于光流的语义RGBD-SLAM算法

为解决传统的同时定位与建图算法在复杂动态环境下容易受到动态目标干扰而导致定位精度差和建图错误的问题,提出了一种动态场景下基于光流的语义RGBD-SLAM算法。首先,通过优化的二维相邻帧透视矫正方法,对当前帧进行透视矫正以补偿相机运动;然后,将矫正后的图像输入RAFT-S网络中,在获得低分辨率的稠密光流场后提取动态目标的掩码,并根据上一帧掩码中动态目标的位置和速度信息,对当前掩码中的动态区域进行跟踪和优化,从而提取动态目标在每一帧中的精确区域;最后,分离静态和动态特征点,通过最小化静态特征点的重投影误差,得到优化后的相机位姿,并结合轻量级语义分割网络BiSeNetv2提供的语义信息和相机提供的深度信息,构建无人的静态语义八叉树地图。公开数据集TUM上的测试结果表明,本文算法的绝对轨迹误差相对于ORB-SLAM2减少了90%以上,并能获取精确的动态区域掩码以及准确的语义地图,验证了该算法在复杂动态场景中具有良好的定位精度和鲁棒性。