基于语义分割的室外场景识别技术研究

针对于场景识别问题,提出一种基于开源的室外场景数据集以及自定义采集的数据集在deepLabV3+深度学习模型上进行实验,并运用一种改进的K-近邻算法对DeepLabV3+深度学习模型进行优化.与现有的测试数据集的方法不同,省去了对数据集进行标签的工作,减少了大量的前期准备工作,提高了模型的计算效率以及分类模型的准确率和...     

道路场景物体识别模型研究

随着科技的发展与进步,人工智能已逐渐成为新一轮产业变革的核心驱动力,其中自动驾驶领域被给予了前所未有的关注。基于深度学习算法,设计了一个道路场景物体识别模型。首先为数据集制作,收集道路场景数据,做数据增强操作;其次,设计道路场景物体识别方案,选取深度学习网络VGG16和SSD框架进行构建;再次,将传统的车道线检测算法与深度学习物体识别算法相结合,使得模型在识别车辆、行人、动物等物体的同时,进行车道线检测,增加了模型检测功能;最后,在不同的天气,光照环境下,对模型进行测试。测试结果表明,设计的道路场景物体识别模型具有较好的检测识别效果,在光照变化和天气影响下,亦能达到较高的准确率。     

采用改进DeepLab网络的遥感图像分割

基于深度学习的语义分割方法具有较好的应用前景,但针对海量的遥感数据,深度学习算法在训练速度上仍有较大提升空间。在前人研究基础上,提出一种改进的全卷积网络,改进的网络以DeepLab为网络前端,结合Inception结构,在不降低特征提取能力的前提下,通过减少网络参数数量,降低网络运算复杂度,有效提升了网络的训练速度。基于INRIA Aerial Image Dataset高分辨率航空遥感数据集开展语义分割对比实验,实验结果显示改进的网络在训练速度和精度上均较DeepLab网络有所提升。所提出的改进DeepLab网络对为处理数据量庞大的遥感影像提供了可参考的解决方案。     

基于强化语义流场和多级特征融合的道路场景分割方法

自动驾驶是目前计算机视觉任务中难度较大的一类任务,而道路场景下的语义分割是自动驾驶的核心技术之一.本文针对经典分割网络中分辨率恢复方式简单,导致细节信息不完整、目标边缘模糊的问题,提出一种基于强化语义流场的上采样方法.该方法通过学习相邻特征图之间的语义流场,使生成图语义信息更细致,边界处更清晰.同时针对道路场景中目标尺...     

基于深度卷积神经网络的道路场景理解

在无人驾驶技术中,道路场景的理解是一个非常重要的环境感知任务,也是一个很具有挑战性的课题。提出了一个深层的道路场景分割网络（Road Scene Segmentation Network,RSSNet）,该网络为32层的全卷积神经网络,由卷积编码网络和反卷积解码网络组成。网络中采用批正则化层防止了深度网络在训练中容易出现的“梯度消失”问题;在激活层中采用了Maxout激活函数,进一步缓解了梯度消失,避免网络陷入饱和模式以及出现神经元死亡现象;同时在网络中适当使用Dropout操作,防止了模型出现过拟合现象;编码网络存储了特征图的最大池化索引并在解码网络中使用它们,保留了重要的边缘信息。实验证明,该网络能够大大提高训练效率和分割精度,有效识别道路场景图像中各像素的类别并对目标进行平滑分割,为无人驾驶汽车提供有价值的道路环境信息。     

基于NVIDIA Jetson TX2的道路场景分割

图像语义分割是计算机视觉领域重要研究方向之一,其中基于深度学习的语义分割相较于传统分割算法更为高效可靠,可应用于交通监控、自动驾驶等领域的场景理解阶段.但复杂的分割网络在嵌入式平台上的推理速度较低,难以进行实际应用.因此针对交通监控、无人驾驶等应用背景,在嵌入式平台NVIDIA Jetson TX2上,采用基于深度卷积编解码器结构的图像分割网络,对道路场景进行语义分割,并基于NVIDIA的推理加速器TensorRT2,完成网络模型简化、网络自定义层添加与CUDA并行优化,实现了对网络推理阶段的加速.实验结果表明,加速引擎在TX2上的推理速度约为原模型的10倍,为复杂分割网络在嵌入式平台上的应用提供了支持.     

用于场景识别的多尺度注意力网络

寻找场景中的有效信息是场景识别领域中的关键性问题.针对构建场景图像的有效表示,提出了一种基于多尺度注意力网络的场景识别方法.通过在模型中融入改进的通道注意力结构,获得值得关注的局部特征和全局特征;同时针对空间注意力计算过程中的信息丢失问题,提出了基于不同尺度的空间注意力结构,利用特征互补得到场景图像的最终表示;并且引入...     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点.但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈.据此,提出了一种基于金字塔场景分析网络(PSPNet)的网络改进结构,在特征学习模块中将输入图在原残差网络(ResNet)的基础上通过在网络内部...     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络.为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块.该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使...     

多尺度特征提取的道路场景语义分割

道路场景语义分割是自动驾驶系统的重要组成部分.道路场景中环境复杂、物体种类繁多且尺寸差异较大,已有的全卷积神经网络(FCN)特征提取能力不足,导致语义分割精度较低.对此,提出一种多尺度特征提取网络(Multi-scale Feature Extraction Network,MFNet),该网络采用并行的特征提取模块提取不同尺度下的不变特征,增强特征多样性,通过逐层的反卷积操作,将特征上采样恢复至原始图像大小,设计分级训练方法并优化loss函数.在多个公开数据集上对该算法进行评估,取得了良好的分割效果.     

基于串联空洞卷积神经网络的网球场景语义分割

室外网球场实景环境下的语义分割是开发网球运动服务机器人需要解决的一项关键技术.针对室外网球场环境由于光照、视角等因素的变化导致难以进行精细分割的问题,提出一种基于Deeplabv3架构的串联空洞卷积神经网络SACNet.该模型扩展了空洞卷积的多尺度模块,通过奇偶混合扩张率增大训练中特征图感受野,利用分组卷积减小SACNet模型时空复杂度.为克服小样本训练容易过拟合的问题,在经过预训练残差神经网络ResNet-50的基础上,通过冻结批量归一化(BN)层进行迁移学习.在自制小样本网球场数据集上进行实验结果表明,SACNet比现有Deeplabv3模型在测试精度提高了10.22%,且对于网球场边界和小目标语义分割结果更加准确.     

场景文字识别算法的研究

文字识别是一种通用的图像理解技术,对信息检索、车牌识别和自动驾驶等应用的研究有着重要意义。随着神经网络的伟大复兴,场景文字识别任务得到了很大推动,近年来涌现了许多基于深度学习的文字识别算法。本文提出了一种基于特征融合的CRNN改进算法,使用三个通用的文字识别数据集从识别准确率、运行效率和模型大小三个方面进行分析。实验结果表明该算法在提高准确率的同时,运行效率也有所提高。     

基于自动驾驶场景的目标检测算法DFSSD

为了提高单阶段目标检测算法对小目标和重叠目标的检测性能,使其能够应用到自动驾驶场景中,提出一种基于SSD（Single Shot Multibox Detector）的深度特征融合算法DFSSD（Deep Fusion based Single Shot Multibox Detector）。DFSSD主要从两个角度对SSD算法进行改进：一方面提出一种高效的特征融合方式,在不引入大量参数和过多计算量的情况下,增强了模型的特征表达能力和对困难小目标的检测能力;另一方面引入一种带噪声的训练方式,即在训练时,随机地将样本中未标记的困难正例目标（不易分辨的正例目标）加入训练,以提高算法对复杂背景的抗干扰能力,降低对困难小目标的误检率。在PASCAL VOC2007测试集上,DFSSD300比SSD300的mAP（mean Average Precision）提升了3.7个百分点,在KITTI数据集上,Car类困难目标的AP（Average Precision）值提升了5个百分点,同时与SSD300具有相当的检测速率。     

基于主题模型对象判别特征的场景识别

为了解决场景识别中存在的类内差异性与类间相似性问题,提出一种基于主题模型的对象判别特征的场景识别方法。首先,使用双卷积神经网络模型提取图像的全局空间特征和对象特征;然后用主题模型的方法对对象特征进行描述,将非欧几里得空间中的判别向量投影到欧几里得空间,得到对象判别图像描述符;最后将全局空间特征和对象判别图像描述符相融合,并采用分类器进行分类。实验结果表明,所提出的方法具有更好的场景分类性能。     

基于多层信息融合的实时语义分割 及其在电力场景中的应用

语义分割是计算机视觉的一项基础工作。本文提出一种新型的结合点卷积与空洞卷积的上采样结构,并基于该结构设计一个能融合多层信息的实时语义分割模型。该模型在Cityscapes数据集上的mIoU能达到72.1%,对于640×360的输入图像,运行速度能达到125 fps,同时该模型在电力场景数据集下也有很好的效果。此外,本文还将该模型移植到移动端,实现一款基于语义分割的电力场景增强现实应用。     

基于新型编解码网络的复杂背景航拍图像输电线识别

针对常规图像处理和现有语义分割方法从航拍图像中识别输电线速度慢、准确率低等问题,构建了新型高效的输电线识别编解码网络。为减少模型参数,提高计算效率,采用轻量级MobileNetV3作为编码器主干特征提取网络,并在浅层引出快捷链路与深层进行堆叠;通过金字塔池化模块(PSP)和深度可分离卷积构建解码器提高输电线多尺度特征复用能力并实现网络轻量化;采用跳跃连接结构级联编码器和解码器从而融合浅层和深层多尺度特征信息;利用迁移学习加快网络训练收敛速度并识别出输电线。实验结果表明,新型编解码网络能准确快速地识别出复杂背景下的输电线,MPA、MIOU和FPS分别达到了94.37%、86.95%和31帧每秒,识别精度和速度均优于UNet网络和PSPNet网络。     

基于改进全局—局部注意网络的室内场景识别方法

由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。     

基于RGB-D图像的语义场景补全研究综述

近年来随着计算机视觉领域的不断发展,三维场景的语义分割和形状补全受到学术界和工业界的广泛关注.其中,语义场景补全是这一领域的新兴研究,该研究以同时预测三维场景的空间布局和语义标签为目标,在近几年得到快速发展.对近些年该领域提出的基于RGB-D图像的方法进行了分类和总结.根据有无使用深度学习将语义场景补全方法划分为传统方法和基于深度学习的方法两大类.其中,对于基于深度学习的方法,根据输入数据类型将其划分为基于单一深度图像的方法和基于彩色图像联合深度图像的方法.在对已有方法分类和概述的基础上,对语义场景补全任务所使用的相关数据集进行了整理,并分析了现有方法的实验结果.最后,总结了该领域面临的挑战和发展前景.     

基于改进Criminisi算法的自动驾驶仿真道路场景图像修复

利用真实图像生成虚拟驾驶场景视图时,首先要从图像中移除车辆、行人等前景目标,以便获得不包含移动目标的背景图像。针对原始Criminisi算法存在的图像破损区域在修复后会出现模糊效应、边界不够平滑的弊端,提出了一种在处理掩膜图像环节使用开运算,并优化原始优先权函数的改进算法。运用MATLAB仿真平台进行实验分析,结果表明改进后算法修复时间平均缩短了16.5 s,峰值信噪比平均高出原算法1.65 dB。该算法还原了图像中更多的道路信息,弥补了Criminisi算法的不足。     

改进U-Net模型的无人机影像在建道路分类

针对无人机影像背景复杂,城市在建道路分类易被相似目标、建设设施等信息干扰的问题,提出了基于改进U-Net模型的无人机影像在建道路提取模型。为获取更深层次的边界细节信息,采用Res2net结构分阶替换原有U-Net网络的卷积层,提高网络下采样深度;增加CBAM双注意力机制模块引于各分块特征信息之后,对空间和通道进行重新校准,强调道路特征,校正模型参数;引入改进的Dense ASPP模块,与前层次的细节信息拼接,增强道路区域上下文信息的获取能力。结果表明,所提出的改进U-Net网络训练的提取模型在精确率、召回率、F1分值、平均交并比等评价指标上,均优于传统的U-Net、DeeplabV3+、HRnet等网络模型,可有效提取建设道路各阶段信息,针对在建道路项目的施工进度监测提供方法支持。