基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

基于残差网络的小型车辆目标检测算法

城市道路中车辆检测与识别对于提升交通安全,发展智能化交通具备非常重要的意义。传统的检测方式依赖于人工提取的特征,已难以适用于复杂多变的交通场景,存在识别精确度低、时间复杂度高等缺陷。深度学习模型可以自动提取有用特征,泛化能力强,但难以对相似型车辆进行更加精细的分类,为此提出一种基于残差网络的小型车辆目标检测算法。算法将传统卷积神经网络的连接形式改为一种基于局部连接和权值共享的残差连接模式,同时更改网络结构控制参数数量,将图片不同层次的特征融合计算,应用感兴趣区域池化层规格化前层特征,最后经过分类层和回归层得到目标框的置信度以及修正参数。实验表明,改进模型能够在保证时间效率的前提下增强网络的学习能力,提高平均精度,在相似小型车辆的检测问题上取得了良好的检测结果。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

基于改进YOLOv3的快速车辆检测方法

对图像或视频数据中的车辆进行检测是城市交通监控中非常重要并且具有挑战性的任务。该任务的难度在于对复杂场景中相对较小的车辆进行精准地定位和分类。针对这些问题，提出了一个单阶段的深度神经网络（DF-YOLOv3），实现城市交通监控中不同类型车辆的实时检测。DF-YOLOv3对传统的YOLOv3算法进行改进，首先增强深度残差网络提取车辆特征，然后设计6个不同尺度的卷积特征图，并与残差网络中相应尺度的特征图进行融合，形成最终的特征金字塔执行车辆预测任务。在KITTI数据集上的实验表明，提出的DF-YOLOv3方法在精度和速度上均能获得较高的检测性能。具体地，对于512×512分辨率的输入模型，基于英伟达1080Ti GPU，DF-YOLOv3获得93.61%的mAP（均值平均精度），速度达到45.48 f/s（每秒传输帧数）。特别地，对于精度，DF-YOLOv3比Fast R-CNN、Faster R-CNN、DAVE、YOLO、SSD、YOLOv2、YOLOv3与SINet表现更好。     

改进U-Net网络的多视觉图像特征张量分割仿真

针对图像分割计算量大、噪声因素影响等问题,提出改进U-Net网络的多视觉特征图像分割方法。对同一窗口中的灰度值排序,计算像素点极大值与极小值,根据角度与像素点的关系,检测噪声点,将被污染的噪声点放入集合中,使用其它像素点替换该点,完成滤波;分别从颜色、纹理与形状三个方面提取图像的多视觉特征,为图像分割提供参考依据;利用编码器、解码器和跳跃连接层建立U-Net网络,将提取的特征作为网络输入,新增深度残差模块,经过残差学习,实现特征映射;引入注意力模块,减少特征维度,确定张量权重,利用池化层拼接特征维度,输出最终分割特征张量。实验结果表明,所提方法对于分割目标的敏感度较高,不容易出现过分割与欠分割现象。     

改进U-Net网络的遥感影像道路提取方法研究

从遥感影像中提取道路目标对智慧城市建设具有重要意义。由于遥感数据中道路及背景特征复杂多样,使用深度学习方法对道路进行提取的准确性仍然受到限制。基于U-Net网络架构设计实现了用于遥感影像道路提取的深度语义分割模型AS-Unet,该模型分为编码器和解码器两部分。在编码器部分加入通道注意力机制,对提取的丰富低层特征进行筛选,突出目标特征,抑制背景噪声干扰,从而提高深浅层信息融合准确率;为解决网络对道路目标单一尺寸的敏感问题,在编码器最后一层卷积层后面加入空间金字塔池化模块来捕获不同尺度道路特征;在解码器部分加入空间注意力机制,进行位置关系信息学习和深层次语义特征筛选,提高特征图还原能力。在Massachusetts和DeepGlobe道路数据集上进行实验,结果证明,在召回率、精度、[F1]值等评估指标上,明显优于SegNet、FCN等语义分割网络。所设计的AS-Unet网络性能优良,具有更高的分割准确率,具备一定理论和实际应用价值。     

一种道路车辆监控视频中的关键帧提取方法

针对道路监控视频中特定车辆图像序列的关键帧提取问题,在运动对象检测的基础上,提出一种关键帧提取方法。将积分通道特征和面积特征作为图像特征描述子,结合Ada Boost训练分类器,实现道路监控视频车辆序列图像中关键帧的提取。通过运动对象前景检测技术获得出现在监控区域的运动车辆最小外接矩形图像序列,选择满足监控分析需求(车牌清晰度高,能判断车型)的若干帧作为正样本,其他不满足监控分析需求的作为负样本,提取样本图像的面积特征和积分通道特征,利用Ada Boost方法训练得到一个分类器,使用Ada Boost分类器对测试样本进行分类,根据打分规则提取关键帧。实验结果表明,该方法能提取运动车辆从进入到离开监控区域的序列图像帧中最清晰的图像,实现道路车辆监控视频分析数据的有效压缩。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

一种高精度路面裂缝检测网络结构:Crack U-Net

路面裂缝对行车安全有很大的潜在威胁,以往的人工检测方法效率不高。现有裂缝检测方法模型泛化能力低,在复杂背景下的裂缝分割能力差且效率不高。为了解决这些问题,文中提出了一种基于编码器-解码器结构的新改进型网络结构CrackU-Net,目的是提高路面裂缝检测的模型泛化性以及检测精度。首先,Crack U-Net用密集连接结构增强了基于编码器-解码器的网络U-Net模型,在以往结构的基础上提高了网络各层特征信息利用率,增强了模型的鲁棒性;其次,Crack U-Net使用由残差块和mini-U组成的CrackU-block作为网络的基础卷积模块,相比传统双层卷积层,Crack U-block可以提取出更丰富的裂缝特征;最后,在Crack U-Net的下采样节点中使用了空洞卷积替代传统卷积核,以充分捕获图像边缘的裂缝特征。为验证Crack U-Net模型的有效性,在公开裂缝数据集上进行了一系列测试。实验结果显示,CrackU-Net在数据集上的AIU值比以往方法提升了2.2%,在裂缝分割精度、泛化性上都优于现有方法。另外,参数轻量化部分的实验证明,CrackU-Net可以进行很大程度的模型剪枝,无...     

Bi-branch deconvolution-based convolutional neural network for image classification

With the rise of deep neural network, convolutional neural networks show superior performances on many different computer vision recognition tasks. The convolution is used as one of the most efficient ways for extracting the details features of an image, while the deconvolution is mostly used for semantic segmentation and significance detection to obtain the contour information of the image and rarely used for image classification. In this paper, we propose a novel network named bi-branch deconvolution-based convolutional neural network (BB-deconvNet), which is constructed by mainly stacking a proposed simple module named Zoom. The Zoom module has two branches to extract multi-scale features from the same feature map. Especially, the deconvolution is borrowed to one of the branches, which can provide distinct features differently from regular convolution through the zoom of learned feature maps. To verify the effectiveness of the proposed network, we conduct several experiments on three object classification benchmarks (CIFAR-10, CIFAR-100, SVHN). The BB-deconvNet shows encouraging performances compared with other state-of-the-art deep CNNs.     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

改进U-Net型网络的遥感图像道路提取

目的 遥感图像道路提取在城市规划、交通管理、车辆导航和地图更新等领域中发挥了重要作用,但遥感图像受光照、噪声和遮挡等因素以及识别过程中大量相似的非道路目标干扰,导致提取高质量的遥感图像道路有很大难度。为此,提出一种结合上下文信息和注意力机制的U-Net型道路分割网络。方法 使用Resnet-34预训练网络作为编码器实现特征提取,通过上下文信息提取模块对图像的上下文信息进行整合,确保对道路的几何拓扑结构特征的提取;使用注意力机制对跳跃连接传递的特征进行权重调整,提升网络对于道路边缘区域的分割效果。结果 在公共数据集Deep Globe道路提取数据集上对模型进行测试,召回率和交并比指标分别达到0.847 2和0.691 5。与主流方法U-Net和CE-Net（context encoder network）等进行比较,实验结果表明本文方法在性能上表现良好,能有效提高道路分割的精确度。结论 本文针对遥感图像道路提取中道路结构不完整和道路边缘区域不清晰问题,提出一种结合上下文信息和注意力机制的遥感道路提取模型。实验结果表明该网络在遥感图像道路提取上达到良好效果,具有较高的研究和应用价值。     

基于密集连接卷积神经网络的道路车辆检测与识别算法

针对现有道路车辆检测识别算法中存在的检测精度不高、实时性差以及小目标车辆漏检等问题,提出一种基于密集连接卷积神经网络的道路车辆检测与识别算法。首先,基于YOLOv4网络框架,通过采用密集连接的深度残差网络结构,加强特征提取阶段的特征复用,实现对浅层复杂度较低的特征的利用;然后,在多尺度特征融合网络引入跳跃连接结构,强化网络的特征信息融合和表征能力,以降低车辆漏检率;最后,采用维度聚类算法重新计算先验框尺寸,并按照合理的策略分配给不同检测尺度。实验结果表明,该算法在KITTI数据集上获得了98.21%的检测精度和48.05 frame/s的检测速度,对于BDD100K数据集中复杂恶劣环境中的车辆也有较好的检测效果,在满足实时检测要求的同时有效提升检测精度。     

A survey on deep learning-based fine-grained object classification and semantic segmentation

The deep learning technology has shown impressive performance in various vision tasks such as image classification, object detection and semantic segmentation. In particular, recent advances of deep learning techniques bring encouraging performance to fine-grained image classification which aims to distinguish subordinate-level categories, such as bird species or dog breeds. This task is extremely challenging due to high intra-class and low inter-class variance. In this paper, we review four types of deep learning based fine-grained image classification approaches, including the general convolutional neural networks (CNNs), part detection based, ensemble of networks based and visual attention based fine-grained image classification approaches. Besides, the deep learning based semantic segmentation approaches are also covered in this paper. The region proposal based and fully convolutional networks based approaches for semantic segmentation are introduced respectively.     

基于场景理解与改进型BUG算法的移动机器人避障

针对现有移动机器人在视觉避障上存在的局限,将深度学习算法和路径规划技术相结合,提出了一种基于深层卷积神经网络和改进Bug算法的机器人避障方法。该方法采用多任务深度卷积神经网络提取道路图像特征,实现图像分类和语义分割任务;其次,基于语义分割结果构建栅格地图,并将图像分类结果与改进的Bug算法相结合,搜索出最优避障路径;同时,为降低冗余计算,设计了特征对比结构来对避免对重复计算的特征信息,保障机器人在实际应用中实时性。通过实验结果表明,所提方法有效的平衡了多视觉任务的精度与效率,并能准确规划出安全的避障路径,辅助机器人完成导航避障。     

Dual geometric perception for cross-domain road segmentation

Road segmentation plays an important role in navigation systems and autonomous driving. However, many methods in road segmentation are based on supervised learning and suffer from performance degradation in the real world. There is a certain domain gap (distribution shift problem) between the source domain (training data) and the target domain (testing data). In this paper, we propose a Dual-Geometric Perception (DGP) approach for cross-domain road segmentation, which jointly uses semantic and dual-geometric information to learn the domain-invariant feature for road segmentation. First, we propose an RGB-N dual stream network structure, which effectively fuses normal vector information and RGB information to reduce domain gap. Moreover, a dual geometric adversarial learning strategy is proposed to utilize depth-aware and normal vector features to perform better domain alignment. Furthermore, a self-training learning strategy is used to further improve the model’s generalizability in the target domain. Extensive experiments demonstrate that our proposed DGP achieves superior performance on lane-to-lane and lane-to-sidewalk road domain adaptation tasks.     

Fine-tuning deep convolutional neural networks for distinguishing illustrations from photographs

Systems for aggregating illustrations require a function for automatically distinguishing illustrations from photographs as they crawl the network to collect images. A previous attempt to implement this functionality by designing basic features that were deemed useful for classification achieved an accuracy of only about 58%. On the other hand, deep neural networks had been successful in computer vision tasks, and convolutional neural networks (CNNs) had performed good at extracting such useful image features automatically. We evaluated alternative methods to implement this classification functionality with focus on deep neural networks. As the result of experiments, the method that fine-tuned deep convolutional neural network (DCNN) acquired 96.8% accuracy, outperforming the other models including the custom CNN models that were trained from scratch. We conclude that DCNN with fine-tuning is the best method for implementing a function for automatically distinguishing illustrations from photographs.     

视觉导航的旋转不变性图象获取和神经元网络识别方法研究

本文报告了将旋转不变性图象和神经网络用于移动机器人室外道路识别和方向判别的研究结果。本方法采用图象分析技术与自适应的神经元网络相结合；用全方位图象传感器提取图象样本，然后从图象中提取旋转不变性的特征，使用分类网络对道路类型分类，并用其结果选择不同的方向估计神经元网络；分析了神经元网络在选择不同形式的输入数据和不同数目的隐含层结点时的性能。文章给出了在室外环境下拍摄的真实图象实验的结果。