基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征（如颜色特征、纹理特征、空间关系特征等）不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法（Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR）.该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络（GCNs）算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络（IndRNN）算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.     

面向嵌入式平台的车道线检测方法

车道线检测在自动驾驶和高级辅助驾驶中起着举足轻重的作用,然而,传统的车道线检测技术鲁棒性较差,而大多数基于深度学习的方法复杂度又较高,难以在嵌入式平台实时应用。提出一种面向嵌入式平台的轻量级车道线检测网络,将车道线检测转化为语义分割问题,该网络借鉴U-Net与Segnet网络结构,使用了小尺度卷积等轻量化组件设计计算高效的语义分割网络。在检测车道线的基础上,计算车辆距离两侧车道线的距离,以及车道线的曲率,同时当车辆偏离车道线或检测出现异常时进行预警,最后将整个系统移植到海思平台。实验结果表明:该系统具有较高的检测精度以及检测速度,准确率达到97.5%,速度达到50 FPS,满足实时性要求,因此该系统能够用于面向嵌入式平台的实时车道线的检测、测距、曲率计算以及预警。     

结构化道路车道线的鲁棒检测与跟踪

针对智能车在视觉导航过程中车道线检测的鲁棒性和实时性问题,提出一种适用于结构化道路的车道线鲁棒检测与跟踪方法。首先,简化的Sobel算子提取车道线边缘图像,将边缘图像与改进的Otsu方法得到的车道线分割图像进行融合,实现对车道线标记点的鲁棒检测;然后,采用迭代最小二乘方法拟合车道线标记点并去除干扰点,并根据拟合参数建立车道线模型;最后,引入尺度无迹卡尔曼滤波(SUKF)对车道线进行跟踪。通过对多段实地采集的视频进行了仿真实验,结果表明,该方法对于高速公路车道线的检测率可达到99%,并具有较好实时性能;对于受损和弄污的城市道路车道线也体现出较好的鲁棒性和时间性能。     

结合局部增强与反向残差的点云语义分割网络北大核心CSCD

激光点云是3D传感器的输出,且对它的语义分割任务是理解真实世界的基础。基于图卷积的点云分割网络在许多场景下都展现了优异的性能。然而,现有的图卷积方法存在部分问题:点云局部表示的能力未得到加强,忽略了全局几何信息,并且聚合操作只保留局部最大响应值信息,而次最大值信息丢失。为了处理这些问题,本文提出GRes-Net网络。利用局部几何加强(Local Geometry Augment,LGA)模块,使网络对Z轴具有旋转不变性,以便加强点云局部信息表示;采用全局几何特征(Global Geometry Feature,GGF)模块,计算局部与全局的球体体积比,将其与坐标特征X进行连接,使全局几何信息特征得以保留;通过多个对称聚合操作将局部信息多方面地保留;网络中每层都使用残差操作,将上一层信息传递到下一层,以及利用反向残差模块(Reversed Residual MLP,RevResMLP)挖掘更深层次的语义信息。本文在S3DIS数据集上进行语义场景分割实验,验证网络分割的性能。实验结果表明该方法在分割精度上达到61%,相比于基准网络DGCNN提高14%,有效地提高了模型性能。     

利用卷积神经网络的车道线检测方法

车道线检测是自动或智能辅助驾驶的核心问题之一。本文主要研究单目视觉下车道线检测算法。车道线具有多样性,其存在的环境又具有复杂性,因此准确高效车道线检测是一个具有挑战性的问题。本文提出了一种新的车道线检测算法,在传统车道检测方法中引入深度学习模型,主要包括下了步骤:首先使用基于车道线先验特征的图像增强算法进行边缘增强,对于边缘增强后的图像采用线段检测器进行线段提取,然后利用卷积神经网络构造线段分类器排除线段噪声,最后通过对消失点聚类排除无关线段,并按斜率聚类产生主车道线。实验表明,本文实现的算法具备较强的鲁棒性和很高的检测准确度。      

基于体素化图卷积网络的三维点云目标检测方法

针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅提升了网络的目标检测能力,并且提高了点云拓扑信息的分析能力。文中设计的方法在KITTI公开数据集的车辆、行人、骑行者的3D目标检测和鸟瞰图目标检测任务的检测性能相比基准网络均有了有效提升,尤其在车辆3D目标检测任务上最高提升了13.75%。实验表明:该方法采用图卷积特征提取模块有效提高了网络整体检测性能和数据拓扑关系的学习能力,为三维点云目标检测任务提供了新的方法。     

Fast Non-Local Attention network for light super-resolution

Although convolutional neural network-based methods have achieved significant performance improvement for Single Image Super-Resolution (SISR), their vast computational cost hinders real-world environment application. Thus, the interest in light networks for SISR is rising. Since existing SISR light models mainly focus on extracting fine local features using convolution operation, they have a limitation in that networks hardly capture global information. To capture the long-range dependency, Non-Local (NL) attention and Transformers have been explored in the SISR task. However, they are still suffering from a balancing problem between performance and computational cost. In this paper, we propose Fast Non-Local attention NETwork (FNLNET) for a super light SISR, which can capture the global representation. To acquire global information, we propose The Fast Non-Local Attention (FNLA) module that has low computational complexity while capturing global representation that reflects long-distance relationships between patches. Then, FNLA requires only 16 times lower computational cost than conventional NL networks while improving performance. In addition, we propose a powerful module called Global Self-Intension Mining (GSIM) that fuses the multi-information resources such as local, and global representation. Our FNLNET shows outstanding performance with fewer parameters and computational costs in the experiments on the benchmark datasets against state-of-the-art light SISR models.     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

基于语义分割的多目标违禁品识别算法

基于深度学习的语义分割算法可以实现安检违禁品自动识别,并获得违禁品的位置、类别及形状信息。但传统的语义分割算法在面对违禁品尺寸不一且目标多样的识别任务时表现较差。针对该问题,本文提出了一种基于语义分割技术的多目标违禁品识别算法。编码阶段,设计使用空洞空间金字塔卷积模块（Atrous Spatial Pyramid Convolution Block, ASPC）,提升网络对于特征图多尺度信息的挖掘能力。同时引入注意力机制,对ASPC模块的特征提取过程进行监督,进一步提升模块的特征提取能力。解码阶段,受U-Net模型启发,采用逐级上采样操作,同时加入1×1卷积实现通道降维,减少计算量,提升模型运行速度。实验结果显示,本文提出的算法在多目标违禁品识别任务中表现良好,平均交并比（mIoU）得分78.62,处理单张图片用时（Time）68ms。      

基于多尺度偶数卷积注意力U-Net的医学图像分割

为了提高U-Net网络性能的同时尽可能减少额外计算量,本文提出了一种新的多尺度偶数卷积注意力UNet(Multiscale Even Convolution Attention U-Net,MECAU-Net)网络。该网络在编码端采用2×2偶数卷积代替3×3卷积进行特征提取,并借鉴多尺度思想,采用4×4偶数卷积将得到的信息直接传递给主干部分,以获取更全面的图像信息并减少额外计算开销,同时还采用对称填充解决偶数卷积提取信息过程中产生的偏移问题。此外,在2×2偶数卷积模块后加入卷积注意力模块,结合空间和通道注意力,在提取更丰富的信息的同时几乎不增加额外开销。最后,在两个医学图像数据集上进行仿真实验,实验结果表明提出的MECAU-Net网络相对于U-Net在稍微增加计算成本的情况下,分割性能得到了较大的提升,并比其他对比网络取得更好的分割性能的同时还降低了参数量。     

基于编解码和局部增强的光电图像分割算法

针对光电图像语义分割问题,提出了一种基于编解码(Encoder-Decoder)结构和图像局部增强的分割算法。首先,采用基于互质因子的空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块减小多尺度空洞卷积(Atrous Convolution)引入的网格效应,提升卷积核的像素近邻信息表征能力;其次,对分割难度较大的图像局部区域,采用融合平均交并比(Mean Intersection Over Union,MIOU)和交叉信息熵的损失函数,结合权值衰减策略,提高这些局部区域的像素权重。实验结果表明,提出的改进算法能有效提升图像语义分割精度。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

Real-time road surface and semantic lane estimation using deep features

In this article, we present a robust real-time road surface and semantic lane marker estimation algorithm using the deconvolution neural network and extra trees-based decision forest. Our proposed algorithm simultaneously performs three environment perception tasks on colour and depth images, even under challenging conditions, namely road surface estimation, lane marker localization, and lane marker semantic information estimation. The lane marker semantic information implies the lane marker type such as dotted lane marker or continuous lane marker. The task of road surface estimation is performed with a trained deconvolution neural network. For the lane marker localization task, a scene-based extra trees regression framework is used to localize the lane markers in the given road. To account for the variations in the number and characteristics of the lane markers in the road scene, multiple regression models indexed with scene labels are used. The pre-defined scene labels correspond to the lane marker variations in a given scene, and an extra trees-based classification model is trained to estimate them from the road features. The road features, given as an input to the extra trees frameworks, are extracted from the road image using the trained filters of the deconvolution network. The proposed algorithm is validated using multiple acquired datasets. A comparative analysis is also conducted with baseline algorithms, and an improved accuracy is reported. Moreover, a detailed parameter evaluation is also performed. We report a computational time of 90 ms per frame.     

基于优化Inception V1的视频火焰超像素检测方法

针对传统火焰检测模型的检测准确度较低和速度慢等问题,提出一种优化的卷积神经网络和超像素分割算法的视频火焰区域检测方法.首先使用火焰图像数据集对模型进行训练和验证,采用卷积核堆叠替换的方法改进Inception模块的结构;其次采用小卷积核替换的方法改进网络的前端结构,并将Focal-Loss函数作为损失函数以提高模型的泛...     

基于改进ERFNet的无人直升机着舰环境语义分割

为增强无人直升机对着舰环境的感知理解,促进其安全高效地实现自主着舰,将ERFNet网络模型应用于无人直升机着舰场景语义分割任务中。首先,结合非对称残差模块和弱瓶颈模块对ERFNet网络模型进行改进,提高运行速度、减少精度损失;其次,利用MultiGenCreator和VegaPrime等技术开发无人机自主着舰仿真系统,并建立无人机自主着舰场景数据集;最后,采用PyTorch深度学习框架实现网络模型,采取模型再训练方法对网络进行学习和训练。实验结果表明,所提网络综合优势明显,平均交并比(Mean Intersection over Union,MIOU)达到76.35%,前向传播时间为22.37 ms。     

结合空洞可分离卷积的多尺度医学影像分割算法

传统U-Net语义分割模型在医学影像领域具有广泛的应用,但该模型的准确率受限于单一尺度的预测模式以及上下采样引起的信息丢失。针对上述问题,本文基于U-Net编码—解码架构以及空洞可分离卷积提出了一种高低层级信息丰富的多尺度医学影像语义分割算法,该算法由特征提取网络以及多尺度语义分割预测网络两部分构成。特征提取网络使用空洞可分离卷积和类残差块分别替换原U-Net中上、下采样以及卷积块,在增加感受野的同时使信息得到最大化的保留;提出一个通道注意力机制,强化目标核心特征的表达以及无关背景区域的抑制;在多尺度上挖掘带有图像级全局上下文的卷积特征,进一步提高分割性能。本文在采集的胚胎以及DRIVE数据集上进行仿真实验,其结果表明,与U-Net及其衍生模型相比该方法具有更高的准确率和鲁棒性。     

多分辨率融合输入的U型视网膜血管分割算法

针对视网膜血管拓扑结构不规则、形态复杂和尺度变化多样的特点,该文提出一种多分辨率融合输入的U型网络(MFIU-Net),旨在实现视网膜血管精准分割。设计以多分辨率融合输入为主干的粗略分割网络,生成高分辨率特征。采用改进的ResNeSt代替传统卷积,优化血管分割边界特征;将并行空间激活模块嵌入其中,捕获更多的语义和空间信息。构架另一U型精细分割网络,提高模型的微观表示和识别能力。一是底层采用多尺度密集特征金字塔模块提取血管的多尺度特征信息。二是利用特征自适应模块增强粗、细网络之间的特征融合,抑制不相关的背景噪声。三是设计面向细节的双重损失函数融合,以引导网络专注于学习特征。在眼底数据用于血管提取的数字视网膜图像(DRIVE)、视网膜结构分析(STARE)和儿童心脏与健康研究(CHASE_DB1)上进行实验,其准确率分别为97.00%, 97.47%和97.48%,灵敏度分别为82.73%, 82.86%和83.24%,曲线下的面积(AUC)值分别为98.74%, 98.90%和98.93%。其模型整体性能优于现有算法。     

基于双解码路径DD-UNet的脑肿瘤图像分割算法

针对医学图像中病灶区域尺度不一、边界模糊和周围组织强度不均匀所导致的分割精度降低问题,提出了一种基于双解码器的脑肿瘤图像分割模型。为了增强特征的表征力,提出了高阶微分残差模块并使用不同空洞率的扩张卷积用于提取特征编码,提高了网络模型的分割性能;引入上下文语义信息感知模块(multi scale dilation, MSD),从不同的目标尺度中提取更多的精细信息,提高了对结构细节信息的捕获能力,同时减少了编解码器之间的特征差异;在空间解码路径中使用选择性聚合空间注意力模块(spatial aggregation attention module, SAAM),增加了对有效空间特征的权重比例,减少了无效的特征干扰。在脑肿瘤数据集上进行了实验验证,实验结果表明,所提算法的Dice系数、平均交并比、敏感性、特异性、准确率等指标分别为：93.35%、90.71%、91.15%、99.94%、96.75%。