基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。     

基于DeepLabv3+的图像语义分割优化方法

目的为了实现良好的图像语义分割精度,同时尽可能降低网络的参数量,加快网络训练速度,提出基于DeepLabv3+的图像语义分割优化方法。方法编码器主干网络增加注意力机制模块,并采用更密集的特征池化模块有效聚合多尺度特征,同时使用深度可分离卷积降低网络计算复杂度。结果基于CamVid数据集的对比实验显示,优化后网络的MIoU分数达到了71.03%,在像素精度、平均像素精度等其他方面的评价指标上较原网络有小幅提升,并且网络参数量降低了12%。在Cityscapes的测试数据集上的MIoU分数为75.1%。结论实验结果表明,优化后的网络能够有效提取图像特征信息,提高语义分割精度,同时降低模型复杂度。文中网络使用城市道路场景数据集进行测试,可以为今后的无人驾驶技术的应用提供参考,具有一定的实际意义。     

基于多残差网络的遥感图像语义分割方法

高分辨率遥感图像含有许多较为复杂的地物信息,对其进行的语义分割存在分割精度低、分割边界模糊等问题.本文提出一种新型的多尺度语义分割网络模型,旨在提高遥感图像语义分割精度.该模型为编码—解码(Encoder-Decoder)网络结构,编码器利用残差网络对图像特征进行提取;解码器利用反卷积进行上采样;残差连接将提取到的高级...     

基于改进Mask Scoring R-CNN的铲齿磨损检测研究

为了实现在电铲工作过程中对铲齿磨损进行实时检测，防止因铲齿磨损而影响电铲开采效率，提出了一种基于改进Mask Scoring R-CNN（region convolutional neural network，区域卷积神经网络）的铲齿实例分割模型。首先，以ResNet-101（residual network， 残差网络）和改进的FPN（feature pyramid networks，特征金字塔网络）作为主干网络，提取高、低特征层的语义信息和细节特征并融合，结合ROI Align层对局部特征层进行裁剪和归一化处理，以完成目标检测与实例分割；然后，基于获取的铲齿分割效果图以及二值化掩码图形信息，计算实例分割后图像中铲齿部分的像素面积，以判断其磨损情况。结果表明，以ResNet-101和改进FPN为主干网络的铲齿实例分割模型在测试集上的平均像素精度为90.76%，平均交并比为83.62%，相比于以ResNet-101和传统FPN为主干网络的实例分割模型分别提升了1.18%和1.21%。在电铲采掘工作现场进行8次铲齿磨损检测实验，检测到的每颗铲齿的磨损程度波动幅度均小于2%，均方差为0.7左右，说明所提出的实例分割模型对铲齿有较好的分割效果和稳定性，基本满足磨损检测要求。研究结果可为铲齿磨损状态的智能化检测提供新思路。     

面向道路场景语义分割的移动窗口变换神经网络设计

道路场景语义分割是自动驾驶环境感知的一项重要任务。近年来,变换神经网络(Transformer)在计算机视觉领域开始应用并取得了很好的效果。针对复杂场景图像语义分割精度低、细小目标识别能力不足等问题,本文提出了一种基于移动窗口Transformer的多尺度特征融合的道路场景语义分割算法。该网络采用编码-解码结构,编码器使用改进后的移动窗口Transformer特征提取器对道路场景图像进行特征提取,解码器由注意力融合模块和特征金字塔网络构成,充分融合多尺度的语义特征。在Cityscapes城市道路场景数据集上进行验证测试,实验结果表明,与多种现有的语义分割算法进行对比,本文方法在分割精度方面有较大的提升。     

基于注意力机制与Swin Transformer模型的腰椎图像分割方法

腰椎图像的精确分割是腰椎间盘疾病自动化诊断的重要前提,现有的分割方法在实际应用于分割任务时仍然存在无法精确分割的问题.对此,本文提出了一种基于注意力机制与Swin Transformer模型的腰椎图像分割网络模型.该模型在卷积网络中引入Swin Transformer模型,使用移动窗口的Transformer模块对卷积提取的高层语义信息进行全局信息建模;然后使用注意力机制对上采样过程中跳过连接中传递的低级特征施加权重,去除背景信息,最终实现腰椎图像的精细分割.实验结果表明,本文的腰椎图像分割方法相似度系数指标达到91.18％,性能优于UNet及其变型网络模型.     

基于深度学习的图像分类算法框架研究

目的 提高图像分类精度是实现自动化生产的基础,提出一种更加准确的图像分类方法,使自动化包装和生产更加高效.方法 基于ResNeSt特征图组的思想,通过引入通道域和空间域注意力机制,并将自适应卷积核思想和Gem池化引入空间域注意力模块,从而使网络在空间域注意力机制中能够对不同图片使用不同的感受野使其关注更重要的部分,提出一种具有通道域和空间域注意力机制,且具有很好移植性的图像分类网络模型结构.结果 文中方法提高了图像分类准确度,在ImageNet数据集上,top-1准确度为81.39％.结论 文中提出的ResNeSkt算法框架优于目前的主流图像分类方法,同时网络整体结构具有很好的移植性,可以作为图像检测、语义分割等其他图像研究领域的主干网络.     

引入反馈注意力的并行式多分辨率语义分割算法

目的 为了进一步提升语义分割精度,解决当前语义分割算法中特征图分辨率低下,低级信息特征随意丢弃,以及上下文重要信息不能顾及等问题,文中尝试提出一种融合反馈注意力模块的并行式多分辨率语义分割算法。方法 该算法提出一种并行式网络结构,在其中融合了高低分辨率信息,尽可能多地保留高维信息,减少低级信息要素的丢失,提升分割图像的分辨率。同时还在主干网络中嵌入了带反馈机制的感知注意力模块,从通道、空间、全局3个角度获得每个样本的权重信息,着重加强样本之间的特征重要性。在训练过程中,还使用了改进的损失函数,降低训练和优化难度。结果 经实验表明,文中的算法模型在PASCAL VOC2012、Camvid上的MIOU指标分别为77.78%、58.67%,在ADE20K上的也有42.52%,体现了出较好的分割性能。结论 文中的算法模型效果相较于之前的分割网络有一定程度的提升,算法中的部分模块嵌入别的主干网络依旧表现出较好的性能,展现了文中算法模型具备一定的有效性和泛化能力。     

DA-GAN肺结节分割网络研究

为提高肺结节分割的精度,解决分割过程中的隐识别问题,该文提出双注意力生成对抗网络(doubleattention generative adversarial network, DA-GAN),通过在训练过程中捕捉信息的上下文依赖性和局部一致性,实现肺结节分割的高完整度以及高精度。该方法将自注意力机制引入生成器,使高分辨率特征图中的关键信息保留到低分辨率特征图中,实现上下文特征图之间长距离的依赖性,产生病灶区域的特征表示,使得分割图准确地保留肺结节区域,提高分割精度。同时,还强调肺结节区域的局部特征,增强分割结果图中结节位置的准确度。在语义分割的指导下,使用2个独立的判别器来区分肺结节的不同区域,即中心区域和边缘区域。通过在生成器和判别器中引入这两种互补的注意力机制,使网络可以学习到更丰富准确的特征表示,生成更精细的研磨图像,即准确的结节中心和边缘纹理。实验结果表明,对边缘多变且模糊的磨玻璃型结节的分割效果也较以往的算法得到很大程度的提升。通过定量和定性的实验结果证明该方法的有效性,获得约91.27%的像素准确率。     

基于语义信息的场景识别方法研究

在场景识别任务中,由于场景图像类内变化大,类间相似度高,不同场景类别之间表现出相似的外观和对象分布,从而容易导致场景识别任务的失败.为解决该问题,本文提出一种基于语义分割及高效网络相结合的场景识别模型.该模型由语义分支和RGB分支两部分组成,语义分支在语义分割基础上进一步提取图像上下文信息,RGB分支采用高效网络来提取图像的全局特征,通过注意力机制将两个分支的输出特征进行融合,最终输入线性分类器以实现场景识别的预测.将提出的网络模型在ADE20K,MIT Indoor 67和SUN3973个数据集进行训练与测试,实验结果表明,提出的模型可以显著减少网络参数数量,同时提高场景识别的准确率.     

Optimized Deep Learning Model for Fire Semantic Segmentation

Recent convolutional neural networks (CNNs) based deep learning has significantly promoted fire detection. Existing fire detection methods can efficiently recognize and locate the fire. However, the accurate flame boundary and shape information is hard to obtain by them, which makes it difficult to conduct automated fire region analysis, prediction, and early warning. To this end, we propose a fire semantic segmentation method based on Global Position Guidance (GPG) and Multi-path explicit Edge information Interaction (MEI). Specifically, to solve the problem of local segmentation errors in low-level feature space, a top-down global position guidance module is used to restrain the offset of low-level features. Besides, an MEI module is proposed to explicitly extract and utilize the edge information to refine the coarse fire segmentation results. We compare the proposed method with existing advanced semantic segmentation and salient object detection methods. Experimental results demonstrate that the proposed method achieves 94.1%, 93.6%, 94.6%, 95.3%, and 95.9% Intersection over Union (IoU) on five test sets respectively which outperforms the suboptimal method by a large margin. In addition, in terms of accuracy, our approach also achieves the best score.     

基于双分支特征提取的轻量级图像分割算法

目的 为了提升彩色图像的分割精度，解决彩色图像分割中存在庞大计算成本和冗余参数的问题，本文提出一种双分支特征提取网络来解决上述问题。方法 双分支特征提取网络主要由语义信息分支和空间细节分支组成。语义信息分支通过在非对称残差模块中设置不同的空洞卷积率来获取输入图像不同尺度的上下文信息。空间细节分支是一个浅层且简单的网络，用于建立每个像素间的局部依赖关系以保留细节。在双分支之后连接一个特征聚合模块来有效地结合这2个分支的输出。结果 在没有任何预训练和后处理的情况下，在单块RTX2080Ti GPU上仅用0.91 M参数在Cityscapes数据集上以97帧/s的速度实现75.1%的分割准确性，在Camvid数据集上以107帧/s的推理速度取得了70.5%的分割效果。结论 通过大量实验证明，本文模型在分割准确性和效率之间取得了较好的平衡。     

基于深度学习的烟包识别与分类

目的 提取烟包图像数据训练深度学习目标检测模型,提升烟包流水线拣包效率和准确性。方法 基于深度学习建立一种烟包识别分类模型,对原始YOLOv3模型进行改进,在原网络中加入设计的多空间金字塔池化结构(M–SPP),将64×64尺度的特征图下采样与32×32尺度的特征图进行拼接,并去除16×16尺度的预测特征层,提高模型的检测准确率和速度,并采用K–means++算法对先验框参数进行优化。结果 实验表明该目标检测模型平均准确率达到99.68%,检测速度达到70.82帧/s。结论 基于深度学习建立的图像识别分类模型准确率高且检测速度快,有效满足烟包流水线自动化实时检测。     

基于改进BiSeNet的室内场景语义分割方法

室内场景的语义分割一直是深度学习语义分割领域的一个重要方向。室内语义分割主要存在的问题有语义类别多、很多物体类会有相互遮挡、某些类之间相似性较高等。针对这些问题,提出了一种用于室内场景语义分割的方法。该方法在BiSeNet(bilateral segmentation network)的网络结构基础上,引入了一个空洞金字塔池化层和多尺度特征融合模块,将上下文路径中的浅层细节特征与通过空洞金字塔池化得到的深层抽象特征进行融合,得到增强的内容特征,提高模型对室内场景语义分割的表现。该方法在ADE20K中关于室内场景的数据集上的MIoU表现,比SegNet高出23.5%,比改进前高出3.5%。     

弹药斜装条件下包装箱参数优化设计研究

目的 为了优化弹药包装尺寸设计,提高超长弹药包装装载和运输的效率。方法 以铁路运输过程中超长弹药包装的斜装运输为研究对象,分析弹药包装箱和车厢几何尺寸之间的数学关系,以构建斜装运输时车厢允许的弹药包装的最大长度、最小长度、最大宽度随斜装角变化的数学模型。基于该模型,可以对包装箱参数进行优化,以实现铁路车厢最大装载量。并以某型车厢为例,利用MATLAB对该数学模型进行分析计算。结果 得到了给定车厢尺寸条件下,弹药包装相关参数随斜装角的变化规律。结论 利用建立的数学模型可确定适合铁路车厢斜装的弹药包装的尺寸系列,为弹药包装的优化设计和高效装载运输提供了理论依据。     

Straw Segmentation Algorithm Based on Modified UNet in Complex Farmland Environment

Intelligent straw coverage detection plays an important role in agricultural production and the ecological environment. Traditional pattern recognition has some problems, such as low precision and a long processing time, when segmenting complex farmland, which cannot meet the conditions of embedded equipment deployment. Based on these problems, we proposed a novel deep learning model with high accuracy, small model size and fast running speed named Residual Unet with Attention mechanism using depthwise convolution (RADw–UNet). This algorithm is based on the UNet symmetric codec model. All the feature extraction modules of the network adopt the residual structure, and the whole network only adopts 8 times the downsampling rate to reduce the redundant parameters. To better extract the semantic information of the spatial and channel dimensions, the depthwise convolutional residual block is designed to be used in feature maps with larger depths to reduce the number of parameters while improving the model accuracy. Meanwhile, the multi–level attention mechanism is introduced in the skip connection to effectively integrate the information of the low–level and high–level feature maps. The experimental results showed that the segmentation performance of RADw–UNet outperformed traditional methods and the UNet algorithm. The algorithm achieved an mIoU of 94.9%, the number of trainable parameters was only approximately 0.26 M, and the running time for a single picture was less than 0.03 s.     

基于ReInspect算法的多目标追踪

为了提高复杂场景下多目标检测的准确性,提出了一种基于ReInspect算法的对于多个运行目标的检测方法.该算法基于OverFeat算法和Faster R-CNN算法的思想,加入LSTM(long short-term memory)循环网络结构用于记录多个目标的特征序列;通过调整LSTM网络特征标签信息,预处理损失函数...