基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。     

基于多级特征融合的体素三维目标检测网络

目的 为精确分析点云场景中待测目标的位置和类别信息,提出一种基于多级特征融合的体素三维目标检测网络。方法 以2阶段检测算法Voxel?RCNN作为基线模型,在检测一阶段,增加稀疏特征残差密集融合模块,由浅入深地对逐级特征进行传播和复用,实现三维特征充分的交互融合。在二维主干模块中增加残差轻量化高效通道注意力机制,显式增强通道特征。提出多级特征及多尺度核自适应融合模块,自适应地提取各级特征的关系权重,以加权方式实现特征的强融合。在检测二阶段,设计三重特征融合策略,基于曼哈顿距离搜索算法聚合邻域特征,并嵌入深度融合模块和CTFFM融合模块提升格点特征质量。结果 实验于自动驾驶数据集KITTI中进行模拟测试,相较于基线网络,在3种难度等级下,一阶段检测模型的行人3D平均精度提升了3.97%,二阶段检测模型的骑行者3D平均精度提升了3.37%。结论 结果证明文中方法能够显著提升目标检测性能,且各模块具有较好的移植性,可灵活嵌入到体素类三维检测模型中,带来相应的效果提升。     

基于语义分割的火车车厢位置检测研究

为了实现在煤炭定量装车站装车过程中实时检测火车车厢位置,为溜槽升降提供触发信号,设计了一种基于语义分割的火车车厢位置检测模型。以FPN （feature pyramid networks,特征金字塔网络）和ResNet101 （residual network,残差网络）为主干网络,提取并融合分辨率、语义强度不同的特征图;结合基于期望最大化（expectation maximization, EM）算法的注意力机制,构建车厢上边框语义分割模型,用于过滤特征图中的噪声,提高图像边界的语义分割精度;设计位置检测模块,计算语义分割后图像中各类别的面积及其比例和车厢上边框外接矩形高度,以获取火车车厢位置信息。结果表明,所构建的车厢上边框语义分割模型在测试集上的mIoU （mean intersection over union,均交并比）为81.21%,mPA （mean pixel accuracy,平均像素精度）为88.64%,相比未引入注意力机制的语义分割模型分别提升了3.91%和7.44%。在煤炭定量装车站现场进行的火车车厢位置检测试验结果表明,基于语义分割的火车车厢位置检测模型的检测精度满足煤炭装车过程中车厢位置检测任务的要求,这为实现煤炭定量装车系统的智能化提供了新思路。     

基于DeepLabv3+的图像语义分割优化方法

目的为了实现良好的图像语义分割精度,同时尽可能降低网络的参数量,加快网络训练速度,提出基于DeepLabv3+的图像语义分割优化方法。方法编码器主干网络增加注意力机制模块,并采用更密集的特征池化模块有效聚合多尺度特征,同时使用深度可分离卷积降低网络计算复杂度。结果基于CamVid数据集的对比实验显示,优化后网络的MIoU分数达到了71.03%,在像素精度、平均像素精度等其他方面的评价指标上较原网络有小幅提升,并且网络参数量降低了12%。在Cityscapes的测试数据集上的MIoU分数为75.1%。结论实验结果表明,优化后的网络能够有效提取图像特征信息,提高语义分割精度,同时降低模型复杂度。文中网络使用城市道路场景数据集进行测试,可以为今后的无人驾驶技术的应用提供参考,具有一定的实际意义。     

基于下采样的特征融合遥感图像语义分割

本文提出了一种基于下采样的特征融合遥感图像语义分割模型,该模型在编解码结构基础上,将高分辨率原始图像引入"下采样"模块提取低级语义特征,在此基础上,将输出的低级语义特征通过MobileNetV2和空间金字塔池化进一步提取多尺度高级语义细节特征,然后,将这些高级语义特征和直接从下采样模块提取的低级语义特征融合并进行特征图分割.最后,在"CCF卫星影像的AI分类与识别竞赛"的数据集上取得了93%的训练准确率以及91%的预测准确率.     

非对称关键点注意力结构的交互式图像分割方法

目的 人机交互信息在交互式图像分割过程中具有重要意义,为了提高交互信息的使用效率,文中提出一种优化方法。方法 提出一种非对称注意力结构,将交互信息通过该结构融合到交互式图像分割算法（IOG）的特征提取网络中。该算法能够进一步强化关键点信息对图像分割所起到的引导作用。结果 非对称注意力结构能够在不增加交互成本的条件下,在PASCAL数据集上达到92.2%的准确率,比目前最好的IOG分割算法提高了0.2%。仅在小样本PASCAL数据集上训练时,文中算法具有更明显的优势,比现有最好的IOG算法的准确率提高了1.3%。结论 通过中文的非对称注意力结构,能够在不增加交互成本的同时提升网络的分割精度。     

基于注意力机制与Swin Transformer模型的腰椎图像分割方法

腰椎图像的精确分割是腰椎间盘疾病自动化诊断的重要前提,现有的分割方法在实际应用于分割任务时仍然存在无法精确分割的问题.对此,本文提出了一种基于注意力机制与Swin Transformer模型的腰椎图像分割网络模型.该模型在卷积网络中引入Swin Transformer模型,使用移动窗口的Transformer模块对卷积提取的高层语义信息进行全局信息建模;然后使用注意力机制对上采样过程中跳过连接中传递的低级特征施加权重,去除背景信息,最终实现腰椎图像的精细分割.实验结果表明,本文的腰椎图像分割方法相似度系数指标达到91.18％,性能优于UNet及其变型网络模型.     

面向道路场景语义分割的移动窗口变换神经网络设计

道路场景语义分割是自动驾驶环境感知的一项重要任务。近年来,变换神经网络(Transformer)在计算机视觉领域开始应用并取得了很好的效果。针对复杂场景图像语义分割精度低、细小目标识别能力不足等问题,本文提出了一种基于移动窗口Transformer的多尺度特征融合的道路场景语义分割算法。该网络采用编码-解码结构,编码器使用改进后的移动窗口Transformer特征提取器对道路场景图像进行特征提取,解码器由注意力融合模块和特征金字塔网络构成,充分融合多尺度的语义特征。在Cityscapes城市道路场景数据集上进行验证测试,实验结果表明,与多种现有的语义分割算法进行对比,本文方法在分割精度方面有较大的提升。     

基于Transformer的多尺度物体检测

目前,Transformer基本模型对同一场景内不同尺寸物体的检测能力不足,其主要原因为各层等尺度的输入嵌入无法提取跨尺度特征,导致网络不具备在不同尺度的特征之间建立交互的能力。基于此,提出一种基于Transformer的多尺度物体检测网络,该网络采用跨尺度嵌入层初步对图像特征进行嵌入处理;利用多分支空洞卷积对输入进行下采样,通过调整并行分支的膨胀率使该结构具有多样的感受野;然后,由残差自注意力模块对输出嵌入结果进行处理,为特征图的局部和全局信息构建联系,使注意力计算融入有效的多尺度语义信息,最终实现多尺度物体检测。模型在COCO等数据集上进行训练,实验结果表明该方法与其他物体检测方法相比具有显著优势。     

基于注意力与密集重参数化的目标检测算法

针对目标检测任务中背景复杂、目标尺寸差异大等因素导致目标检测结果较差的问题,本文提出基于注意力和密集重参数化的目标检测算法。首先,基于CSP-DarkNet提出高效的特征提取网络,主要包括密集重参数化模块和CASA模块2个设计。前者利用密集连接保留浅层特征,又通过重参数化结构降低网络复杂度;后者CASA模块用于获取需要的目标信息。其次,特征融合在特征金字塔(FPN)和路径聚合网络(PAN)的基础上,引入内容感知特征重组(CARAFE)进行上采样,有效解决了邻近插值法等未能捕捉丰富语义信息的问题;提出更高效的C3-G模块,获取丰富的梯度信息,增强模型表达能力和感知能力;同时,引入深度可分离卷积提升运算效率。最后,检测输出采用在更大范围上跨领域正负样本匹配策略扩充正样本数量,提升检测效果。该算法在MS COCO和PASCAL VOC数据集上的m AP@0.5分别达到了57.5%和83.0%,充分说明了本文算法的先进性。     

基于深度学习的图像分类算法框架研究

目的 提高图像分类精度是实现自动化生产的基础,提出一种更加准确的图像分类方法,使自动化包装和生产更加高效.方法 基于ResNeSt特征图组的思想,通过引入通道域和空间域注意力机制,并将自适应卷积核思想和Gem池化引入空间域注意力模块,从而使网络在空间域注意力机制中能够对不同图片使用不同的感受野使其关注更重要的部分,提出一种具有通道域和空间域注意力机制,且具有很好移植性的图像分类网络模型结构.结果 文中方法提高了图像分类准确度,在ImageNet数据集上,top-1准确度为81.39％.结论 文中提出的ResNeSkt算法框架优于目前的主流图像分类方法,同时网络整体结构具有很好的移植性,可以作为图像检测、语义分割等其他图像研究领域的主干网络.     

基于改进YOLOv5s的白酒瓶盖瑕疵检测

目的 瓶装白酒生产过程中,瓶盖表面瑕疵会影响产品外观质量。针对白酒瓶盖表面瑕疵检测效率低和目标检测效果差的问题,提出一种基于YOLOv5s的改进算法DTS-YOLO。方法 首先,在主干网络中引入可变形卷积,以提高模型对极端长宽比瑕疵的检测精度。其次,引入Transformer编码块,使网络聚焦于提取图像的全局信息。最后,在颈部网络构建C3SE-Lite模块,将C3模块嵌入SE注意力模块的同时引入Ghost卷积,减少参数量的同时,增强对瓶盖瑕疵的检测能力。结果 实验结果表明,本文所提方法相较于基础网络,参数量减少了10%,平均精度均值达95%,平均检测速度达30帧/s。结论 本文方法有效实现了白酒瓶盖表面瑕疵快速、准确地检测,可广泛应用于瓶装白酒生产过程中瓶盖表面检测。     

基于改进Mask Scoring R-CNN的铲齿磨损检测研究

为了实现在电铲工作过程中对铲齿磨损进行实时检测，防止因铲齿磨损而影响电铲开采效率，提出了一种基于改进Mask Scoring R-CNN（region convolutional neural network，区域卷积神经网络）的铲齿实例分割模型。首先，以ResNet-101（residual network， 残差网络）和改进的FPN（feature pyramid networks，特征金字塔网络）作为主干网络，提取高、低特征层的语义信息和细节特征并融合，结合ROI Align层对局部特征层进行裁剪和归一化处理，以完成目标检测与实例分割；然后，基于获取的铲齿分割效果图以及二值化掩码图形信息，计算实例分割后图像中铲齿部分的像素面积，以判断其磨损情况。结果表明，以ResNet-101和改进FPN为主干网络的铲齿实例分割模型在测试集上的平均像素精度为90.76%，平均交并比为83.62%，相比于以ResNet-101和传统FPN为主干网络的实例分割模型分别提升了1.18%和1.21%。在电铲采掘工作现场进行8次铲齿磨损检测实验，检测到的每颗铲齿的磨损程度波动幅度均小于2%，均方差为0.7左右，说明所提出的实例分割模型对铲齿有较好的分割效果和稳定性，基本满足磨损检测要求。研究结果可为铲齿磨损状态的智能化检测提供新思路。     

Optimized Deep Learning Model for Fire Semantic Segmentation

Recent convolutional neural networks (CNNs) based deep learning has significantly promoted fire detection. Existing fire detection methods can efficiently recognize and locate the fire. However, the accurate flame boundary and shape information is hard to obtain by them, which makes it difficult to conduct automated fire region analysis, prediction, and early warning. To this end, we propose a fire semantic segmentation method based on Global Position Guidance (GPG) and Multi-path explicit Edge information Interaction (MEI). Specifically, to solve the problem of local segmentation errors in low-level feature space, a top-down global position guidance module is used to restrain the offset of low-level features. Besides, an MEI module is proposed to explicitly extract and utilize the edge information to refine the coarse fire segmentation results. We compare the proposed method with existing advanced semantic segmentation and salient object detection methods. Experimental results demonstrate that the proposed method achieves 94.1%, 93.6%, 94.6%, 95.3%, and 95.9% Intersection over Union (IoU) on five test sets respectively which outperforms the suboptimal method by a large margin. In addition, in terms of accuracy, our approach also achieves the best score.     

基于双分支特征提取的轻量级图像分割算法

目的 为了提升彩色图像的分割精度，解决彩色图像分割中存在庞大计算成本和冗余参数的问题，本文提出一种双分支特征提取网络来解决上述问题。方法 双分支特征提取网络主要由语义信息分支和空间细节分支组成。语义信息分支通过在非对称残差模块中设置不同的空洞卷积率来获取输入图像不同尺度的上下文信息。空间细节分支是一个浅层且简单的网络，用于建立每个像素间的局部依赖关系以保留细节。在双分支之后连接一个特征聚合模块来有效地结合这2个分支的输出。结果 在没有任何预训练和后处理的情况下，在单块RTX2080Ti GPU上仅用0.91 M参数在Cityscapes数据集上以97帧/s的速度实现75.1%的分割准确性，在Camvid数据集上以107帧/s的推理速度取得了70.5%的分割效果。结论 通过大量实验证明，本文模型在分割准确性和效率之间取得了较好的平衡。     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

基于改进YOLOv5的轻量级芯片封装缺陷检测方法

目的 针对芯片封装缺陷检测过程中检测精度低与模型难部署的问题,提出YOLOv5-SPM检测网络,旨在提高检测精度并实现模型轻量化。方法 首先,通过在特征提取模块后增加通道注意力机制,提高缺陷通道的关注度,减少冗余特征的干扰,进而提升目标的检测精度。其次,在主干网络与颈部网络连接处使用快速特征金字塔结构,更好地融合了自建芯片数据集的多尺度特征信息。最后,将主干网络的特征提取模块更换为MobileNetV3,将常规卷积更换为深度卷积和点卷积,有效降低了模型尺寸和计算量。结果 经过改进后的新网络YOLOv5s-SPM在模型参数下降29.5%的情况下,平均精度较原网络提高了0.6%,准确率提高了3.2%。结论 新网络相较于传统网络在芯片缺陷检测任务中实现了模型精度与速度的统一提高,同时由于模型参数减小了29.5%,更适合部署在资源有限的工业嵌入式设备上。