数字化车间目标轻量级语义分割

为了满足数字化车间中生产制造实时的需求，提出一种同时满足准确性与实时性的多金字塔池化轻量级语义分割网络(MPPSNet),旨在实现数字化车间目标的语义分割。MPPSNet网络以改进MobileNetv2作为编码器，能有效减少网络的参数量，提高整体网络运行的实时性；以多金字塔池化网络作为解码器，融合多层特征信息，提高网络的准确性。经过测试，MPPSNet在公开数据集VOC2012上的效果优于FCN8与BiSeNet,基于自建的车间目标语义分割数据集，对人、机床、移动机器人3类车间目标检测的平均交并比(MIoU)指标达到71.8%,整个网络的参数量为2.55 M,能够满足数字化车间目标图像实时准确分割的需要。     

基于高层特征融合的图像语义分割

在深度学习下的图像语义分割中,为了探究高层特征对于户外场景语义分割性能的影响,在对高层特征进行分析的基础上,提出了融合高层特征的图像语义分割方法。在目前主流深度学习框架Caffe下搭建的分割模型,并采用斯坦福8类户外场景数据集对模型进行了训练和测试。测试结果验证了该方法的有效性和准确性。     

增强点云局部显著性特征的细粒度语义分割网

点云细粒度语义分割，即物体部件分割，在机械臂控制、智能化装配、物体检测等工业生产中有着重要的应用价值。然而由于点云数据形式散乱，导致物体部件边界处几何特征不明显且计算困难，从而致使细粒度分割精度较低，难以满足生产需求。针对点云的部件级分割，本文提出了增强点云局部显著性特征的细粒度语义分割网，网络中构建了局部数据上下文信息，提高细粒度分割精度。本网络建立了利用几何曲率改进的的最远点采样算法，增强点云局部数据子集特征计算能力；创建多尺度高维特征提取器，提取不同尺度的高维特征；在点云特征计算过程中使用seq2seq的方式，引入注意力机制，融合不同尺度的高维特征，进而获取细粒度语义分割的上下文信息。最终使得细粒度分割精度得到了有效提高，尤其是对边界处的分割效果提升显著。实验结果表明，本网络在ShapeNet Part数据集上的总体交并比达到了85.2%，准确率达到95.6%，且具有一定泛化能力。该方法对三维物体的细粒度语义分割具有重要的意义。     

采用独立分支网络的多源遥感数据自适应融合地物分类

针对现有基于深度学习的地物分类方法大多面向遥感影像,而对点云数据的空间信息利用不足,特别是对点云和影像这种异源特征融合不够充分的问题,提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法。首先,对配准好的LiDAR点云和遥感影像分别采用三维网络和二维网络提取各模态的空间几何特征和语义特征;其次,在点云空间对影像特征进行交叉模态采样和特征对齐得到基于点的多源特征;最后,采用一种基于注意力机制的非线性自适应特征融合方法实现二、三维语义特征的融合。实验结果表明,本文方法通过网络训练能够实现自适应数据特征的多源遥感数据融合分类,针对ISPRS多源遥感数据集的植被、建筑物和地面三类地物平均分类精度达到85.87%,相较三维点云语义分割的分类精度提高了10.12%。本文提出的独立分支融合网络能够实现二、三维数据的交互学习与深度融合,为遥感多源数据地物分类提供了一种新的思路。     

一种基于深度学习的图像语义分割方法

基于深度学习的语义分割网络在卷积、池化等操作过程中会出现空间位置信息丢失的问题,导致其分割效果下降.对此,文中以SegNet语义分割网络模型为参考,设计了一种全新的语义分割网络模型Faster-SegNet.该网络模型通过融合多尺度特征图强化特征信息来提高网络分割准确率.使用非对称卷积等方式降低了网络参数量,提高网络分割效率,保证模型分割的实时性.将Faster-SegNet模型通过公开数据集CamVid和VOC2012进行试验,结果显示:相比于SegNet,Faster-SegNet在两种数据集上的全局准确率分别提高了 9.8％和6.6％,平均交并比分别提高了 8.7％和5.1％;与DensASPP网络模型相比,在CamVid上的全局准确率和均交并比分别提高了 0.5％和2％;Faster-SegNet试验下各类物体的分类准确率较SegNet和DensASPP均有所提升;在VOC2012上的全局准确率和均交并比分别提高了 3.9％和1.2％.整体上取得了不错的分割效果.     

基于深度学习的铸件DR图像缺陷检测

为了对精密铸件DR(digital radiography)图像中的缺陷进行准确分割,提出一种基于深度学习语义分割的铸件DR图像缺陷检测算法。首先在原始U-Net网络模型上设计混合损失函数,以此来缓解类不平衡问题;然后采用AdamW(Adam with weight decay)优化器使模型加速收敛,同时使检测精度得到提升。最后使用PReLu激活函数代替ReLu,提高模型泛化性。实验结果表明,改进的U-Net模型对精密铸件DR图像缺陷能够得到有效分割,检测精度较高,且模型参数量较少,能够在工业现场进行部署。     

基于多路径网络的权值调整图像语义分割算法

为提高图像语义分割准确程度,针对场景解析中类别边缘分辨清晰度,提出了一种基于多路径网络的权值调整图像语义分割算法。通过引入多路径网络和权值调整并对图像场景中的物体类别具有的特征进行分析,提高图像的语义分割的准确程度;通过采用ADE20K数据集进行训练,提高边缘信息的分割效果,使模型具有更好的泛化能力。此算法加快了网络收敛速度。     

面向遥感建筑物提取的轻型多尺度差异网络

针对高分辨率遥感影像中建筑物形状多样、大小不一引起建筑物提取精度低及传统分割模型存在参数量大等问题，提出一种基于编码-解码的轻型多尺度差异网络LMD-Net(Lightweight Multi-scale Difference Network)。首先，为了避免单一的特征处理单元堆叠使得模型性能弱化而产生无效参数，通过融合编解码结构的功能差异性，设计出一种轻型差异模型优化性能。其次，引入一种多尺度膨胀感知模块（Multi-Scale Dilation Perception,MSDP）来增强网络捕捉多尺度目标特征的能力。最后，通过双融合机制有效聚合深层跳跃连接和深层解码器两组的特征信息，从而实现增强解码器的特征恢复能力。为验证轻型多尺度差异网络LMD-Net的有效性和适用性，以开源WHU building dataset数据集作为数据源，对LMD-Net网络与常用语义分割网络及近年相关文献研究成果进行了精度、效率方面的评估实验。结果表明：LMD-Net网络在效率与精度两方面均表现出明显优势，不仅很大程度上减少模型的参数量和计算量，而且交并比、准确率分别提高了3.23%,2.57%。表明在基...     

基于深度学习的铸件CT图像分割算法

针对现有方法分割弱边缘铸件CT图像难度大、精度低、鲁棒性差的问题,提出一种融合残差模块与混合注意力机制的U型网络分割算法(AttRes-U-Nets)。该算法以U-Net网络为基础,首先构建深度残差网络ResNets作为算法的编码网络,解决传统U-Net网络特征提取能力不足的问题;然后,引入改进后的混合注意力机制,突出分割目标区域与通道的特征响应,提高网络灵敏度;最后,将Focal loss与Dice loss结合为一种新损失函数FD loss缓解样本不平衡带来的负面影响。使用120阀体数据集对算法性能进行验证,实验结果表明,本文算法对铸件分割的像素准确率(PA)和交互比(IoU)分别达到98.72%和97.40%,优于传统U-Net算法与其他主流语义分割算法,为弱边缘分割提供了新思路。     

基于度量学习的小样本零器件表面缺陷检测

针对零器件表面缺陷检测时存在缺陷样本少、缺陷目标尺寸大小不一和易发生几何形变等问题,提出一种基于度量学习的小样本零器件表面缺陷检测模型。该模型首先将特征金字塔网络中传统卷积改进为动态卷积,并加上区域建议网络对小样本缺陷进行特征提取和边框定位;然后在大型数据集MS COCO上进行预训练,将训练好的模型结构参数迁移到具有少量缺陷样本的检测中;最后建立基于度量学习的多模态网络结构实现小样本零器件表面缺陷检测。实验表明,所提方法在ImageNet LOC公共数据集上与其他模型相比性能更优,5类5样本下均值平均精度为70.43%;在所建立的零器件表面缺陷数据集上,3类5样本的均值平均精度最高可达35.76%,相比RepMet模型性能最大可多提升近70%。     

改进Mask RCNN的焊缝缺陷检测

焊接缺陷检测是焊接行业的一项重要工作,利用X射线焊缝缺陷图像进行缺陷检测是焊接无损检测的重要手段。为实现对缺陷的自动识别和定位,结合缺陷的具体特征提出了一种改进的Mask RCNN实例分割网络实现对图像进行缺陷检测和分割。该方法在原有网络的基础上通过采用变形卷积更好地提取不规则形状缺陷特征信息,引入空洞卷积加强高层特征的感受野,在局部图像中融合全局图像信息使局部图像获取上下文信息,利用迁移学习和数据增强降低对训练数据的需求,提升检测和分割精度。最终,通过对焊缝X射线数据集上进行实验,验证改进的Mask RCNN模型与原始Mask RCNN模型以及Faster RCNN模型等模型进行客观比较,并对实验结果进行可行性分析,提出的模型表现出更精确的检测精度和更好的性能。实验结果表明改进的Mask RCNN模型可以更好的适用于焊缝缺陷检测中。     

基于U-net的多时相高分遥感影像耕地语义分割研究

针对手工进行耕地语义分割存在耗时长、效率低下、分割结果严重依赖于工作人员的经验以及传统方法无法较好地满足耕地语义分割要求的问题,首次提出了一种基于U-net的多时相高分遥感影像耕地语义分割方法。首先对多时相高分遥感影像进行数据预处理,然后对其进行数据增强,接着构建U-net神经网络,使用训练集进行训练,并用测试集来测试神经网络的性能。结果以人工标注的结果作为参考,在保持相同训练集和测试集的情况下,分别用FCN、SegNet和U-net做对照实验。实验结果表明,U-net的分割准确率高于FCN和SegNet,且对边缘分割得较为平整;U-net神经网络能够有效地实现耕地语义分割任务。     

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上（TensorRT测速环境）,本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;...     

基于改进Res-UNet的视网膜图像血管分割

精准的视网膜血管分割可以辅助诊疗如糖尿病、高血压等疾病。眼睛血管结构和病理特征的复杂性导致血管分割的精度和速度都存在很多局限。为了克服这一问题，提出了一种改进的U-net分割方法，该方法将U-net网络解码器和编码器中的卷积模块改为残差模块，使用非局部注意模块连接编码器和解码器。网络模型在不增加参数量的情况下，通过添加残差模块和注意力机制提高了像素之间的信息相关性以及模型提取特征的能力。最后，采用DRIVE数据集对所提模型与原U-net网络进行对比评价，新模型在测试集上的特征检测准确率、特异性、灵敏度和Dice系数分别达到了0.9679、0.9896、0.8245和0.8281。实验结果证明，所提网络模型可对视网膜进行精确地血管分割。     

宫颈细胞分析识别技术研究

为了实现宫颈癌的早期筛查与诊断,使用来自丹麦Herlev大学医院的宫颈细胞图像数据集,训练了D-LinkNet语义分割神经网络,用来分割宫颈细胞图像中的细胞核、细胞质和背景。使用OpenCV,从分割之后的细胞图像中,提取几何、色度和纹理三大类共75个特征。使用Scikit-Learn搭建了使用单一算法的分类器和集成多个算法的投票分类器,对正常和异常的宫颈细胞进行二分类。将提取到的特征数据按照4:1的比例分为训练集和测试集。结果显示:集成了多种分类算法的投票分类器在测试集上的分类效果最好,获得了0.9334的分类准确率。     

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

基于Deeplabv3+和注意力机制的道路场景语义分割方法

在自动驾驶技术研究中,理解道路场景是提高驾驶安全性的保障.语义分割技术可以在像素级别上,将图片分割成与语义类别相关联的不同图像区域,可以辅助车辆感知、理解周围的道路环境信息,从而提高驾驶安全性.当下流行的语义分割模型Deeplabv3+在分割任务中,存在细小目标被漏分割以及外形相似物体容易被误判等现象,导致分割边界粗糙,精准度降低.针对此问题,在Deeplabv3+网络结构的基础上,结合注意力机制加重分割区域的权重,提出一种改进的Deeplabv3+融合注意力机制的道路场景语义分割方法.首先,在Deeplabv3+编码端引入一组并联的位置注意力模块和空间注意力模块,捕获更多空间上下文信息和高级语义信息.然后,在解码端引入注意力机制恢复空间细节信息,并对数据归一化处理,加快模型收敛速度.将不同方式引入注意力机制的模型分割效果进行对比,在CamVid数据集和Cityscapes数据集上进行了测试.实验结果表明,相比Deeplabv3+,改进后的模型分割准确度平均交并比在两个数据集上分别提升了6.88％和2.58％,效果优于Deeplabv3+.该方法不会明显加大网络计算量和复杂度,具有良好的分割速度和准确性的兼顾.     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

基于无监督深度估计的带雾图像生成方法（英文）

基于卷积神经网络的雾霾环境视觉目标检测,通常直接利用无雾条件下清晰的数据集对网络进行训练,网络无法通过训练集获取雾霾图像下目标的特征权重配置,因而检测效果不佳。为了提高雾霾环境下目标检测效果,从数据集构建角度入手,提出了一种在无雾图像上生成带雾图像的方法。首先以KITTI-objection数据集作为原始无雾图像,利用改进的Monodepth无监督深度估计方法生成原始图像的深度图像。然后构造几何先验深度模板,以图像熵为权值与深度图进行融合,并根据大气散射模型,由深度图像得到雾图像。最后,采用基于二阶的Faster-RCNN和基于一阶的YOLOv4两种典型的目标检测架构,对原始数据集、雾数据集、混合数据集进行训练,并对室外自然雾霾场景数据集RESIDE-OTS进行检测。实验结果表明,使用混合数据集训练下的模型检测效果最好,在YOLOv4模型下mAP值提升了5.6%,在Faster R-CNN网络下mAP值提升了5.0%,从而有效提升了雾霾环境下卷积神经网络的目标识别能力。     

基于YOLOv5s的丁腈手套缺陷检测方法

为实现丁腈手套缺陷的自动检测，提出一种基于YOLOv5s网络的识别方法。首先根据COCO数据集格式构建自制数据集，然后利用自制数据集对网络进行训练，最后使用工业相机采集的图片对训练好的YOLOv5s网络进行测试。实验结果表明基于YOLOv5s网络的陷检测模型对手套缺陷检测准确率为95.43%，检测精度为97.26%，检测速度为111.35fps。该方法可以满足生产线上丁腈手套缺陷检测的准确性和实时性需求。