多尺度空洞U-Net网络的电影CMR图像分割

在电影心脏核磁共振(CMR)图像上准确分割左心室、右心室和心肌是心脏功能评估和诊断的重要步骤。然而,大多数带标注的CMR图像数据量较少,无法满足训练需求,同时CMR图像中心脏结构复杂,心室及心肌边界不清晰,导致分割效果欠佳。因此,该文提出了一种基于迁移学习和多尺度空洞U-Net网络的CMR图像分割方法,使用迁移学习,将预训练模型得到的网络参数迁移到目标模型上作为目标模型的初始化参数,提高网络的特征学习能力,解决CMR图像数据量不足的问题;在U-Net网络中引入多尺度空洞卷积模块,使用空洞卷积代替普通卷积在参数不变的情况下扩大了感受野,并且采用多尺度特征融合提取更加精细的特征,解决CMR图像边界曲线欠分割的问题。实验结果表明,该方法能有效实现心脏中左心室、右心室和心肌的准确分割,平均Dice系数和Hausdorff距离平均值分别为0.902和4.219 mm,对比其他网络分割模型明显提高了分割精度。     

基于多重感受野UNet的仪表图像分割方法

为解决现有深度学习图像分割算法不能有效分割指针仪表图像中密集小目标的问题,提出基于多重感受野UNet的仪表图像分割方法.将自编码器结构和空洞卷积结构结合,使多尺度浅层特征和深层语义信息融合;以多种光照强度下采集的指针仪表数据训练模型,充分提升神经网络的泛化能力;并行调节空洞卷积参数,使神经网络学习到最优模型.实验结果表...     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

基于串联空洞卷积神经网络的网球场景语义分割

室外网球场实景环境下的语义分割是开发网球运动服务机器人需要解决的一项关键技术.针对室外网球场环境由于光照、视角等因素的变化导致难以进行精细分割的问题,提出一种基于Deeplabv3架构的串联空洞卷积神经网络SACNet.该模型扩展了空洞卷积的多尺度模块,通过奇偶混合扩张率增大训练中特征图感受野,利用分组卷积减小SACNet模型时空复杂度.为克服小样本训练容易过拟合的问题,在经过预训练残差神经网络ResNet-50的基础上,通过冻结批量归一化(BN)层进行迁移学习.在自制小样本网球场数据集上进行实验结果表明,SACNet比现有Deeplabv3模型在测试精度提高了10.22%,且对于网球场边界和小目标语义分割结果更加准确.     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU(FReLU)替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

基于分水岭修正与U-Net的肝脏图像分割算法

在利用卷积神经网络分割肝脏边界较模糊的影像数据时容易丢失位置信息,导致分割精度较低。针对该问题,提出一种基于分水岭修正与U-Net模型相结合的肝脏图像自动分割算法。利用U-Net分层学习图像特征的优势,将浅层特征与深层语义特征相融合,避免丢失目标位置等细节信息,得到肝脏初始分割结果。在此基础上,通过分水岭算法形成的区域块对肝脏初始分割结果的边界进行修正,以获得边界平滑精确的分割结果。实验结果表明,与传统的图割算法和全卷积神经网络算法相比,该算法能够实现更为精准的肝脏图像分割。     

改进DeepLabV3+模型在壁画分割中的应用

针对古代壁画图像分割过程中出现的目标边界模糊、图像分割效率低等问题,提出一种融合轻量级卷积神经网络的多分类图像分割模型MC-DM,该模型将DeepLabV3+结构和MobileNetV2相结合,利用DeepLabV3+特有的空间金字塔结构对壁画的卷积特征进行多尺度融合,从而减少壁画分割时的图像细节损失。首先,通过MobileNetV2对输入图像进行特征提取,从而在确保图像信息准确提取的同时减少耗时;其次,通过空洞卷积处理图像特征,从而扩展感受野,并在不改变参数数量的情况下得到更多的语义信息;最后,采用双线性插值的方法对输出特征图像进行上采样,以得到像素级的预测分割图,从而最大限度保证图像分割的准确性。在JetBrains PyCharm Community Edition 2019环境下,利用以1 000张壁画扫描图片制作而成的数据集进行测试,实验结果表明,MC-DM模型较传统的基于SegNet的图像分割模型在训练精确度上提升了1个百分点,较基于PSPNet的图像分割模型在精确度上提升了2个百分点,且MC-DM模型的峰值信噪比（PSNR）较实验对比模型平均提高了3～8 dB,充分验证了该模型在壁画分割领域的有效性。所提模型为古代壁画图像分割提供了新的思路。     

基于3D CNN的鼻咽癌CT图像分割

鼻咽癌CT图像分割是鼻咽癌诊断和治疗的先行任务,然而,由于鼻咽癌细胞的外形多样、灰度不均匀、边界模糊、病变形状复杂等因素使得分割难以准确。针对这一问题,提出了一种基于三维深度卷积神经网络的鼻咽癌CT图像分割方法,三维深度卷积神经网络框架的前5层采用卷积核为3~3的普通卷积,中间6层采用空洞率为2的膨胀卷积,后6层采用空洞率为4的膨胀卷积,每2个卷积层之间有一个残差连接,最后利用Softmax函数对每个像素点进行分类。膨胀卷积有助于得到精确的密集预测和沿物体边界的精细分割图,残差连接使深度卷积神经网络中的信息传播平滑,并能提高训练速度。实验结果表明,在鼻咽癌CT图像分割中该方法与其他主流方法相比有更好的性能。     

基于多尺度卷积神经网络的交通标示识别研究

交通标示识别在自动驾驶领域有着广泛的应用前景。在实际场景中,光照、地理位置、检测方法等因素会对较小交通标示识别产生影响,导致识别精度降低。针对这些问题,提出一种新型多尺度融合卷积神经网络模型（SF-RCNN）。首先在基础特征提取网络中加入多尺度空洞卷积池化金字塔模块（MASPP）,在多尺度空洞卷积采样后,不改变每一个特征下的信息量,而是通过合并通道数来实现特征图的融合,这样既减少了分辨率的损失,也可以捕捉同一图像的上下文信息;其次在网络中增加两个快速拼接模块（F-concat）,融合模型中高层与低层的信息,既丰富语义信息,又可以实现不同尺度信息的重复利用;最后在每个最大池化层之前增加批标准化层（BN）,转换每一层的数据。尽管增加模块加深了网络深度,但是BN层可以加快模型收敛速度,使整个训练时间不发生较大改变。实验结果表明,该模型利用新型网络结构SF-RCNN,在CCTSDB数据集上进行特征提取,交通标示识别精度均值达到了87.48%,警告类别识别精度达到89.93%,禁令类别识别精度达到89.25%、方向类别识别精度达到81.08%、指示类别识别精度达到89.66%。     

结合卷积神经网络和超像素聚类的细胞图像分割方法

针对细胞图像尺寸大、细胞形状各异,导致从图像中分割出精准的细胞十分困难的问题,以卷积神经网络为基础,结合染色校正方法和简单线性迭代的超像素聚类算法,提出了一种新的结构来进行细胞图像分割。首先,利用染色校正方法对细胞图像进行预处理,提高图像的颜色对比度;然后利用卷积神经网络获得初步分割结果;最后再将简单线性迭代聚类获得的超像素边界信息反馈到初分割图像上进行改进提升。提出的算法可以有效地减少图像局部信息的冗余,更准确地获得目标区域的边界位置。实验表明,本文提出的算法细胞分割准确率达到了92.72%,与经典卷积神经网络、阈值分割等其他细胞分割算法相比,具有更好的分割效果。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

边界感知的实时语义分割网络

目前多数实时语义分割网络不仅同时处理边界和纹理等细节信息而且还忽略了语义边界区域特征,从而导致物体边界分割质量下降。针对该问题,提出一种边界感知的实时语义分割网络,主要从三个方面提高边界语义分割质量。提出了边界感知学习机制利用位置信息降低边界特征和轮廓附近细节的耦合度使边界感知和位置关系相互促进。设计轻量级区域自适应模块增强卷积网络对复杂语义边界区域的建模能力。根据采样区域像素贡献值不同设计了高效的空洞空间金字塔池化模块以增强重要的细节和语义特征。实验方面,与基准相比,在Cityscapes验证集上精度提升了约5.8个百分点,在Cityscapes测试集上以47.2 FPS的推理速度使精度达到了74.9%。在CamVid数据集上与BiSeNetV2算法相比mIoU提升了约3.96个百分点。     

基于多级特征图联合上采样的实时语义分割

视觉感知是无人驾驶技术中的重要一环,而语义分割技术又是实现视觉感知的主要技术手段之一.现在的语义分割技术多采用计算量大、内存占用高的空洞卷积来提取高分辨率特征图,从而导致现在主流的语义分割网络分割速度不足,无法有效应用于无人驾驶的场景中.针对这一问题,提出了一种实时性更好的语义分割网络.首先,采用了一种轻量级的卷积神经...     

改进U-Net的超声乳腺肿瘤分割网络

乳腺超声图像具有肿瘤大小形态多变、阴影较多、边界模糊等特点,经典U-Net的乳腺肿瘤分割结果与标注图像出入较大。对此,提出改进网络MultiMixU-Net。该网络在U-Net结构中引入MultiMix block以及Respath。MultiMix block通过空洞卷积通路提高网络区分目标以及背景的能力,并通过级联该通路中各卷积层输出,融合普通卷积通路的输出来提取多尺度特征信息。Respath的改进部署使网络中收缩路径与扩张路径之间对应特征信息的传递更加有效。该改进网络在公开的超声乳腺肿瘤分割数据集上进行了测试,实验表明,MultiMixU-Net分割结果优于其他网络且参数量较少。相较于U-Net,所提网络分割结果在所有评价指标上均有提升,其中IoU、DSC分别提升0.154 1、0.127 3。     

基于卷积神经网络的单目深度估计

针对利用深度学习方法对街道图像进行深度估计，提出采用语义分割的方法解决深度图出现边界模糊等问题；估计深度通过左右视角图生成视差图进行无监督的训练。在网络模型中添加语义分割层，采取多个空洞卷积并行的结构增加感受野，同时减少了图像下采样的次数，降低了由于下采样带来的信息损失，使得的结果更加准确。这也是在深度估计中首次与空洞卷积相结合增加准确率。通过对KITTI街道数据集进行训练，与现有结果相比，除了增加检测准确性，降低错误率之外，使得效果图中的物体更加清晰，并且在效果图中还保留了一些原模型中被忽视掉的细节信息，将原始图像更加完整的表现出来。     

改进DeepLabV3+的高效语义分割

针对目前高精度的语义分割模型普遍存在计算复杂度高、占用内存大,难以在硬件存储和计算力有限的嵌入式平台部署的问题,从网络的参数量、计算量和性能3个方面综合考虑,提出一种基于改进DeepLabV3+的高效语义分割模型.该模型以MobileNetV2为骨干网络,在空洞空间金字塔池化(AS-PP)模块中并联混合带状池化(MSP...     

实时视觉目标跟踪与视频对象分割多任务框架

目的 针对视觉目标跟踪（video object tracking,VOT）和视频对象分割（video object segmentation,VOS）问题,研究人员提出了多个多任务处理框架,但是该类框架的精确度和鲁棒性较差。针对此问题,本文提出一个融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架。方法 文中提出的架构使用了由空洞深度可分离卷积组成的更加多尺度的空洞空间金字塔池化模块,以及具备帧间信息的帧间掩模传播模块,使得网络对多尺度目标对象分割能力更强,同时具备更好的鲁棒性。结果 本文方法在视觉目标跟踪VOT-2016和VOT-2018数据集上的期望平均重叠率（expected average overlap,EAO）分别达到了0.462和0.408,分别比SiamMask高了0.029和0.028,达到了最先进的结果,并且表现出更好的鲁棒性。在视频对象分割DAVIS（densely annotated video segmentation）-2016和DAVIS-2017数据集上也取得了有竞争力的结果。其中,在多目标对象分割DAVIS-2017数据集上,本文方法比SiamMask有更好的性能表现,区域相似度的杰卡德系数的平均值J_M和轮廓精确度的F度量的平均值F_M分别达到了56.0和59.0,并且区域和轮廓的衰变值J_D和F_D都比SiamMask中的低,分别为17.9和19.8。同时运行速度为45帧/s,达到了实时的运行速度。结论 文中提出的融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架,充分捕捉了多尺度上下文信息并且利用了视频帧间的信息,使得网络对多尺度目标对象分割能力更强的同时具备更好的鲁棒性。