结合全卷积神经网络的室内场景分割

目的 视觉假体通过向盲人体内植入电极刺激视神经产生光幻视,盲人所能感受到的物体只是大体轮廓,对物体识别率低,针对视觉假体中室内应用场景的特点,提出一种快速卷积神经网络图像分割方法对室内场景图像进行分割,通过图像分割技术把物品大致的位置和轮廓显示出来,辅助盲人识别。方法 构建了用于室内场景图像分割的FFCN（fast fully convolutional networks）网络,通过层间融合的方法,避免连续卷积对图像特征信息的损失。为了验证网络的有效性,创建了室内环境中的基本生活物品数据集（以下简称XAUT数据集）,在原图上通过灰度标记每个物品的类别,然后附加一张颜色表把灰度图映射成伪彩色图作为语义标签。采用XAUT数据集在Caffe（convolutional architecture for fast feature embedding）框架下对FFCN网络进行训练,得到适应于盲人视觉假体的室内场景分割模型。同时,为了对比模型的有效性,对传统的多尺度融合方法FCN-8s、FCN-16s、FCN-32s等进行结构微调,并采用该数据集进行训练得到适用于室内场景分割的相应算法模型。结果 各类网络的像素识别精度都达到了85%以上,均交并比（MIU）均达到60%以上,其中FCN-8s at-once网络的均交并比最高,达到70.4%,但其分割速度仅为FFCN的1/5。在其他各类指标相差不大的前提下,FFCN快速分割卷积神经网络上平均分割速度达到40帧/s。结论 本文提出的FFCN卷积神经网络可以有效利用多层卷积提取图像信息,避免亮度、颜色、纹理等底层信息的影响,通过尺度融合技术可以很好地避免图像特征信息在网络卷积和池化中的损失,相比于其他FCN网络具有更快的速度,有利于提高图像预处理的实时性。     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

基于深度学习的图像语义分割算法综述

随着自动驾驶及虚拟现实技术等领域的发展,图像语义分割方法受到越来越多的计算机视觉和机器学习研究人员的关注。首先介绍了图像语义分割领域的常用术语以及需要了解的背景概念,并介绍语义分割问题中几种经典的深度学习算法,如全卷积神经网络(FCN)、Deeplab等。最后针对当前图像语义分割算法的应用,总结展望未来研究方向。     

改进Deeplab网络的遥感影像海岛岸线分割

目的 海岛作为一项特殊资源,在海洋开发和利用方面发挥着重要的作用;遥感作为一种非接触式远距离探测手段,为海岛研究提供了重要的数据来源;而深度学习因其对图像特征的提取能力和对复杂问题的拟合能力广泛应用于各个领域。本文结合深度学习的计算优势,兼顾遥感影像的波段数量多和覆盖范围大的特征,以海岛岸线的快速分割为目的,提出了一种改进的海岛岸线遥感影像分割模型。方法 该分割模型包括3方面：1）针对遥感影像的多波段特征,提出基于最佳指数的遥感影像波段组合选择,将选择后的波段组合作为海岛岸线分割模型的输入数据;2）针对遥感影像大范围覆盖的特征,提出基于Deeplab神经网络结构的海岛岸线粗分割,将粗分割结果作为海岛岸线优化的初始边界;3）利用全连接条件随机场优化海岛岸线,实现海岛岸线的细分割提取。结果 以大小不等的4个海岛的岸线提取为例,分别采用改进的海岛岸线分割模型、全卷积神经网络模型（fully convolutional networks,FCN）、Deeplab模型和目视解译法从遥感影像数据中分割海岛岸线。同时,引入平均交并比（mean intersection over union,MIoU）和相对误差,对各模型分割的海岛岸线结果进行精度比较。结果表明,本文改进的海岛岸线分割模型克服了FCN模型海岛岸线的不连续性问题,降低了海岛岸线的误分割现象;从MIoU值的比较可以看出,本文改进模型与目视解译的海岛岸线结果具有更高的吻合度,较FCN模型提高了17.7%,较Deeplab模型提高了5.2%;从海岸岸线的周长和面积的相对误差可以看出,本文改进模型的相对误差均低于FCN模型和Deeplab模型。结论 本文改进模型包含了面向遥感影像的波段选择、利用神经网络训练的海岛岸线粗分割和基于全连接条件随机场的海岛岸线优化,在保证岸线连续性的前提下,提高了海岛岸线的分割精度。     

移动机器人导航中的楼道场景语义分割*

通过深度学习模型对室内楼道环境的视觉信息进行处理,帮助移动机器人在室内楼道环境下自主行走。为达到这个目的,将楼道环境对象分为6类：路、门、窗户、消防栓、门把手和背景,通过图像的语义分割实现对象识别。在对楼道环境的6类对象进行分割的试验中发现,由于“门把手”比起其它对象小很多,影响了对它的识别效果;将6分类模型改为“5+2”分类模型,解决了这个问题。分类模型的基础是全卷积神经网络(FCN),可以初步实现图像的分割。为了提高FCN网络的分割效果,从三个方面进行了试验研究：（1）取出FCN的多个中间特征层,进行多层特征融合;（2）考虑到移动机器人行走过程中视觉信息的时间序列特点,将递归神经网络(RNN)的结构纳入到FCN网络中,构成时间递归的t-LSTM网络;（3）考虑到二维图像相邻像素之间的依赖关系,构成空间递归的s-LSTM网络。这些措施都有效地提高了图像的分割效果,实验结果表明,“多层融合”加“s-LSTM”的结构从分割效果和计算时间方面达到综合指标最佳。     

BP神经网络和支持向量机相结合的电容器介损角辨识

针对电力电容器介质损耗的计算方法稳定性较差,频率波动对介损角的辨识有较大影响的问题,提出了BP神经网络和支持向量机（support vector machine, SVM）相结合（BP-SVM）的辨识方法,并且首次应用于电容器介损角的辨识。在辨识过程中,首先,对电容器工作一段时间的信号进行采样和预处理,预处理后的信号作为训练集训练BP-SVM模型;然后,使用训练好的BP-SVM模型对预处理后新的采样信号进行辨识,判断介损角的变化量。此外,给出了基于BP-SVM模型的介损角表示信号D_δ（t）的计算过程,同时分析了在讨论域内信号D_δ（t）的幅值即是介损角δ。仿真分析结果表明,提出的BP神经网络和SVM相结合的电容器介损角辨识方法比基于深度学习的辨识方法具有更高的辨识准确率,并且频率变化对BP-SVM方法的辨识性能无明显影响。     

基于卷积神经网络的超声图像左心室分割方法

超声图像左心室的分割在临床上对医生的作用巨大。由于超声图像含有大量噪声，轮廓特征不明显，目前的卷积神经网络（CNN）方法对左心室分割容易得到不必要的区域，并且分割目标不完整。为了解决上述问题，在全卷积神经网络（FCN）基础上加入了关键点定位和求取图像凸包方法对分割结果进行优化。首先采用FCN获取初步的分割结果；然后为了去除分割结果中的错误区域，提出一种CNN定位左心室三个关键点的位置，通过关键点筛选掉分割结果中不必要的区域；最后为保证剩余区域能够组合成一个完整的心室，利用求取图像凸包算法将所有有效区域进行合并。实验结果表明，在超声图像左心室分割效果上，所提方法能够在普通FCN的基础上获得很大的提升，在交并比评价标准下，该方法获取的左心室结果能够比传统CNN方法提升近15%。     

改进全卷积神经网络的甲状腺结节分割方法

为了更加精确地分割出甲状腺结节,本文提出了一种改进的全卷积神经网络（Fully convolutional network,FCN） 分割模型。相较于FCN,本文方法加入了空洞空间卷积池化金字塔 （Atrous spatial pyramid pooling, ASPP） 模块与多层特征传递模块（Feature transfer, FT）,并采用LinkNet模型中Decoder模块进行上采样,VGG16主干网络实现特征提取下采样。实验采用来自斯坦福AIMI（Artificial intelligence in medicine and imaging）共享数据集的17 413张超声甲状腺结节图像分别用于训练、验证和测试。实验结果表明,相比于其他多种分割模型,本文模型在平均交并比（mean Intersection over union,mIoU）,Dice相似系数,F₁分数3个分割指标上分别达到了79.7%,87.6%和98.42%,实现了更好的分割效果,有效地提升了甲状腺结节的分割精确度。     

基于级联卷积神经网络的作物病害叶片分割

针对传统卷积神经网络在作物病害叶片图像中分割精度低的问题,提出一种基于级联卷积神经网络（Cascade Convolutional Neural Network,CCNN）的作物病害叶片图像分割方法。该网络由区域病斑检测网络和区域病斑分割网络组成。基于传统VGG16模型构建区域病斑检测网络（Regional Detection Network,RD-net）,利用全局池化层代替全连接层,由此减少模型参数,实现叶片病斑区域精确定位。基于Encoder-Decoder模型结构建立区域分割网络（Regional Segmentation Network,RS-net）,并利用多尺度卷积核提高原始卷积核的局部感受野,对病斑区域精确分割。在不同环境下的病害叶片图像上进行分割实验,分割精度为87.04%、召回率为78.31%、综合评价指标值为88.22%、单幅图像分割速度为0.23?s。实验结果表明该方法能够满足不同环境下的作物病害叶片图像分割需求,可为进一步的作物病害识别方法研究提供参考。     

一种改进FCN 的肝脏肿瘤CT 图像分割方法

精准的医学图像分割是辅助疾病诊断和手术规划的必要步骤。由于腹部器官边界 模糊、对比度不高,肝脏肿瘤的自动分割一直是一个难题。针对传统全卷积神经网络(FCN)实 现端到端分割精度不佳等问题,提出了一种卷积型多尺度融合FCN 的CT 图像肝脏肿瘤分割方 法。首先,通过提高对比度、增强和去噪的方式对原始的CT 图像数据集进行预处理;然后使 用处理后的数据集对所设计好的FCN 网络进行训练;最终得出能够精确分割肝脏肿瘤的网络模 型。实验效果采用多种评价指标进行分割结果的评估,并且与多种常见的分割网络进行对比。 实验结果表明本文方法可以精准分割CT 图像中各种形状和大小的肝脏肿瘤,分割效果良好, 能够为临床的诊断提供可靠的依据。     

基于全卷积网络的图像语义分割方法综述

自全卷积网络(Fully Convolutional Network,FCN)提出以后,应用深度学习技术在图像语义分割领域受到了许多计算机视觉和机器学习研究者的关注,现在这一方向已经成为人工智能方向的研究热点.FCN的核心思想是搭建一个全卷积网络,输入任意尺寸的图像,经过模型的有效学习和推理得到相同尺寸的输出.FCN的提出给图像语义分割领域提供了新的思路,但也存在很多的缺点,比如特征分辨率低、对象存在多尺度问题等.随着研究者不断的钻研,卷积神经网络在图像分割领域逐渐得到了优化和拓展,基于FCN的主流分割框架也层出不穷.图像语义分割对于场景理解的重要性日渐突出,被广泛应用到无人驾驶技术、无人机领域和医疗影像检测与分析等任务中.因此,对图像语义分割领域的研究将值得深入研究,使其能够更好在实际应用中大放异彩.     

结合全卷积网络和K均值聚类的球栅阵列焊球边缘气泡分割

针对在球栅阵列（BGA）气泡检测中,由于图像干扰因素的多样性导致焊球存在边缘气泡与背景之间灰度级接近,从而造成焊球气泡分割结果不精确的问题,提出了一种结合全卷积神经网络（FCN）和K均值（K-means）聚类分割的焊球气泡分割方法。首先根据所制作的BGA标签数据集搭建FCN,通过训练该网络得到合适的网络模型,再对待测BGA图像进行预测处理得到图像的粗分割结果;然后对焊球区域映射提取,通过同态滤波法提高气泡区域辨识度,再使用K-means聚类分割对图像进行细分割处理,得到最终分割结果图;最后对原图焊球及气泡区域进行标注识别。将所提出的算法与传统BGA气泡分割算法进行对比,实验结果表明,所提出的算法对复杂BGA焊球的边缘气泡分割精确,图像分割结果与其真实轮廓高度匹配,准确度更高。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于HC-CFCN模型的肝脏CT图像分割

在计算机断层扫描(CT)图像中肝脏与相邻器官灰度值近似,且不同患者的肝脏轮廓存在差异性,导致肝脏CT图像的精确分割成为医学图像处理中的难题之一。为实现肝脏CT图像的自动分割,构建一种层间上下文级联式的全卷积神经网络模型HC-CFCN。利用第1级网络实现肝脏轮廓的粗略分割,并将其分割结果与原始CT图像、肝脏能量图共同作为第2级网络的输入,优化分割结果。在LiTS数据集上的实验结果表明,与U-Net、FCN+3DCRF和V-Net模型相比,HC-CFCN模型的分割精度较高。     

全卷积深度迁移网络的联合分割

近年来,随着超声空化在医疗上的应用,超声空化治疗又重新回到了人们的视野,因其在处理血管阻塞方面的天然的优势,引起了广泛的讨论和研究。为实现准确的实时治疗,提出了一种基于全卷积网络（Fully Convolutional Networks,FCN）的超声血管分割方法。全卷积深度迁移分割网络（Full Convolutional deep Aggregation Migration Network,AMFCN）通过对全卷积网络使用对称网络连接,深度聚合模式以深度提取图像特征,并优化数据增强方式,添加迁移学习模型等方法,有效地利用已有数据进行数据拓展,缓解医学图像数据过少的影响。实验结果表明,该研究方法在超声血管图像上取得了较好的分割性能,能准确地分割出血管区域。     

基于卷积神经网络的偏色光下植物图像分割方法

为了解决传统图像分割算法在植物工厂中偏色光植物图像上分割精确度不高、泛化性能差的问题,提出了一种基于卷积神经网络,并结合深度学习技术,对人工偏色光下植物图像进行精确分割的方法。采用该方法,最终在偏色光植物图像原始测试集上达到了91.89%的分割精确度,远超全卷积网络、聚类、阈值、区域生长等分割算法。此外,在不同色光之下的植物图片上进行测试,该方法也较上述其他分割算法有着更好的分割效果和泛化性能。实验结果表明,所提方法能够显著提高偏色光下植物图像分割的精确度,可以应用于实际的植物工厂工程项目当中。     

基于全卷积神经网络的多源高分辨率遥感道路提取

针对半自动道路提取方法人工参与较多、提取精度不高且较为耗时的问题提出一种基于全卷积神经网络（FCN）的多源高分辨率遥感道路提取方法。首先,对高分二号和World View图像进行分割,用卷积神经网络（CNN）分类出包含道路的图像;然后,用Canny算子提取道路的边缘特征信息;最后,结合RGB、Gray和标签图放入FCN中训练,将现有的FCN模型拓展为多卫星源输入及多特征源输入的FCN模型。选取西藏日喀则地区作为研究区域,实验结果显示,所提方法在对高分辨率遥感影像进行道路提取时能够达到99.2%的提取精度,并且有效地减少了提取所需的时间。     

基于条件能量对抗网络的肝脏和肝肿瘤分割

从图像中分割出肝脏和肝肿瘤是肝部疾病诊断重要手段之一,现有基于卷积神经网络（Convolutional Neural Network,CNN）方法通过为输入图像中每个像素分配类别标签来实现肝脏和肝肿瘤分割。CNN在对每个像素分类过程中没有使用邻域内其他像素类别信息,容易出现小目标漏检和目标边界分割模糊问题。针对这些问题,提出了条件能量对抗网络用于肝脏和肝肿瘤分割。该方法基于能量生成对抗网络（Energy-Based Generative Adversarial Network,EBGAN）和条件生成对抗网络（Conditional Generative Adversarial Network,CGAN）,使用一个基于CNN的分割网络作为生成器与一个自编码器作为判别器,通过将判别器作为一种损失函数来度量并提升分割结果与真实标注之间的相似度。在对抗训练过程中,判别器将生成器输出的分割结果作为输入并将原始图像作为条件约束,通过学习像素类别之间的高阶一致性提高分割精度,使用能量函数作为判别器避免了对抗网络训练中容易出现的梯度消失或梯度爆炸,更易于训练。在MICCAI 2017肝肿瘤分割（LiTS）挑战赛的数据集和3DIRCADb数据集上对提出的方法进行验证,实验结果表明,该方法不仅实现了肝脏与肝肿瘤的自动分割,还利用像素类别之间的高阶一致性提升了肿瘤和肝脏边界的分割精度,减少了小体积肿瘤的漏检。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络（GAN）能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义。而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题。针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络（C-WGAN）模型。首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,根据所识别出的特征对应关系进行目标样本的生成。模型采用Wassertein距离来度量两个图像特征之间分布的距离,稳定GAN训练环境,规避模型训练过程中的模式崩溃,从而提升生成图像的精度和训练效率。实验结果表明,与原始条件生成对抗网络（CGAN）和pix2pix模型相比,所提模型的峰值信噪比（PSNR）分别最大提升了6.82%和2.19%;在训练轮数相同的情况下,该模型更快达到收敛状态。由此可见,所提模型不仅能够有效地提升图像生成的精度,而且能够提高网络的收敛速度。