全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

卷积神经网络结合可变模型的MRI图像自动分割方法

利用心脏核磁共振成像技术对左心室进行分割,可以准确计算出心室容积等重要临床指标。针对左心室位置检测、形状推断与分割问题,提出一种基于卷积网络和可变模型算法的左心室图像处理方法。利用稀疏自动编码和卷积网络实现左心室图像位置的高精度检测;基于堆栈稀疏编码器和多层神经网络推断出左心室图像的基本形状;利用可变模型和推断出的形状组合对心脏图像进行精确分割。在30个心脏核磁共振数据库中采集图像数据进行实验分析,实验结果表明,相比其他几种较新的分割算法,该方法在计算轮廓比例和一致性两个指标上均获得了最优结果。     

全卷积神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域的热点研究课题,随着全卷积神经网络的迅速兴起,图像语义分割和全卷积神经网络的融合发展取得了非常卓越的成绩.通过对近年来高质量文献的收集,重点对全卷积神经网络图像语义分割方法进行总结.将收集的文献,按照应用场景的不同,划分为经典语义分割、实时性语义分割和RGBD语义分割,对具有代表性的分割方法...     

基于全卷积神经网络的林木图像分割

针对传统方法进行图像分割易受噪声影响问题,提出了一种基于全卷积神经网络的林木图像分割方法。该方法不需要对图像进行预处理,利用上池化和反卷积层恢复图像分辨率,采用跳跃连接降低网络复杂度,同时避免了梯度消失问题,使用Dropout正则化随机激活网络隐藏单元以防止过拟合,后端结合全连接的条件随机场以恢复对象边缘的细节信息,进一步优化分割结果。该模型能够在林木图像上实现良好的分割。     

面向目标6DoF姿态与尺寸估计的全卷积神经网络模型

针对6DoF姿态估计需要收集与标注大量数据训练神经网络提出一种小数据集下面向目标6DoF姿态与尺寸估计的全卷积神经网络模型以降低人工操作成本。首先采用注意力机制与特征金字塔相结合的方式通过区域建议网络提取感兴趣区域,将该区域输入并行融合全卷积网络获得掩膜图;其次通过增加跳跃连接丰富每个卷积后的特征信息,将其融合并通过分类获得预测标准化坐标空间图;最后将得到的掩膜图与标准化坐标空间图通过三维点云配准获得目标的6DoF姿态与尺寸。实验表明,该方法在小数据集下较PVN3D方法精度提升约2.6%,较GPVPose方法精度提升约1%。     

基于FCN的图像中文字目标语义分割

本文提出一种基于全卷积神经网络的图像中文字目标语义分割算法和一种新的数据集制作与增广方法.该算法首先采用改进全卷积神经网络对图像中的文字目标进行初步分割,然后利用大津法进行二值化处理,划分出目标的大致区域,最后用全连接条件随机场算法进行修正,得到最终结果.该算法在测试集上准确率为85.7%,速度为0.181秒/幅,为图像目标区域的进一步分析做准备.     

全卷积注意力机制神经网络的图像语义分割

全卷积神经网络是一种强大的端到端的模型,在语义分割领域应用广泛,获得了巨大的成功.研究人员提出了一系列基于完全卷积神经网络的方法,但是随着卷积和池化的持续性下采样,图像的上下文信息将会丢失,影响了像素级分类.针对完全卷积网络上下文信息丢失问题,提出基于像素的注意力方法.该方法利用计算高级特征图像素之间的联系来获取全局信...     

基于可形变模型的左心室形状恢复与运动跟踪

从心脏核磁共振图像恢复左心室的3D形状并跟踪其运动,是当前医学图像分析领域的重要研究课题之一。提出了一种基于可形变模型的左心室3D形状恢复与运动跟踪方法,该模型充分考虑了左心室的实际几何形状,将左心室描述为一个一端封闭、非轴对称、轴线弯曲的广义圆柱壳;模型的参数为函数,用全局参数即可捕捉左心室的局部形变;模型的求解纳入基于物理学的可形变模型框架之下,这样,左心室的形状恢复与运动跟踪变成一个动态的数据拟合过程。根据跟踪的结果可以观察左心室的容积、质量等在一个心动周期中的变化情况,计算每博容积、射血分数等心功能指标,为心脏疾病诊断提供直观的临床参考。     

基于多尺度特征和注意力机制的航空图像分割

利用神经网络能通过进行建筑像素标记实现航空图像分割,但也存在分割边界模糊的问题,导致分割结果不理想.为此,本文以卷积神经网络U–net和FCN–8s基本网络模型,实现端到端训练.在此基础上,结合建立了全卷积神经网络结合多尺度特征和注意力机制的网络模型,提升了分割边界的清晰度.将多尺度特征和注意力机制的模型与基本模型进行对比,分析了真实与预测之间的相关度和相似度,并将预测结果进行对比.实验结果表明,结合多尺度特征和注意力机制的分割模型,分割边界更清晰,相对于相同训练规模的全卷积网络交并比高2%, Dice系数高3%,得到较好的分割结果.     

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了 3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升.     

基于全卷积神经网络的肝脏CT影像分割研究

针对腹部CT影像邻近器官对比度较低及因个体肝脏形状差异较大等引起肝脏分割困难的问题,提出了全卷积神经网络肝脏分割模型。首先通过卷积神经网络提取图像深层、抽象的特征,再通过反卷积运算对提取到的特征映射进行插值重构后得到分割结果。由于单纯进行反卷积得到的分割结果往往比较粗糙,因此,在反卷积之前,先融合高层与低层的特征,并且通过增加反卷积的层数、减少反卷积步长,得到了更为精确的分割结果。与传统卷积神经网络的分割方法相比,该模型可以充分利用CT影像的空间信息。实验数据表明该模型能够使腹部CT影像肝脏分割具有较高的精度。     

全卷积神经网络的字符级文本分类方法

传统卷积神经网络文本分类模型全连接层参数过多易引发过拟合问题,为此,将图像分割中的全卷积思想首次引入字符级文本分类任务中,不仅避免了过拟合问题,而且通过卷积层替换全连接层减少了参数数量,从而加快了模型收敛速度。文本分类问题中单词、短语等层面的处理方式存在获取文本信息不充分的问题。使用字符级全卷积神经网络进行文本分类,充分获取文本信息,并在卷积池化层后添加局部响应归一化层（LRN）,提高了模型的总体性能。通过使用多指标在测试数据集中进行模型评估,充分验证了该模型的有效性,与其他模型相比,提出的模型在二分类与多分类任务中具有更好的分类性能。     

基于全卷积神经网络与低秩稀疏分解的显著性检测

为了准确检测复杂背景下的显著区域,提出一种全卷积神经网络与低秩稀疏分解相结合的显著性检测方法,将图像分解为代表背景的低秩矩阵和对应显著区域的稀疏噪声,结合利用全卷积神经网络学习得到的高层语义先验知识,检测图像中的显著区域.首先,对原图像进行超像素聚类,并提取每个超像素的颜色、纹理和边缘特征,据此构成特征矩阵;然后,在MSRA数据库中,基于梯度下降法学习得到特征变换矩阵,利用全卷积神经网络学习得到高层语义先验知识;接着,利用特征变换矩阵和高层语义先验知识矩阵对特征矩阵进行变换;最后,利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解,并根据分解得到的稀疏噪声计算显著图.在公开数据集上进行实验验证,并与当前流行的方法进行对比,实验结果表明,本文方法能够准确地检测感兴趣区域,是一种有效的自然图像目标检测与分割的预处理方法.     

基于GVF模型与光流场的左心室容积计算

针对目前利用心脏核磁共振图像计算左心室容积存在的分割困难和计算量大的问题,提出了一种新的计算左心室容积的方法.首先采用基于梯度向量流的主动轮廓模型(GVF-snake)对左心室内膜进行分割获取初始轮廓线,再采用光流法跟踪得到心脏序列中后续帧图像的心腔内膜轮廓线,最后采用Simpson方法计算得到左心室容积.运用该方法得到的结果和用手工勾画心脏内膜轮廓得到的结果比较表明:GVF-snake与光流运动跟踪相结合的方法用于左心室容积的计算是可行的.     

基于改进全卷积神经网络的航拍图像语义分类方法

现有的卷积神经网络方法难以对图像的每个像素进行语义识别,较难从像素层面分解出图像的不同类别。为此,提出一种端到端的全卷积深度网络,以实现高分辨航拍图像像素级的语义分割及识别。通过全卷积神经网络对图像强度信息和地理信息系统信息分别采用独立通道进行处理,在全卷积神经网络的最终层合并2个通道,并对每个像素进行全连接像素级标注,利用条件随机场作为后期处理方法平滑相似区域,同时保留图像中的边缘信息。实验结果表明,与传统视觉语义分类算法相比,该算法在航拍图像像素级分类上的准确率更高,识别效果更好。     

基于3D CNN的鼻咽癌CT图像分割

鼻咽癌CT图像分割是鼻咽癌诊断和治疗的先行任务,然而,由于鼻咽癌细胞的外形多样、灰度不均匀、边界模糊、病变形状复杂等因素使得分割难以准确。针对这一问题,提出了一种基于三维深度卷积神经网络的鼻咽癌CT图像分割方法,三维深度卷积神经网络框架的前5层采用卷积核为3~3的普通卷积,中间6层采用空洞率为2的膨胀卷积,后6层采用空洞率为4的膨胀卷积,每2个卷积层之间有一个残差连接,最后利用Softmax函数对每个像素点进行分类。膨胀卷积有助于得到精确的密集预测和沿物体边界的精细分割图,残差连接使深度卷积神经网络中的信息传播平滑,并能提高训练速度。实验结果表明,在鼻咽癌CT图像分割中该方法与其他主流方法相比有更好的性能。     

结合全卷积网络的无监督视频目标分割

对视频中的目标进行像素级分割是计算机视觉领域的研究热点，完全没有用户标注的无监督视频分割对分割算法提出了更高的要求。近几年在分割中常使用基于帧间运动信息进行建模的方法，即用光流等运动信息预测目标轮廓，再结合颜色等特征建立模型进行分割。针对这些方法产生的前景背景混淆以及边缘粗糙等问题，本文提出结合全卷积网络的视频目标分割方法。首先通过全卷积网络预测视频序列中显著目标的轮廓，结合光流获得的运动显著性标签进行修正，然后建立时间-空间图模型，运用图割的方法获得最终的预测标签。在SegTrack v2以及DAVIS这2个通用数据集上进行评估，结果表明本文方法较基于帧间运动信息的方法在分割效果上有明显的提高。     

全卷积神经网络的多尺度人脸检测的研究

为实现快速而准确的人脸检测,提出了一种基于全卷积神经网络的多尺度人脸检测的方法,将卷积神经网络模型AlexNet的全连接层改为全卷积层,并将分类层改为人脸与非人脸的二分类,训练之后准确率达到99.16%。将训练好的分类模型用于人脸检测时,待检测图片通过多尺度变换后输入全卷积网络得到特征图的概率矩阵,用非极大值抑制得到最精准的人脸框。检测结果表明,该方法在人脸检测时准确率高,检测时间短,表现出较好的性能。     

Seg-CapNet：心脏MRI图像分割神经网络模型

目的 针对现有神经网络模型需要对左心室心肌内膜和外膜单独建模的问题,本文提出了一种基于胶囊结构的心脏磁共振图像（magnetic resonance imaging,MRI）分割模型Seg-CapNet,旨在同时提取心肌内膜和外膜,并保证两者的空间位置关系。方法 首先利用胶囊网络将待分割目标转换成包含目标相对位置、颜色以及大小等信息的向量,然后使用全连接将这些向量的空间关系进行重组,最后采用反卷积对特征图进行上采样,将分割图还原为输入图像尺寸。在上采样过程中将每层特征图与卷积层的特征图进行连接,有助于图像细节还原以及模型的反向传播,加快训练过程。Seg-CapNet的输出向量不仅有图像的灰度、纹理等底层图像特征,还包含目标的位置、大小等语义特征,有效提升了目标图像的分割精度。为了进一步提高分割质量,还提出了一种新的损失函数用于约束分割结果以保持多目标区域间的相对位置关系。结果 在ACDC（automated cardiac diagnosis challenge）2017、MICCAI（medical image computing and computer-assisted intervention）2013和MICCAI2009等3个心脏MRI分割竞赛的公开数据集上对Seg-CapNet模型进行训练和验证,并与神经网络分割模型U-net和SegNet进行对比。实验结果表明,相对于U-Net和SegNet,Seg-CapNet同时分割目标重叠区域的平均Dice系数提升了3.5%,平均豪斯多夫距离（Hausdorff distance,HD）降低了18%。并且Seg-CapNet的参数量仅为U-Net的54%、SegNet的40%,在提升分割精度的同时,降低了训练时间和复杂度。结论 本文提出的Seg-CapNet模型在保证同时分割重叠区域目标的同时,降低了参数量,提升了训练速度,并保持了较好的左心室心肌内膜和外膜分割精度。     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。