基于改进ASPP的域适应地物分类算法

遥感摄影图像由于具有地域多样性特点（不同的地理位置、地形、天气条件），在跨域语义分割任务上容易出现目标的错漏分问题。为了进一步解决跨域分割的问题，根据先进的Scale-aware＿da算法提出了一个具有尺度意识的对抗学习框架。对Scale-aware＿da算法进行改良，提出了一种生成对抗网络并改进空洞卷积空间金字塔池化模块（ASPP）的域适应土地覆盖分类算法。该算法在不同特征层使用阶梯级递减的多尺度ASPP；将不同特征层所得信息进行融合，较好地保留了各类目标信息；基于生成对抗网络原理，对于源域和目标域的域间差异问题，提出了三鉴别器网络，包括特征鉴别器、尺度鉴别器和跨域鉴别器。在ISPRS Vaihingen与ISPRS Potsdam互为源域与目标域的情况下，做域自适应实验，实验结果表明，文中算法与Scale-aware＿da算法的平均交并比（MIoU）指标相比，在Potsdam—Vaihingen域适应中提升了0.93%，在Vaihingen—Potsdam域适应中提升了1.23%。     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度。为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法。该方法采用基于U-Net模型的编码器-译码器结构,在特征提取部分沿用U-Net模型的编码器结构,提取多个层级的特征信息;在特征融合部分保留U-Net的跳跃连接结构,同时使用提出的特征融合优化策略,实现了高层语义特征与底层位置特征的融合-优化-再融合。此外特征融合优化策略还使用空洞卷积获取了更多的全局特征,并采用Sub-Pixel卷积层代替传统转置卷积,实现了自适应上采样。所提方法在ISPRS的Potsdam数据集和Vaihingen数据集上得到了验证,其总体分割精度、Kappa系数和平均交并比mIoU 3个评价指标在Potsdam数据集上分别为86.2%,0.82,0.77,在Vaihingen数据集上分别为84.5%,0.79,0.69;相比传统的U-Net模型,所提方法的3个评价指标在Potsdam数据集上分...     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题，提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构，在编码阶段，采用空间金字塔池化获取多尺度的上下文信息，同时融合特征通道之间的关联信息，提高特征图的语义表征能力；在解码阶段，基于注意力机制将高层特征与低层特征自适应地融合，逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验，PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

改进YOLOv3算法及其在航拍图像车辆检测中的应用

针对航拍图像中的车辆目标尺度小、特征不明显导致目标检测困难的问题,提出一种改进YOLOv3的航拍车辆目标检测方法。将空间金字塔池化模块引入到特征提取网络中,丰富卷积特征的表达能力;设计4个不同尺度的卷积特征金字塔,并通过卷积特征融合机制来实现对多层级卷积特征的融合,在融合后的卷积特征金字塔上进行目标检测。在航拍图像车辆目标检测数据集上的测试结果表明,与原YOLOv3相比,改进后的算法能够有效地提高对航拍图像中车辆目标检测效果的查全率以及查准率,并将平均均值精度(mean average precision, mAP)提升了4.5百分点。     

多尺度特征融合的脊柱X线图像分割方法

为了精确地从X线图像中分割脊柱,提出了一种基于深度学习的脊柱X线图像分割方法,使用基于多尺度特征融合的U-Net网络进行分割。将U-Net模型中的卷积层替换成类Inception网络来提取不同尺度的特征,并进行多尺度融合。同时在跳跃连接前增加残差连接层,并在首次上采样前添加卷积块注意力模块。该模型对20幅脊柱X线图像进行验证,Dice系数为0.845 7,与近期X线脊柱图像分割方法相比,提高了0.135 1。     

基于多重感受野UNet的仪表图像分割方法

为解决现有深度学习图像分割算法不能有效分割指针仪表图像中密集小目标的问题,提出基于多重感受野UNet的仪表图像分割方法.将自编码器结构和空洞卷积结构结合,使多尺度浅层特征和深层语义信息融合;以多种光照强度下采集的指针仪表数据训练模型,充分提升神经网络的泛化能力;并行调节空洞卷积参数,使神经网络学习到最优模型.实验结果表...     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

结合深度学习和超像元的高分遥感影像变化检测

目的 随着遥感影像空间分辨率的提升,相同地物的空间纹理表现形式差异变大,地物特征更加复杂多样,传统的变化检测方法已很难满足需求。为提高高分辨率遥感影像的变化检测精度,尤其对相同地物中纹理差异较大的区域做出有效判别,提出结合深度学习和超像元分割的高分辨率遥感影像变化检测方法。方法 将有限带标签数据分割成切片作训练样本,按照样本形式设计一个多切片尺度特征融合网络并对其训练,获得测试图像的初步变化检测结果;利用超像元分割算法将测试图像分割成许多无重叠的同质性区域,并将分割结果与前述检测结果叠合,得到带分割标记的变化检测结果;用举手表决算法统计带分割标记的变化检测结果中超像元的变化状况,得到最终变化检测结果。结果 在变化检测实验结果中,本文提出的多切片尺度特征融合卷积网络模型在广东数据集和香港数据集上,优于单一切片尺度下卷积神经网络模型,并且结合超像元的多切片尺度特征融合卷积网络模型得到的Kappa系数分别达到80%和82%,比相应的非超像元算法分别提高了6%和8%,在两个测试集上表现均优于长短时记忆网络、深度置信网络等对比算法。结论 本文提出的卷积神经网络变化检测方法可以充分学习切片的空间信息和其他有效特征,避免过拟合现象;多层尺度切片特征融合的方法优于单一切片尺度训练神经网络的方法;结合深度学习和超像元分割算法,检测单元实现了由切片到超像元的转变,能对同物异谱的区域做出有效判决,有利于提升变化检测精度。     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

树形结构卷积神经网络优化的城区遥感图像语义分割

目的 高分辨率遥感图像通常包含复杂的语义信息与易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。基于DeepLab V3+网络结构,结合树形神经网络结构模块,设计出一种针对高分辨率遥感图像的语义分割网络。方法 提出的网络结构不仅对DeepLab V3+做出了修改,使其适用于多尺度、多模态的数据,而且在其后添加连接树形神经网络结构模块。树形结构通过建立混淆矩阵、提取混淆图、构建图分割,能够对易混淆的像素更好地区分,得到更准确的分割结果。结果 在国际摄影测量及遥感探测学会（International Society for Photogrammetry and Remote Sensing,ISPRS）提供的两个不同城市的遥感影像集上分别进行了实验,模型在整体准确率（overall accuracy, OA）这一项表现最好,在Vaihingen和Potsdam数据集上分别达到了90.4%和90.7%,其整体分割准确率较其基准结果有10.3%和17.4%的提升,对比ISPRS官方网站上的3种先进方法也有显著提升。结论 提出结合DeepLab V3+和树形结构的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率显著提高。在包含复杂语义信息的高分辨率遥感图像中,由于易混淆类别之间的像素分割错误减少,使用了树形结构的网络模型的整体分割准确率也有较大提升。     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

结合全卷积网络和GrowCut的肾皮质分割算法

目的 肾脏图像分割对于肾脏疾病的诊断有着重要意义,临床上通过测量肾皮质的体积和厚度可判断肾脏是否有肿瘤、慢性动脉硬化性肾病和肾移植急性排斥反应等。现有的肾脏分割算法大多针对一种模态,且只能分割出肾脏整体。本文提出一种基于全卷积网络和GrowCut的肾皮质自动分割算法,用于多模态肾脏图像分割。方法 首先用广义霍夫变换对肾脏进行检测,提取出感兴趣区域,通过数据增强扩充带标签数据;然后用VGG-16预训练模型进行迁移学习,构建适用于肾皮质分割的全卷积网络,设置网络训练参数,使用扩充数据训练网络。最后用全卷积网络分割图像,提取最后一层卷积层的特征图得到种子点标记,结合肾脏图像的先验知识纠正错误种子点,将该标记图作为GrowCut初始种子点可实现肾皮质准确分割。结果 实验数据为30组临床CT和MRI图像,其中一组有标记的CT图像用于训练网络并测试算法分割准确性,该文算法分割准确率IU（region intersection over union）和DSC（Dice similarity coefficient）分别达到91.06%±2.34%和91.79%±2.39%。与全卷积网络FCN-32s相比,本文提出的网络参数减少,准确率更高,可实现肾皮质分割。GrowCut算法考虑像素间的邻域信息,与全卷积网络结合可进一步将分割准确率提高3%。结论 该方法可准确分割多模态肾脏图像,包括正常和变异肾脏的图像,说明该方法优于主流方法,能够为临床诊断提供可靠依据。     

多源特征自适应融合网络的高分遥感影像语义分割

目的 在高分辨率遥感影像语义分割任务中,仅利用可见光图像很难区分光谱特征相似的区域(如草坪和树、道路和建筑物),高程信息的引入可以显著改善分类结果。然而,可见光图像与高程数据的特征分布差异较大,简单的级联或相加的融合方式不能有效处理两种模态融合时的噪声,使得融合效果不佳。因此如何有效地融合多模态特征成为遥感语义分割的关键问题。针对这一问题,本文提出了一个多源特征自适应融合模型。方法 通过像素的目标类别以及上下文信息动态融合模态特征,减弱融合噪声影响,有效利用多模态数据的互补信息。该模型主要包含3个部分：双编码器负责提取光谱和高程模态的特征;模态自适应融合模块协同处理多模态特征,依据像素的目标类别以及上下文信息动态地利用高程信息强化光谱特征,使得网络可以针对特定的对象类别或者特定的空间位置来选择特定模态网络的特征信息;全局上下文聚合模块,从空间和通道角度进行全局上下文建模以获得更丰富的特征表示。结果 对实验结果进行定性、定量相结合的评价。定性结果中,本文算法获取的分割结果更加精细化。定量结果中,在ISPRS(International Society for Photogrammetry...     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

加强类别关系的农作物遥感图像语义分割

目的 遥感图像处理技术在农作物规划、植被检测以及农用地监测等方面具有重要的作用。然而农作物遥感图像上存在类别不平衡的问题,部分样本中农作物类间相似度高、类内差异性大,使得农作物遥感图像的语义分割更具挑战性。为了解决这些问题,提出一种融合不同尺度类别关系的农作物遥感图像语义分割网络CRNet(class relation network)。方法 该网络将ResNet-34作为编码器的主干网络提取图像特征,并采用特征金字塔结构融合高阶语义特征和低阶空间信息,增强网络对图像细节的处理能力。引入类别关系模块获取不同尺度的类别关系,利用一种新的类别特征加强注意力机制(class feature enhancement, CFE)结合通道注意力和加强位置信息的空间注意力,使得农作物类间的语义差异和农作物类内的相关性增大。在解码器中,将不同尺度的类别关系融合,增强了网络对不同尺度农作物特征的识别能力,从而提高了对农作物边界分割的精度。通过数据预处理、数据增强和类别平衡损失函数(class-balanced loss, CB loss)进一步缓解了农作物遥感图像中类别不平衡的问题。结果 在Barley...     

全监督和弱监督图网络的病理图像分割

目的 计算机辅助技术以及显微病理图像处理技术给病理诊断带来了极大的便利。病理图像分割是常用的技术手段,可用于划分病灶和背景组织。开发高精度的分割算法,需要大量精准标注的数字病理图像,但是标注过程耗时费力,具有精准标注的病理图像稀少。而且,病理图像非常复杂,对病理组织分割算法的鲁棒性和泛化性要求极高。因此,本文提出一种基于图网络的病理图像分割框架。方法 该框架有全监督图网络（full supervised graph network,FSGNet）和弱监督图网络（weakly supervised graph network,WSGNet）两种模式,以适应不同标注量的数据集以及多种应用场景的精度需求。通过图网络学习病理组织的不规则形态,FSGNet能达到较高的分割精度;WSGNet采用超像素级推理,仅需要稀疏点标注就能分割病理组织。结果 本文在两个公开数据集GlaS(Gland Segmentation Challenge Dataset)（测试集分为A部分和B部分）、CRAG(colorectal adenocarcinoma gland)和一个私有数据集LUSC(lung squam...     

前列腺磁共振图像分割的反卷积神经网络方法

目的 前列腺磁共振图像存在组织边界对比度低、有效区域少等问题,手工勾勒组织轮廓边界的传统分割方法无法满足临床实时性要求,针对这些问题提出了一种基于深度反卷积神经网络的前列腺磁共振图像分割算法。方法 基于深度学习理论,将训练图像样本输入设计好的卷积神经网络,提取具有高度区分性的前列腺图像特征,反卷积策略用于拓展特征图尺寸,使网络的输入尺寸与输出预测图大小匹配。网络生成的概率预测图通过训练一个softmax分类器,对预测图像取二值化,获得最终的分割结果。为克服原始图像中有效组织较少的问题,采用dice相似性系数作为卷积网络的损失函数。结果 本文算法以Dice相似性系数和Hausdorff距离作为评价指标,在MICCAI 2012数据集中,Dice相似性系数大于89.75%,Hausdorff距离小于1.3 mm,达到了传统方法的分割精度,并且将处理时间缩短在1 min以内,明显优于其他方法。结论 定量与定性的实验表明,基于反卷积神经网络的前列腺分割方法可以准确地对磁共振图像进行分割,相比于其他分割算法大幅度减小了处理时间,能够很好地适用于临床的前列腺图像分割任务。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。