融合超像素和CNN的CT图像分割方法

提出了一种融合超像素和CNN的CT图像器官主动轮廓分割方法。用超像素SLIC方法将CT图像网格化并分配标签;将网格化后图像作为数据集训练CNN网络分割出器官（如肝脏、肺部等）边界超像素,并将这些超像素的种子点连接成为粗分割边界;将粗分割边界作为初始轮廓,进行模糊主动轮廓分割得到CT图像中器官的边界。经过实验对比,该方法对肺部CT图像的分割平均DC系数达到97%、平均ASD系数达到1.23 mm。在肝脏CT图像方面与参考算法进行相比,在保证分割精度的前提下,VOE系数平均减少1%,切片图像的分割时间平均提高10 s。     

结合深度信息的室内图像语义分割

针对因光照及物体颜色相近等问题导致的图像分割不准确问题,论文提出了一种结合深度信息的室内图像语义分割方法.首先利用像素之间的深度相似性,将相似图像几何结构无缝地合并到卷积神经网络(CNN)中,以生成像素级每个类别的一元势能响应;然后将图像深度信息融合到对比敏感的双核势能条件随机场(CRF)中,将其与先前的一元势能结合进行室内图像细化分割进而获得最终结果;最后采用NYUv2数据集、三个平均指标,将论文方法和已有的五种分割方法进行对比实验,结果表明论文方法有着良好表现,可以有效地改善室内图像分割精度.     

基于窗口优化技术的肝和肿瘤CT图像的自动分割

针对窗口技术将高位计算机断层扫描(CT)图像像素强度范围重新映射到一个可观测的范围时会损失图像信息,并且做一次预处理后就进行自动分割的方法不能很好地适应肿瘤分割的问题,提出了一种分步优化分割CT值的强度窗口预处理方法.利用肝脏及其肿瘤的CT值直方图和窗口技术对原始图像和肝部图像进行分步预处理,提高感兴趣区域的对比度;在级联的卷积神经网络中分别对比不同强度窗口的肝和肿瘤的自动分割精度,并得到了肝脏及其肿瘤的最佳分割CT值范围,分别是[-40,190]HU,[-25,145]HU.该方法在3DIRCADb数据集上用三类主流分割网络UNet、ResNet和FCN进行了实验,验证了不同CT值范围对肝分割精度的影响能达到6.75％,并能将不同网络的分割精度提高2％左右.     

基于窗口优化技术的肝和肿瘤CT图像的自动分割

针对窗口技术将高位计算机断层扫描(CT)图像像素强度范围重新映射到一个可观测的范围时会损失图像信息,并且做一次预处理后就进行自动分割的方法不能很好地适应肿瘤分割的问题,提出了一种分步优化分割CT值的强度窗口预处理方法.利用肝脏及其肿瘤的CT值直方图和窗口技术对原始图像和肝部图像进行分步预处理,提高感兴趣区域的对比度;在级联的卷积神经网络中分别对比不同强度窗口的肝和肿瘤的自动分割精度,并得到了肝脏及其肿瘤的最佳分割CT值范围,分别是[-40,190]HU,[-25,145]HU.该方法在3DIRCADb数据集上用三类主流分割网络UNet、ResNet和FCN进行了实验,验证了不同CT值范围对肝分割精度的影响能达到6.75％,并能将不同网络的分割精度提高2％左右.     

一种基于超像素和改进U-net的多模态脑部肿瘤图像分割方法

针对多模态脑部肿瘤图像分割难度较大和对脑部肿瘤边缘区域的分割不足等问题,本文将多模态脑部肿瘤图像分割任务分成两部分解决.第一部分是对脑部肿瘤轮廓区域的分割,先用超像素分割算法对图像进行预处理简化图像的表示形式,再提取每个超像素区域的灰度直方图,通过皮尔逊相关系数计算每个超像素区域的相似度,最后用均值漂移算法对剩余的直方...     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义。实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例分割与双阶段实例分割的分类对不同网络模型进行论述,重点介绍近两年网络框架的发展,总结各网络特点的同时提出未来发展方向。     

协同目标性指导下的多图像联合分割算法

提出一种协同分割算法,使包含同类目标的多幅图像相互作用,从而将目标从各自图像的背景中分离出来。首先,分别从单幅图像自身角度和多幅同类目标图像相互作用的角度出发,计算出图像中每个像素或区域属于前景或背景的似然概率,从而得到协同目标性映射图。这个映射图描述了目标的位置和几何形状信息,然后阈值化这个映射图作为图像分割真值来训练一个关于超像素的二值分类器,用训练好的分类器预测出每个超像素的前背景似然概率作为外观先验信息,与几何先验信息一并送入条件随机场模型,从而实现对图像目标的分割。在MSRC和iCoseg两个数据库上的测试结果表明该算法的分割效果优于同类方法。     

基于多尺度特征和注意力机制的肝脏组织病理图像语义分割网络

针对肝脏组织病理图像分割中存在的正常组织和异常组织过渡区域较难分割和空洞较多的问题,设计基于多尺度特征和注意力机制的肝脏组织病理图像语义分割网络.在编码器中提取融合多尺度特征,改善正常组织和异常组织过渡区域的分割效果.同时利用注意力机制对空间维度和通道维度进行相关性建模,获得每个像素类内响应和通道间的依赖关系,缓解肝脏组织病理图像空洞较多对网络学习带来的影响.实验表明文中网络可较快速准确分割肝脏组织病理图像损伤区域.     

基于目标识别与显著性检测的图像场景多对象分割

提出了一种基于目标识别与显著性检测的图像场景多对象分割方法。该方法的步骤包括:在图像训练集上训练语义对象的检测器,用来检测输入图像中对象的位置,标定对象的包围盒;对输入的图像进行过分割处理,得到超像素集合,根据包围盒的位置和超像素的语义概率值计算兴趣区域;在3种稠密尺度上进行场景显著性检测,得到输入图像的显著图;在兴趣区域内计算超像素的邻接关系,形成邻接矩阵,构建条件随机场模型,将多对象分割问题转化成多类别标记问题,每一个对象是一种类别;以每个超像素作为场模型的节点,超像素的邻接关系对应场模型中节点之间的连接关系,将显著性和图像特征转化为节点和边的权重值;利用图割算法,在条件随机场模型上进行优化,迭代终止时得到像素的对象标记结果,从而实现对多个对象的分割。实验结果表明该方法效果较好。     

基于逐像素点深度卷积网络分割模型的上皮和间质组织分割

上皮和间质组织是乳腺组织病理图像中最基本的两种组织,约80%的乳腺肿瘤起源于乳腺上皮组织.为了构建基于乳腺组织病理图像分析的计算机辅助诊断系统和分析肿瘤微环境,上皮和间质组织的自动分割是重要的前提条件.本文构建一种基于逐像素点深度卷积网络（CN-PI）模型的上皮和间质组织的自动分割方法.1）以病理医生标注的两类区域边界附近具有类信息为标签的像素点为中心,构建包含该像素点上下文信息的正方形图像块的训练集.2）以每个正方形图像块包含的像素的彩色灰度值作为特征,以这些图像块中心像素类信息为标签训练CN模型.在测试阶段,在待分割的组织病理图像上逐像素点地取包含每个中心像素点上下文信息的正方形图像块,并输入到预先训练好的CN网络模型,以预测该图像块中心像素点的类信息.3）以每个图像块中心像素为基础,逐像素地遍历图像中的每一个像素,将预测结果作为该图像块中心像素点类信息的预测标签,实现对整幅图像的逐像素分割.实验表明,本文提出的CN-PI模型的性能比基于图像块分割的CN网络（CN-PA）模型表现出了更优越的性能.     

基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性,因此一般的分割模型很难只根据提供的分割标记来有效地训练,并对两种区域进行快速、准确的分割。为此,提出一种基于条件对抗网络（cGAN）的上皮和间质分割条件对抗网络（EPScGAN）模型。在EPScGAN中,判别器的判别机制为生成器的训练提供了一个可训练的损失函数,来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差,从而更好地指导生成器的训练。从荷兰癌症研究所（NKI）和温哥华综合医院（VGH）两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1 286张尺寸为512×512的图像作为实验数据集,然后将该数据集按照7：3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明,EPScGAN模型在测试集的平均交并比（mIoU）为78.12%,和其他6种流行的深度学习分割模型相比较,提出的EPScGAN具有更好的分割性能。     

生成对抗网络在肝脏肿瘤图像分割中的应用综述

由于肝脏肿瘤图像复杂多样且肝脏肿瘤图像数据集获取困难等问题,快速准确地诊断肝脏肿瘤疾病面临着诸多挑战,尤其是肝脏肿瘤的分割是其中的关键研究内容。生成对抗网络在半监督学习领域具有强大的优越性,因此其在医学图像处理中得到广泛应用。为了分析肝脏肿瘤图像在分割领域的现状以及未来发展,针对应用GAN的肝脏肿瘤图像分割方法进行研究,介绍GAN模型的网络结构与衍生模型,重点总结并分析生成对抗网络在肝脏肿瘤图像分割中的应用,包括基于网络结构改进的GAN方法、基于生成器或判别器改进的GAN方法和基于GAN的其他改进方法。最后在已有的研究进展和基础之上,对GAN在肝脏肿瘤图像分割中的应用进行总结,讨论GAN在肝脏肿瘤图像分割上所面临的挑战,并对其未来发展进行展望。     

基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性，因此一般的分割模型很难只根据提供的分割标记来有效地训练，并对两种区域进行快速、准确的分割。为此，提出一种基于条件对抗网络（cGAN）的上皮和间质分割条件对抗网络（EPScGAN）模型。在EPScGAN中，判别器的判别机制为生成器的训练提供了一个可训练的损失函数，来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差，从而更好地指导生成器的训练。从荷兰癌症研究所（NKI）和温哥华综合医院（VGH）两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1 286张尺寸为512×512的图像作为实验数据集，然后将该数据集按照7：3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明，EPScGAN模型在测试集的平均交并比（mIoU）为78.12%，和其他6种流行的深度学习分割模型相比较，提出的EPScGAN具有更好的分割性能。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

基于生成对抗网络的梯度引导太阳斑点图像去模糊方法

针对云南天文台拍摄的高度模糊的太阳斑点图像采用现有深度学习算法恢复难度大、高频信息难以重建等问题,提出了一种基于生成对抗网络（GAN）与梯度信息联合的去模糊方法来重建太阳斑点图,并很好地恢复出图像的高频信息。该方法由一个生成器与两个鉴别器构成：首先,生成器采用特征金字塔网络（FPN）框架来获取图像多尺度特征,再将这些特征分层次输入梯度分支以梯度图的形式捕获更小的局部特征;然后,联合梯度分支结果与FPN结果共同重建出具有高频信息的太阳斑点图像;其次,在常规对抗鉴别器的基础上,增加了一个鉴别器用于保证由梯度分支产生的梯度图更加真实;最后,引入一个包括像素内容损失、感知损失和对抗损失的联合训练损失来引导模型进行太阳斑点图像高分辨率重建。实验结果表明,进行图像预处理后的所提方法与现有的深度学习去模糊方法相比,高频信息恢复能力更强,峰值信噪比（PSNR）和结构相似性（SSIM）指标均有显著提高,分别达到27.801 0 dB与0.851 0,能够满足太阳观测图像高分辨率重建的需要。     

基于生成对抗网络的CFA图像去马赛克算法

在单传感器数码相机图像采集系统的彩色滤波阵列中,每个像素仅捕获单一颜色分量,并且在彩色图像重构过程中图像边缘等高频区域的伪影现象尤为明显。提出一种基于生成对抗网络的图像去马赛克算法,通过设计生成对抗网络的生成器、鉴别器和网络损失函数增强学习图像高频信息的能力,其中使用的生成器为具有残差稠密块和远程跳跃连接的深层残差稠密网络,鉴别器由一系列堆叠的卷积单元构成,并且结合对抗性损失、像素损失以及特征感知损失改进网络损失函数,提升网络整体性能。数值实验结果表明,与传统去马赛克算法相比,该算法能更有效减少图像边缘的伪影现象并恢复图像高频信息,生成逼真的重建图像。     

基于对抗训练和卷积神经网络的面部图像修复

为了有效地修复大面积破损的面部图像,使用了解码器-编码器结构的卷积神经网络作为生成模型,并在其部分层之间增加skip-connection,以增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再利用其判别待修复图像输入生成模型后所得到的输出是否为真实,以此为生成模型提供优化梯度。结合了卷积神经网络的结构信息预测能力和GANs对抗策略的优化能力,提高了图像补全的效果。在CelebA人脸数据集上进行的实验结果表明,该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

基于增强生成器条件生成对抗网络的单幅图像去雾

大气中烟雾等粒子的存在会导致肉眼捕获场景的能见度降低。大多数传统的去雾方法都是预期估计雾霾场景的透射率、大气光,并利用大气散射模型恢复无雾图像。这些方法尽管取得了显著进展,但由于过分依赖苛刻的先验条件,在缺乏相应先验条件下的去雾效果并不理想。因此,提出一种端到端的一体化除雾网络,使用增强生成器的条件生成对抗网络（CGAN）直接恢复无雾图像。生成器端以U-Net作为基础架构,通过“整合-加强-减去”的促进策略,用一个简单有效的增强解码器,增强解码器中特征的恢复。另外,加入了多尺度结构相似性（MS-SSIM）损失函数,增强图像的边缘细节恢复。在合成数据集和真实数据集上的实验中,该模型的峰值信噪比（PSNR）和结构相似性（SSIM）明显优于传统的暗通道先验（DCP）、一体化除雾网络（AOD-Net）、渐进式特征融合网络（PFFNet）、条件Wasserstein生成对抗网络（CWGAN）去雾模型。实验结果表明,相较于对比算法,所提网络能够恢复出更接近于地面真相的无雾图像,除雾效果更优。     

基于深度学习的图像压缩算法研究综述

随着深度学习的不断发展与图像数据的爆炸式增长,如何使用深度学习来获得更高压缩比和更高质量的图像逐渐成为热点研究问题之一。通过对近几年相关文献的分析与整理,将基于深度学习的图像压缩方法按照卷积神经网络、循环神经网络、生成对抗网络进行总结与分析,对不同种方法分别列举了具有代表性的实例,并对基于深度学习的图像压缩算法的常用训练数据集、评价指标进行了介绍,根据深度学习在图像压缩领域中的优势对其未来的发展趋势进行了总结与讨论。