全卷积网络结合改进的条件随机场循环神经网络用于SAR图像场景分类

传统合成孔径雷达（SAR）图像基于粗分割像素块提取相关特征,后接支持向量机（SVM）和马尔可夫随机场（MRF）或条件随机场（CRF）进行分类,该方法存在同一像素块内部不同类别像素的误差,而且只考虑邻近区域未充分用到全局信息和结构信息。故考虑基于像素点引入全卷积网络（FCN）,以ESAR卫星图像为样本,基于像素点级别构建卷积网络进行训练,得到各像素的初始类别分类概率。为了考虑全局像素类别的影响后接CRF-循环神经网络（CRF-RNN）,利用FCN得到的初始概率,结合CRF结构得到全局像素类别转移结果,之后进行RNN的迭代进一步优化实验结果。由于基于像素点和考虑了全局信息与结构信息,克服了传统分类的部分缺点,使正确率较传统SVM或CRF方法平均提高了约6.5个百分点。由于CRF-RNN的距离权重是用高斯核人为拟合的,不能随实际训练样本来改变和确定,故存在一定误差,针对该问题提出可训练的全图距离权重卷积网络来改进CRF-RNN,最终实验结果表明改进后方法的正确率较未改进的CRF-RNN又提高了1.04个百分点。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

改进DeepLabV3+模型在壁画分割中的应用

针对古代壁画图像分割过程中出现的目标边界模糊、图像分割效率低等问题,提出一种融合轻量级卷积神经网络的多分类图像分割模型MC-DM,该模型将DeepLabV3+结构和MobileNetV2相结合,利用DeepLabV3+特有的空间金字塔结构对壁画的卷积特征进行多尺度融合,从而减少壁画分割时的图像细节损失。首先,通过MobileNetV2对输入图像进行特征提取,从而在确保图像信息准确提取的同时减少耗时;其次,通过空洞卷积处理图像特征,从而扩展感受野,并在不改变参数数量的情况下得到更多的语义信息;最后,采用双线性插值的方法对输出特征图像进行上采样,以得到像素级的预测分割图,从而最大限度保证图像分割的准确性。在JetBrains PyCharm Community Edition 2019环境下,利用以1 000张壁画扫描图片制作而成的数据集进行测试,实验结果表明,MC-DM模型较传统的基于SegNet的图像分割模型在训练精确度上提升了1个百分点,较基于PSPNet的图像分割模型在精确度上提升了2个百分点,且MC-DM模型的峰值信噪比（PSNR）较实验对比模型平均提高了3～8 dB,充分验证了该模型在壁画分割领域的有效性。所提模型为古代壁画图像分割提供了新的思路。     

基于条件能量对抗网络的肝脏和肝肿瘤分割

从图像中分割出肝脏和肝肿瘤是肝部疾病诊断重要手段之一,现有基于卷积神经网络（Convolutional Neural Network,CNN）方法通过为输入图像中每个像素分配类别标签来实现肝脏和肝肿瘤分割。CNN在对每个像素分类过程中没有使用邻域内其他像素类别信息,容易出现小目标漏检和目标边界分割模糊问题。针对这些问题,提出了条件能量对抗网络用于肝脏和肝肿瘤分割。该方法基于能量生成对抗网络（Energy-Based Generative Adversarial Network,EBGAN）和条件生成对抗网络（Conditional Generative Adversarial Network,CGAN）,使用一个基于CNN的分割网络作为生成器与一个自编码器作为判别器,通过将判别器作为一种损失函数来度量并提升分割结果与真实标注之间的相似度。在对抗训练过程中,判别器将生成器输出的分割结果作为输入并将原始图像作为条件约束,通过学习像素类别之间的高阶一致性提高分割精度,使用能量函数作为判别器避免了对抗网络训练中容易出现的梯度消失或梯度爆炸,更易于训练。在MICCAI 2017肝肿瘤分割（LiTS）挑战赛的数据集和3DIRCADb数据集上对提出的方法进行验证,实验结果表明,该方法不仅实现了肝脏与肝肿瘤的自动分割,还利用像素类别之间的高阶一致性提升了肿瘤和肝脏边界的分割精度,减少了小体积肿瘤的漏检。     

面向刻蚀图像分割的轻量可变形编解码网络

通过分割刻蚀图像计算驱油率是目前衡量油藏驱替技术的重要手段。由于刻蚀图像边缘模糊、噪声大且水油像素分散,目前主流的图像分割网络分割精度低、分割速度慢,难以获得较好的分割结果。提出一种用于刻蚀图像分割的轻量可变形编解码网络（LDNet）。在特征编码阶段利用偏移量学习水油目标形状和边缘特征,改善网络的特征表达能力,并通过深度卷积和逐点卷积有效降低网络参数量。在特征融合阶段设计协同耦合注意力模块,将通道注意力进行分解,并分别沿2个空间方向聚合特征,将特征图编码为方向和位置感知的特征图,从而将位置信息嵌入到通道注意力中,提升模型的鲁棒性。实验结果表明,LDNet网络的分割精度为89.94%,模型大小仅为16.63×10⁶,在资源受限的设备中有效提高刻蚀图像的分割精度,降低驱油率误差,加快模型的推理速度。     

改进U-Net的超声乳腺肿瘤分割网络

乳腺超声图像具有肿瘤大小形态多变、阴影较多、边界模糊等特点,经典U-Net的乳腺肿瘤分割结果与标注图像出入较大。对此,提出改进网络MultiMixU-Net。该网络在U-Net结构中引入MultiMix block以及Respath。MultiMix block通过空洞卷积通路提高网络区分目标以及背景的能力,并通过级联该通路中各卷积层输出,融合普通卷积通路的输出来提取多尺度特征信息。Respath的改进部署使网络中收缩路径与扩张路径之间对应特征信息的传递更加有效。该改进网络在公开的超声乳腺肿瘤分割数据集上进行了测试,实验表明,MultiMixU-Net分割结果优于其他网络且参数量较少。相较于U-Net,所提网络分割结果在所有评价指标上均有提升,其中IoU、DSC分别提升0.154 1、0.127 3。     

引入门控轴向自注意力的多通道病理图像分割

在苏木精-伊红（HE）染色病理图像中,细胞染色分布的不均匀和各类组织形态的多样性给自动化分割带来了极大挑战。针对传统卷积无法捕获大邻域范围内像素间的关联特征,导致分割效果难以进一步提升的问题,提出引入门控轴向自注意力的多通道分割网络（MCSegNet）模型,以实现病理图像细胞核的精准分割。所提模型采用双编码器和解码器结构,在其中使用轴向自注意力编码通道捕获全局特征,并使用基于残差结构的卷积编码通道获取局部精细特征;在编码通道末端,通过特征融合增强特征表示,从而为解码器提供良好的信息基础;而解码器通过级联多个上采样模块逐步生成分割结果。此外,使用改进的混合损失函数有效解决了病理图像中普遍存在的样本不均衡问题。在MoNuSeg2020公开数据集上的实验结果表明,改进的分割方法比U-Net在F1、交并比（IoU）指标上分别提升了2.66个百分点、2.77个百分点,有效改善了病理图像的分割效果,提高了临床诊断的可靠性。     

轻量化卷积神经网络在SAR图像语义分割中的应用

针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。     

基于对象位置线索的弱监督图像语义分割方法

深度卷积神经网络使用像素级标注,在图像语义分割任务中取得了优异的分割性能.然而,获取像素级标注是一项耗时并且代价高的工作.为了解决这个问题,提出一种基于图像级标注的弱监督图像语义分割方法.该方法致力于使用图像级标注获取有效的伪像素标注来优化分割网络的参数.该方法分为3个步骤：（1）首先,基于分类与分割共享的网络结构,通过空间类别得分（图像二维空间上像素点的类别得分）对网络特征层求导,获取具有类别信息的注意力图;（2）采用逐次擦除法产生显著图,用于补充注意力图中缺失的对象位置信息;（3）融合注意力图与显著图来生成伪像素标注并训练分割网络.在PASCAL VOC 2012分割数据集上的一系列对比实验,证明了该方法的有效性及其优秀的分割性能.     

基于注意力机制和元特征二次重加权的小样本目标检测

在基于迁移学习的小样本目标检测任务中,由于缺乏关注图像中待检测目标的注意力机制,所以现有模型对于待检测目标周边背景区域的抑制能力不强,且在迁移学习过程中通常需要对元特征进行微调来实现跨域共享,这将引起元特征偏移,从而导致模型对大样本图像检测能力的下降。针对上述问题,基于注意力机制和元特征二次重加权机制,提出改进的元特征迁移模型Up-YOLOv3。首先,在原始元特征迁移模型Base-YOLOv2中引入基于卷积块注意力模块（CBAM）的注意力机制,使特征提取网络聚焦于图像中的目标区域并关注图像目标类别的细节特征,从而提升模型对小样本图像目标的检测性能;其次,引入基于压缩?激励（SE）的元特征二次重加权模块（SE-SMFR）对大样本图像的元特征进行二次重加权,以获取二次重加权元特征,使模型在提升小样本目标检测性能的同时也能减小大样本图像元特征信息的权重偏移。实验结果表明,在PASCAL VOC2007/2012数据集上,相较于Base-YOLOv2,Up-YOLOv3针对小样本图像检测的平均准确率均值（mAP）提升了2.3~9.1个百分点;相较于原始的基于YOLOv3元特征迁移模型Base-YOLOv3,Up-YOLOv3针对大样本图像的mAP提升了1.8~2.4个百分点。可见,改进后模型对不同类别的大样本图像和小样本图像均具有良好的泛化能力和鲁棒性。     

基于边缘关注模型的语义分割方法

肝脏是人体代谢功能的主要器官,目前机器学习在肝脏影像语义分割研究中的难点有：1）肝脏中间部位有下腔静脉、软组织和血管,甚至有坏死或肝裂等情况;2）肝脏与一些邻近器官之间的边界模糊,难以分辨。针对这些问题,提出了边缘关注模型（EAM）及边缘关注网络（EANet）。该网络采用了Encoder-Decoder（编码-解码）的模型框架：在编码器中运用了在ImageNet上预训练好的残差网络ResNet34和EAM,由此来充分获取肝脏边缘的细节特征信息;在解码器中则运用了反卷积操作和EAM对有效信息进行特征提取,进而得到肝脏影像的语义分割图。最后,对分割后噪声较大的图片实施了平滑处理。在三个数据集上与AHCNet进行对比,结果显示：在3Dircadb数据集上,EANet的体积重叠误差（VOE）和相对体积差异（RVD）分别降低了1.95个百分点和0.11个百分点,且DICE精度提高了1.58个百分点;在Sliver07数据集上,EANet的VOE、最大表面距离（MSD）和均方差对称表面距离（RMSD）分别降低了大约1个百分点、3.3 mm和0.2 mm;在某医院临床MRI肝脏影像数据集上,EANet的VOE和RVD分别降低了0.88个百分点和0.31个百分点,且DICE精度提高了1.48个百分点。实验结果表明,所提出的EANet具有较好的肝脏图像分割效果。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题，基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN，引入方向信息对染色体图像进行实例分割。首先，新增有向包围框回归分支，以预测紧实包围框并获取方向信息；然后，提出新的交并比（IoU）度量——角度加权交并比（AwIoU），从而结合方向信息与边的关系以改进冗余包围框的判据；最后，实现有向卷积通路结构，通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明，相较于基准模型Mask R-CNN，Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点，IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示，Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果，有助于实现染色体图像自动分割。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。     

基于注意力机制和有效分解卷积的实时分割算法

针对现阶段实时语义分割算法计算成本高和内存占用大而无法满足实际场景需求的问题,提出一种新型的浅层的轻量级实时语义分割算法——基于注意力机制和有效分解卷积的实时分割算法（AEFNet）。首先,利用一维非瓶颈结构（Non-bottleneck-1D）构建轻量级分解卷积模块以提取丰富的上下文信息并减少运算量,同时以一种简单的方式增强算法学习能力并利于提取细节信息;然后,结合池化操作和注意力细化模块（ARM）构建全局上下文注意力模块以捕捉全局信息并细化算法的每个阶段,从而优化分割效果。算法在公共数据集cityscapes和camvid上进行验证,并在cityscapes测试集上获得精度为74.0%和推理速度为118.9帧速率（FPS）,相比深度非对称瓶颈网络（DABNet）,所提算法在精度上提高了约4个百分点,推理速度提升了14.7 FPS,与最近高效的增强非对称卷积网络（EACNet）相比,所提算法精度略低0.2个百分点,然而推理速度提高了6.9 FPS。实验结果表明：所提算法能够较为准确地识别场景信息,并能满足实时性要求。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

基于深度学习模型的遥感图像分割方法

利用遥感图像快速准确地检测地物信息是当前的研究热点。针对遥感图像地表物的传统人工目视解译分割方法效率低下和现有基于深度学习的遥感图像分割算法在复杂场景下准确率不高、背景噪声多的问题，提出一种基于改进的U-net架构与全连接条件随机场的图像分割算法。首先，融合VGG16和U-net构建新的网络模型，以有效提取具有高背景复杂度的遥感图像特征；然后，通过选取适当的激活函数和卷积方式，在提高图像分割准确率的同时显著降低模型预测时间；最后，在保证分割精度的基础上，使用全连接条件随机场进一步优化分割结果，以获得更加细致的分割边缘。在ISPRS提供的标准数据集Potsdam上进行的仿真测试表明，相较于U-net，所提算法的准确率、召回率和均交并比（MIoU）分别提升了15.06个百分点、29.11个百分点和0.3662，平均绝对误差（MAE）降低了0.02892。实验结果验证了该算法具备有效性和鲁棒性，是一种有效的遥感图像地表物提取算法。     

基于支持向量机的连续超声图像集分割算法

针对传统的支持向量机（SVM）模型对连续超声图像集进行分割时需要为图像集中每张图片提取样本点来建立分割模型的问题,提出了一个对整个连续超声图像集的统一的SVM分割模型。首先,从图像的灰度直方图中提取灰度特征作为表征图像集中图像连续性的特征;其次,从图像集中选取部分图像作为样本,并从中提取像素点的灰度特征;最后,将各像素点的灰度特征与各像素点所在图像中表征图像集连续性的特征相结合,用SVM的方法训练出分割模型对整个图像集进行分割。实验结果表明,与传统SVM分割方法相比,新模型在面对大量的有连续变化的图像集的分割问题上,大幅地减少了人工选取样本点的工作量,并且在分割的准确率上也有保证。     

融合内容特征和时序信息的深度注意力视频流行度预测模型

针对视频流行度动态变化过程中的时序信息难以捕捉的问题,提出一种融合内容特征和时序信息的深度注意力视频流行度预测模型（DAFCT）。首先,根据用户的反馈信息,构建基于注意力机制的长短期记忆网络（Attention-LSTM）模型来捕捉流行趋势并挖掘时序信息;然后,采用神经网络因子分解机（NFM）处理多模态的内容特征,并采用嵌入技术对稀疏的高维特征进行降维处理,从而降低模型的计算复杂性;最后,采用concatenate方法融合时序信息和内容特征,并设计了一种深度注意力视频流行度预测（DAVPP）算法来求解DAFCT。实验结果表明,与Attention-LSTM模型和NFM模型相比,DAFCT的召回率分别提高了10.82和3.31个百分点,F1分数分别提高了9.80和3.07个百分点。