融合RGB图像特征的多尺度深度图像补全方法

针对目前因缺少配对的"缺失-完整"RGB-D数据集而不能直接训练端对端深度图像补全模型的问题,提出基于随机掩码构造对应的缺失-完整数据,结合真实数据集与合成数据集交替训练模型的策略.基于随机掩码生成不同缺失比例的深度图像,并且利用合成数据集构造具有可靠真值的深度图像缺失数据,从而得到具有可靠数据的缺失-完整RGB-D数...     

基于多尺度特征融合的人脸图像修复方法

传统图像修复方法在修复受损区域较大的图像时会出现修复结果过于平滑或模糊的现象,并且较难重建合理的人脸图像结构.在传统生成对抗网络的鉴别器中引入多尺度特征融合方法,将不同深度的特征图经过上采样后直接相加,使浅层信息和深层信息有效结合.通过借助高层特征把握图像的整体规律,同时利用低层特征填充人脸图像的细节纹理,进而使一张图...     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU...     

深度融合图像文本特征的文本引导图像修复

为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB brid这个带有文本标签的数据集上进行定量和定性实验表明,提出的模型在PSNR（peak signal-to-noise ratio）、SSIM （structural similarity）以及MAE（mean absolute error）度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

融合深度和颜色信息的图像物体分割算法

讨论立体图对的图像分割问题,提出一种基于深度和颜色信息的图像物体分割算法。该算法首先利用基于聚类的Mean-shift分割算法对目标图像进行适度的过分割,同时借助双目立体视觉算法获取立体图对的稠密深度图,并依据深度不连续性从过分割结果中选取用于继续进行“精致”分割的种子点集,接着对未分配种子标签的区域用图割算法分配标签,并对彼此之间没有深度不连续边界但具有不同标签的相邻区域进行融合。相比于传统图像分割算法,该算法可有效克服过分割和欠分割问题,获取具有一定语义的图像分割结果。相关的对比实验结果验证了该算法的有效性。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

多尺度特征自适应融合的图像语义分割算法

为解决Deeplab v3+网络在解码过程中仅融合一个尺度编码特征,导致部分细节信息丢失,从而造成最终分割结果较为粗糙等问题,提出多尺度特征自适应融合的图像语义分割算法.该算法在Deeplab v3+的解码过程中使用自适应空间特征融合结构,给不同尺度的编码特征分配自适应的融合权重,通过融合编码过程中的多尺度特征进行特征...     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

多尺度信息融合的遥感图像语义分割模型

遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.     

自适应多尺度特征融合的单目图像深度估计

在基于深度学习的单目图像深度估计方法中, 卷积神经网络在下采样过程中会出现图像深度信息丢失的情况, 导致物体边缘深度估计效果不佳. 提出一种多尺度特征融合的方法, 并采用自适应融合的策略, 根据特征数据动态调整不同尺度特征图的融合比例, 实现对多尺度特征信息的充分利用. 由于空洞空间金字塔池化(ASPP)在单目深度估计任务中, 会丢失图像中的像素点信息, 影响小物体的预测结果. 通过在对深层特征图使用ASPP时融合浅层特征图的丰富特征信息, 提高深度估计结果. 在NYU-DepthV2室内场景数据集的实验结果表明, 本文所提方法在物体边缘处有更准确的预测, 并且对小物体的预测有明显的提升, 均方根误差(RMSE)达到0.389, 准确率(δ <1.25)达到0.897, 验证了方法的有效性.     

多尺度多阶段特征融合的带噪图像语义分割

在图像的采集过程中,图像往往会带有一定的噪声信息,这些噪声信息会破坏图像的纹理结构,进而干扰语义分割任务.现有基于带噪图像的语义分割方法,大都是采取先去噪再分割的模型.然而,这种方式会导致在去噪任务中丢失语义信息,从而影响分割任务.为了解决该问题,提出了一种多尺度多阶段特征融合的带噪图像语义分割的方法,利用主干网络中各阶段的高级语义信息以及低级图像信息来强化目标轮廓语义信息.通过构建阶段性协同的分割去噪块,迭代协同分割和去噪任务,进而捕获更准确的语义特征.在PASCAL VOC 2012和Cityscapes数据集上进行了定量评估,实验结果表明,在不同方差的噪声干扰下,模型依旧取得了较好的分割结果.     

语义融合眼底图像动静脉分类方法

目的 眼底图像中的动静脉分类是许多系统性疾病风险评估的基础步骤。基于传统机器学习的方法操作复杂,且往往依赖于血管提取的结果,不能实现端到端的动静脉分类,而深度语义分割技术的发展使得端到端的动静脉分类成为可能。本文结合深度学习强大的特征提取能力,以提升动静脉分类精度为目的,提出了一种基于语义融合的动静脉分割模型SFU-Net（semantic fusion based U-Net）。方法 针对动静脉分类任务的特殊性,本文采用多标签学习的策略来处理该问题,以降低优化难度。针对动静脉特征的高度相似性,本文以DenseNet-121作为SFU-Net的特征提取器,并提出了语义融合模块以增强特征的判别能力。语义融合模块包含特征融合和通道注意力机制两个操作：1）融合不同尺度的语义特征从而得到更具有判别能力的特征;2）自动筛选出对目标任务更加重要的特征,从而提升性能。针对眼底图像中血管与背景像素之间分布不均衡的问题,本文以focal loss作为目标函数,在解决类别不均衡问题的同时重点优化困难样本。结果 实验结果表明,本文方法的动静脉分类的性能优于现有绝大多数方法。本文方法在DRIVE（digital retinal images for vessel extraction）数据集上的灵敏性（sensitivity）与目前最优方法相比仅有0.61%的差距,特异性（specificity）、准确率（accuracy）和平衡准确率（balanced-accuracy）与目前最优方法相比分别提高了4.25%,2.68%和1.82%;在WIDE数据集上的准确率与目前最优方法相比提升了6.18%。结论 语义融合模块能够有效利用多尺度特征并自动做出特征选择,从而提升性能。本文提出的SFU-Net在动静脉分类任务中表现优异,性能超越了现有绝大多数方法。     

基于全局多尺度特征融合的伪装目标检测网络

在伪装目标检测中,由于伪装目标的外观与背景相似度极高,很难精确分割伪装目标.针对上下文感知跨级融合网络中,高层次语义信息在向浅层网络融合传递时因被稀释及丢失而导致精度降低的问题,文中提出基于全局多尺度特征融合的伪装目标检测网络.先设计全局增强融合模块,捕捉不同尺度下的上下文信息,再通过不同的融合增强分支,将高层次语义信息输送至浅层网络中,减少多尺度融合过程中特征的丢失.在高层网络中设计定位捕获机制,对伪装目标进行位置信息提取与细化.在浅层网络中对较高分辨率图像进行特征提取与融合,强化高分辨率特征细节信息.在3个基准数据集上的实验表明文中网络性能较优.     

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像,修复后图像存在局部色差、边界伪影和细节缺陷等问题,提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块,有效融合深层和浅层的图像特征,实现了人脸图像的特征提取和融合。此外,构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数,用于训练多尺度修复网络,并通过与判别器网络的相互对抗,提高修复图像与真实图像的视觉一致性。实验结果表明,对于不同的掩膜率,采用该模型修复的图像具有合理的纹理结构和上下文语义信息,并在定性和定量比较上表现更好。     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题,提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构,在编码阶段,采用空间金字塔池化获取多尺度的上下文信息,同时融合特征通道之间的关联信息,提高特征图的语义表征能力;在解码阶段,基于注意力机制将高层特征与低层特征自适应地融合,逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验,PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

基于多尺度卷积特征融合的肺结节图像检索方法

为了解决肺结节图像检索中特征提取难度大、检索精度低下的问题,提出了一种深度网络模型——LMSCRnet用于提取图像特征。首先采用多种不同尺寸滤波器卷积的特征融合方法以解决肺结节大小不一引起的局部特征难以获取的问题,然后引入SE-ResNeXt块来得到更高级的语义特征同时减少网络退化,最后得到肺结节图像的高级语义特征表示。为满足现实中大数据量检索任务的需求,将距离计算及排序过程部署到Spark分布式平台上。实验结果表明,基于LMSCRnet的特征提取方法能够更好地提取图像高级语义信息,在肺结节预处理数据集LIDC上能够达到84.48%的准确率,检索精度高于其他检索方法,而且使用Spark分布式平台完成相似度匹配及排序过程使得检索方法能够满足大数据量检索任务需求。