基于生成对抗网络的CFA图像去马赛克算法

在单传感器数码相机图像采集系统的彩色滤波阵列中,每个像素仅捕获单一颜色分量,并且在彩色图像重构过程中图像边缘等高频区域的伪影现象尤为明显。提出一种基于生成对抗网络的图像去马赛克算法,通过设计生成对抗网络的生成器、鉴别器和网络损失函数增强学习图像高频信息的能力,其中使用的生成器为具有残差稠密块和远程跳跃连接的深层残差稠密网络,鉴别器由一系列堆叠的卷积单元构成,并且结合对抗性损失、像素损失以及特征感知损失改进网络损失函数,提升网络整体性能。数值实验结果表明,与传统去马赛克算法相比,该算法能更有效减少图像边缘的伪影现象并恢复图像高频信息,生成逼真的重建图像。     

基于稠密卷积神经网络的烟雾识别方法

针对传统烟雾检测方法中提取的图像特征鲁棒性较差的问题,提出了基于稠密卷积神经网络(DenseNet)的烟雾识别方法。首先,利用卷积操作和特征图融合构建稠密网络块,在卷积层之间设计稠密连接机制,以增强稠密网络块结构内的信息流通和特征重利用;然后,将已构建的稠密网络块叠加成稠密卷积神经网络用于烟雾识别,节省计算资源的同时提升对烟雾图像特征的表达能力;最后,针对烟雾图像数据量较小的问题,采取数据增强技术进一步改善训练模型的识别能力。在公开烟雾数据集上对提出的方法进行实验验证,实验结果表明,所提方法的模型大小只有0.44 MB,在两个测试集上的准确率分别为96.20%和96.81%。     

基于三维残差稠密网络的人体行为识别算法

针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题,提出了一种基于三维残差稠密网络的人体行为识别算法。首先,所提算法使用三维残差稠密块作为网络的基础模块,模块通过稠密连接的卷积层提取人体行为的层级特征;其次,经过局部特征聚合自适应方法来学习人体行为的局部稠密特征;然后,应用残差连接模块来促进特征信息流动以及减轻训练的难度;最后,通过级联多个三维残差稠密块实现网络多层局部特征提取,并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取,充分利用局部和全局特征聚合学习到更具辨识力的特征,增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明,所提算法的识别率（top-1精度）分别达到了93.52％和57.35％,与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力,能够有效地处理多种视频行为识别任务。     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领 域有着重要的研究意义。为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN) 的图像超分辨率重建模型。首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃 连接和特征复用模块对多层图像信息进行筛选重组,使网络模型对不同深度的图像信息综合利用;最后对重建 模型参数向量进行约束,通过对长度与方向的解耦运算使模型能够在更大学习率条件下收敛,提升模型训练速 度。在多个国际公开数据集上进行实验验证,实验结果表明,该方法获得了更好的主观视觉评价和客观量化评 价,例如对于四倍重建任务,ERDN 输出图像的峰值信噪比(PSNR)指标在 Urban100 数据集上比稠密残差网络 (RDN)提高了 0.24 dB,且模型参数量减少约 50%,可适用于各种场景图像的超分辨率重建。     

基于膨胀卷积和稠密连接的烟雾识别方法

为更好地提取烟雾图像的全局特征,提出一种基于膨胀卷积和稠密连接的烟雾识别方法.依次堆叠膨胀率不同的膨胀卷积,扩大卷积核的感受野,使得卷积核能够感知更广泛的烟雾图像区域,在不同膨胀卷积层之间设计稠密连接机制,促进卷积层之间的信息流通,实现烟雾图像局部特征和全局特征的融合.在此基础上,构造应用于烟雾识别的深度卷积神经网络,并在训练样本和标签的凸组合上完成训练以增强模型的泛化能力.实验结果表明,与AlexNet、VGG16等方法相比,该方法具有较好的烟雾特征表达能力,能在提高烟雾识别效果的同时,减小模型尺寸效果,其实用性较好.     

基于改进DenseNet网络的肺结节检测仿真

针对目前基于神经网络的肺结节检测算法存在准确度低、耗时长的问题,提出了一种基于改进DenseNet网络的肺结节检测模型,通过在稠密神经网络的稠密块中采用分组卷积的方式来优化网络结构,减少网络参数的同时丰富了提取图像特征数量,避免卷积过程中梯度消失问题,提高了肺结节检测效率.之后将模型在LIDC-IDRI数据集上进行仿真...     

基于 DenseNet-Attention 模型的高光谱图像分类

摘 要：针对高光谱图像标记样本量少，提取特征不充分以及提取到的特征不区分贡献度 的问题，提出一个新型的 DenseNet-Attention 网络模型(DANet)。首先，该模型利用三维卷积核 同步提取联合光谱空间特征，同时密集连接网络(DenseNet)的稠密连接块除了能够充分提取更 加鲁棒的特征外，还减少了大量参数；其次，自注意力(self-attention)机制作为一个模块加入到 稠密连接块中，可以使上层提取到的特征在进入下一层网络之前，经过该模块对其进行权重分 配，使具有丰富的物类别信息的特征得到加强，进而区分特征的贡献度。网络模型以原始高光 谱图像邻域块作为输入，无需任何预处理，是一个端对端学习的深度神经网络。在印第安松树 林和帕维亚大学数据集上进行对比试验，网络模型的分类精度分别能够达到 99.43%和 99.99%， 有效提高了高光谱图像分类精度。     

基于密集神经网络的肺结节假阳性筛查模型

通过肺部CT影像进行肺结节检测是肺癌早期筛查的重要手段,而候选结节的假阳性筛查是结节检测的关键部分。传统的结节检测方法主要通过简单的先验知识再利用低级的描述特征进行辅助检测,存在着假阳性高、敏感度低的问题。在深度学习中,卷积神经网络可以在通用的学习过程中提取图像的特征。提出了一种基于密集神经网络的结节假阳性筛查模型:首先对CT图像进行阈值分割提取肺区再截取以结节为中心的图像,送入网络模型进行分类训率;在网络模型中,通过稠密连接强化特征利用、扩大特征空间,采用瓶颈层降低参数冗余。模型在公开的LIDC数据集上取得了95.82%的准确率,ROC曲线下面积达到0.987,CPM为0.772。实验结果表明了该模型的有效性,其性能优于相关文献的方法,适用于肺结节的假阳性降低。     

多层次感知残差卷积网络的单幅图像超分重建

目的 单幅图像超分辨率重建的深度学习算法中,大多数网络都采用了单一尺度的卷积核来提取特征（如3×3的卷积核）,往往忽略了不同卷积核尺寸带来的不同大小感受域的问题,而不同大小的感受域会使网络注意到不同程度的特征,因此只采用单一尺度的卷积核会使网络忽略了不同特征图之间的宏观联系。针对上述问题,本文提出了多层次感知残差卷积网络（multi-level perception residual convolutional network,MLP-Net,用于单幅图像超分辨率重建）。方法 通过特征提取模块提取图像低频特征作为输入。输入部分由密集连接的多个多层次感知模块组成,其中多层次感知模块分为浅层多层次特征提取和深层多层次特征提取,以确保网络既能注意到图像的低级特征,又能注意到高级特征,同时也能保证特征之间的宏观联系。结果 实验结果采用客观评价的峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）两个指标,将本文算法其他超分辨率算法进行了对比。最终结果表明本文算法在4个基准测试集上（Set5、Set14、Urban100和BSD100（Berkeley Segmentation Dataset））放大2倍的平均峰值信噪比分别为37.851 1 dB,33.933 8 dB,32.219 1 dB,32.148 9 dB,均高于其他几种算法的结果。结论 本文提出的卷积网络采用多尺度卷积充分提取分层特征中的不同层次特征,同时利用低分辨率图像本身的结构信息完成重建,并取得不错的重建效果。     

基于稠密残差网络的多序列卫星图像去云

遥感影像中最常见的问题是云层污染,它会导致图像信息缺失,降低遥感数据的可用性。针对该问题,提出了一种基于稠密残差网络的多序列卫星图像去云算法。首先,该网络使用多序列的有云卫星图像作为输入,能为网络提供更多的时序特征信息,提升去云效果;其次,在网络中段使用稠密残差层,以保证卷积层之间最大程度地传递和使用特征信息,让生成的修复图像整体结构合理、边缘细节更加清晰;最后,使用像素上采样来增强空间信息的利用,提升修复效果。该方法在欧洲"哨兵-2"遥感卫星图像数据集上进行验证,峰值信噪比和结构相似度指标为27.59和0.854 0,两项指标均超过了该数据集的原处理方法STGAN,提升了遥感图像去云的效果。     

基于残差密集网络层次信息的图像标题生成

当前图像标题生成任务的主流方法是基于深层神经网络的方法,尤其是基于自注意力机制模型的方法.然而,传统的深层神经网络层次之间是线性堆叠的,这使得低层网络捕获的信息无法在高层网络中体现,从而没有得到充分的利用.提出基于残差密集网络的方法获取层次语义信息来生成高质量的图像标题.首先,为了能够充分利用网络的层次信息,以及提取深...     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

对称式密集连接网络的地基云图分割方法

为了提高地基云图分割的精度，提出一种对称式密集连接卷积神经网络的云图分割方法进行地基云图分割研究。提出的新的网络结构通过普通卷积层提取地基云图特征，通过连续的密集连接块和上采样模块对特征图进一步处理，通过并联方式融合网络浅层和网络深层的特征图从而实现对地基云图精确的分割。其中，密集块中采用跨层连接的方式实现了网络中所用层的特征传递，使得云图特征得到复用，同时一定程度上减轻了训练过程中的梯度消失问题，通过并联浅层网络和深层网络的特征图实现了对地基云图的进一步精确分割。实验结果表明，该方法与其他用于地基云图分割的机器学习方法相比，能够提高地基云图的分割准确率，具有良好的泛化效果。     

基于生成对抗网络的机载遥感图像超分辨率重建

为解决机载遥感图像质量易受环境影响的问题,对其进行超分辨率重建,对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进,增强图像重建效果。将生成对抗网络作为模型的整体框架,使用密集剩余残差块增强模型特征提取能力,增加跳跃连接,有效提取机载遥感图像的浅层和深层特征,引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建,在峰值信噪比评价上较对比方法约有2 dB增益,重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明,该方法有效提升了模型特征提取能力,优化了训练过程,重建的机载遥感图像效果较好。     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

Bayer阵列图像去马赛克算法综述

Bayer阵列图像去马赛克技术是对稀疏采样的Bayer阵列图像进行RGB信息重建,图像重建质量是成像设备评价的重要因素之一,同时也对其他计算机视觉任务(如图像分割、人脸识别)产生影响。随着深度学习方法的快速发展,图像去马赛克领域提出了多种高性能算法。为了便于研究者更全面了解图像去马赛克算法的原理和研究进展,本文对该领域的经典算法和深度学习算法进行综述。首先对Bayer采样阵列原理和图像去马赛克技术进行概述。然后将现有方法分为传统方法和基于深度学习方法两类进行总结,同时根据去马赛克任务是否具有独立性,将深度学习方法分为独立去马赛克任务和联合去马赛克任务两类,分析不同方法的原理和优缺点,重点阐述基于深度学习的去马赛克方法的网络结构和重建机理,介绍去马赛克领域常用的公共数据集和性能评价指标,并对图像去马赛克相关实验进行分析对比。最后,围绕网络深度、运算效率和实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来发展方向。目前,基于深度学习的图像去马赛克方法已成为主流发展方向,但仍然存在计算成本较高、实际应用性不强等问题。因此,如何开发出重建精度高、处理时间短以及实用性强的图像去马赛克方法,是该领域未来重要的研究方向。