改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

基于双残差超密集网络的多模态医学图像融合

针对基于残差网络和密集网络的图像融合方法存在网络中间层的部分有用信息丢失和融合图像细节不清晰的问题,提出了基于双残差超密集网络(Dual Residual Hyper-Densely Networks,DRHDNs)的多模态医学图像融合方法。DRHDNs分为特征提取和特征融合两部分。特征提取部分通过将超密集连接与残差学习相结合,构造出双残差超密集块,用于提取特征,其中超密集连接不仅发生在同一路径的层之间,还发生在不同路径的层之间,这种连接使特征提取更充分,细节信息更丰富,并且对源图像进行了初步的特征融合。特征融合部分则进行最终的融合。通过实验将其与另外6种图像融合方法对4组脑部图像进行了融合比较,并根据4种评价指标进行了客观比较。结果显示,DRHDNs在保留细节、对比度和清晰度等方面都有很好的表现,其融合图像细节信息丰富并且清晰,便于疾病的诊断。     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

基于空间注意力残差网络的图像超分辨率重建模型

卷积神经网络中的层次特征可以为图像重建提供重要信息。然而，现有的一些图像超分辨率重建方法没有充分利用卷积网络中的层次特征。针对该问题，本文提出一种基于空间注意力残差网络的模型（Residual Network Based on Spatial Attention, SARN）。具体来说，首先设计一种空间注意力残差模块（Spatial Attention Residual Block, SARB），将增强型空间注意力模块（Enhanced Spatial Attention, ESA）融入残差模块中，网络可以获得更有效的高频信息；其次融入特征融合机制，将网络各层获得的特征进行融合，提高网络中层次特征的利用率；最后，将融合后特征输入重建网络，得到最终的重建图像。实验结果表明，该模型无论在客观指标上，还是主观视觉效果上均优于对比算法，这说明本文提出的模型可以有效地利用图像中的层次特征，从而获得较好的超分辨率重建效果。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

密集反卷积网络在遥感建筑物提取中的应用

遥感图像覆盖范围广、场景复杂,目前基于卷积神经网络的建筑物提取方法因层数较少,不能充分挖掘图像的抽象信息,导致正确率较低,错检率较高。简单地增加网络的层数会导致梯度流消失和信息流弥散等问题,无法有效地训练网络。将密集连接方式引入到反卷积网络中,提出了一种新型的深层密集反卷积神经网络。该网络共有51层卷积权重层,能够自动学习多层级图像的特征,充分挖掘图像信息,并且该网络是端对端可训练的,避免了深层网络中信息传递消失的问题。同时利用反卷积网络实现了像素级别的建筑物提取,在ISPRS 2D的遥感标注数据集上有良好的表现,具有较强的实际应用价值。     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中，未充分利用图像的局部和全局特征以及时间复杂度较高的问题，本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性，首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块，用于从输入图像中提取视觉特征；然后将特征输入到序列模型Transformer中，在编码器端借助自注意学习来获得所参与的视觉表示，在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用，进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验，BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

基于多尺度密集连接网络的图像超分辨算法

图像超分辨率旨在通过软件技术从低分辨率图像中获得高分辨率图像.受深层神经网络对非线性关系强大表示启发,提出一种基于多尺度密集连接网络的图像超分辨算法.利用多尺度和密集连接思想设计了两个并行子网络提取图像特征,一个子网络中引人多尺度卷积层以提取低分辨图像的多种特征,另一个子网络则利用密集连接模块加深网络结构尽可能提取丰富的纹理特征,同时还可以避免模型训练过程中梯度消失的问题.最后对两个子网络提取的特征求残差并对其行重构得到高分辨率图像.仿真结果表明,提出的算法无论在客观评价还是视觉效果上均优于其它同类超分辨算法.     

基于轻量自动残差缩放网络的图像超分辨率重建

近年来,由于深度卷积神经网络的出色性能,深度学习已成为图像超分辨率领域的研究热点,已经有许多具有很深结构的大型模型被提出。而在实际应用中,普通个人计算机或智能终端的硬件显然不适合大规模深度神经网络模型。提出了一种针对单幅图像超分辨率且具有自动残差缩放功能的轻量级网络(ARSN),与许多基于深度学习的方法相比,它的层和参数更少。此外,该网络中有特殊的残差块和跳跃连接用来进行残差缩放以及全局和局部残差学习。根据测试数据集结果,该网络在重建质量和运行速度上都达到了非常优异的性能。所提出的网络在性能、速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

基于3D CNN的鼻咽癌CT图像分割

鼻咽癌CT图像分割是鼻咽癌诊断和治疗的先行任务,然而,由于鼻咽癌细胞的外形多样、灰度不均匀、边界模糊、病变形状复杂等因素使得分割难以准确。针对这一问题,提出了一种基于三维深度卷积神经网络的鼻咽癌CT图像分割方法,三维深度卷积神经网络框架的前5层采用卷积核为3~3的普通卷积,中间6层采用空洞率为2的膨胀卷积,后6层采用空洞率为4的膨胀卷积,每2个卷积层之间有一个残差连接,最后利用Softmax函数对每个像素点进行分类。膨胀卷积有助于得到精确的密集预测和沿物体边界的精细分割图,残差连接使深度卷积神经网络中的信息传播平滑,并能提高训练速度。实验结果表明,在鼻咽癌CT图像分割中该方法与其他主流方法相比有更好的性能。     

基于密集连接卷积神经网络的远程监督关系抽取

密集连接卷积神经网络(DenseNet)是一种新型深度卷积神经网络架构,通过建立不同层间的连接关系,来确保网络层与层间最大程度的信息传输。在文本远程监督关系抽取任务中,针对现有神经网络方法使用浅层网络提取特征的局限,设计了一种基于密集连接方式的深度卷积神经网络模型。该模型采用五层卷积神经网络构成的密集连接模块和最大池化层作为句子编码器,通过合并不同层次的词法、句法和语义特征,来帮助网络学习特征,从而获取输入语句更丰富的语义信息,同时减轻深度神经网络的梯度消失现象,使得网络对自然语言的表征能力更强。模型在NYT-Freebase数据集上的平均准确率达到了82.5%,PR曲线面积达到了0.43。实验结果表明,该模型能够有效利用特征,并提高远程监督关系抽取的准确率。     

面向图像检索的深度汉明嵌入哈希

深度卷积神经网络学习的图像特征表示具有明显的层次结构.随着层数加深,学习的特征逐渐抽象,类的判别性也逐渐增强.基于此特点,文中提出面向图像检索的深度汉明嵌入哈希编码方式.在深度卷积神经网络的末端插入一层隐藏层,依据每个单元的激活情况获得图像的哈希编码.同时根据哈希编码本身的特征提出汉明嵌入损失,更好地保留原数据之间的相似性.在CIFAR-10、NUS-WIDE基准图像数据集上的实验表明,文中方法可以提升图像检索性能,较好改善短编码下的检索性能.     

Mixed Attention Densely Residual Network for Single Image Super-Resolution

Recent applications of convolutional neural networks (CNNs) in single image super-resolution (SISR) have achieved unprecedented performance. However, existing CNN-based SISR network structure design consider mostly only channel or spatial information, and cannot make full use of both channel and spatial information to improve SISR performance further. The present work addresses this problem by proposing a mixed attention densely residual network architecture that can make full and simultaneous use of both channel and spatial information. Specifically, we propose a residual in dense network structure composed of dense connections between multiple dense residual groups to form a very deep network. This structure allows each dense residual group to apply a local residual skip connection and enables the cascading of multiple residual blocks to reuse previous features. A mixed attention module is inserted into each dense residual group, to enable the algorithm to fuse channel attention with laplacian spatial attention effectively, and thereby more adaptively focus on valuable feature learning. The qualitative and quantitative results of extensive experiments have demonstrate that the proposed method has a comparable performance with other state-of-the-art methods.