基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力.在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN).与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量.在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN).该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器.此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成.实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果.GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像.     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于多尺度特征聚合的图像超分辨率重建

针对图像超分辨率重建过程中,存在提取特征信息单一、图像细节缺失的问题,提出了一种新的生成式对抗网络(DAMFA-GAN),以获得更加逼真和自然的重建图像。在生成器方面,设计融合动态注意力机制的多尺度特征聚合模块(DAMFA)以获取低分辨率图像中每个上采样特征的多尺度高频信息,提高重建图像的质量;在判别器方面,设计ConvTrans Encoder模块以增强特征信息提取能力,提高判别的准确率。在Set5、Set14、BSD100和Urban100数据集上的实验结果表明,DAMFA-GAN在峰值信噪比(PSNR)和结构相似性(SSIM)上较于SRGAN分别平均提高了0.50 dB、0.015 2。同时,超分辨率重建图像的高频细节和视觉效果也得到了明显改善。     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

融合多尺度特征和语义信息的单目深度估计

针对目前的无监督学习方法在单目图像深度估计中存在深度估计不准确、边缘模糊的问题,提出了一种融合多尺度特征信息和语义信息的无监督单目深度估计网络.该网络不仅引入了从编码器到解码器的跳层连接来实现不同尺度特征的提取和融合,还在编码器和解码器之间引入多个空洞卷积并行的语义层来增加感受野,使得结果更加准确.最后在KITTI数据...     

动态感受野特征选择去雾网络

基于深度学习的去雾模型大多在网络参数固定后，感受野也就随之固定。这导致去雾网络无法针对每个具体的场景采用最优的模式进行去雾，从而造成结果中存在模糊和失真。针对这些问题，文中提出动态感受野特征选择去雾网络。该网络以带有空洞卷积的特征注意力空洞模块为基础组件，并行使用多个空洞率不同的特征注意力空洞模块来提取多尺度特征，并进行动态特征融合，构成动态感受野模块。文中将多个动态感受野模块搭配残差连接组成深度网络，对不同层次的特征进行动态混合，最终解码得到去雾图像。实验结果表明，文中所提算法对室内和室外的合成雾图以及真实含雾图像均具有良好的去雾效果，可以生成清晰、自然的去雾图像。     

基于多尺寸卷积与残差单元的快速收敛 GAN 胸部 X 射线图像数据增强

针对深度学习中数据增强的方法, 改进生成式对抗网络 (GAN,Generative adversarial networks)模型,形成一种快速收敛生成式对抗网络,能够克服 GAN 训练过程不稳定、收敛速度缓慢容易发生模式崩溃等问题。采用在判别器中使用多尺寸卷积,加强判别器的特征提取能力;在生成器中添加残差单元的方法,使得生成器可以快速拟合真实数据的分布;同时对判别器进行预训练的策略,有利于提高生成器前期训练稳定性和加快训练过程。运用 CIFAR-10 标准数据集进行实验,与几种基于 GAN 的模型对比,证实本文的改进算法效果较好,图像质量和多样性更优。利用本文提出的改进算法用于美国 NIH 临床数据库的胸部 X 射线数据集,生成扩充样本,经图灵测试证实了算法的有效性。      

基于多尺度密集连接和U-Net改进的动态场景去模糊算法

针对现有去运动模糊网络在图像恢复过程中出现的纹理细节丢失、无法抑制噪声、产生振铃伪影等问题,提出一种基于多尺度密集连接和U-Net改进的动态场景去模糊算法。首先,借助U-Net网络中空洞卷积下采样有效扩大感受野,在不增加参数量的情况下避免图片产生不可逆损伤,并利用亚像素卷积在上采样过程中以小的卷积核获得清晰的图像细节,降低运算复杂度;其次,设计多尺度密集特征提取模块(multi-scale dense feature extraction, MDFE),通过密集连接的卷积层加强深层次特征提取和复用,运用空间金字塔池化(spatial pyramid pooling, SPP)分支引导多尺度特征的传递和融合,促进图像细节纹理的有效保留;最后,采用ConvLSTM双向连通结构(bidirectional convolution LSTM unit, BCLU)以非线性方式从编码路径补偿简单级联流失的上下文特征,推动深度特征跨阶段相互作用,弱化边缘伪影和噪声干扰。与现有先进方法对比,验证了本文所提算法在性能上的优势。     

基于改进ResNet的PMSM退磁与偏心故障诊断方法

针对近年来对永磁同步电机故障诊断的需求,提高故障诊断的精度。提出了一种基于多尺度特征融合与空洞卷积金字塔模型的永磁同步电机诊断方法,可以通过电机运行时的定子电流数据直接对电机进行故障诊断。利用多尺度特征融合模块提取图像不同尺度、不同分辨率的特征,提高单一图像的信息利用率;通过在特征融合模块中添加注意力机制使网络中不同通道的特征权重保持高度一致,进一步确保了网络提取图像特征的能力;通过在空间池化金字塔中引入空洞卷积核来构建空洞卷积金字塔,在解决了网络对同一特征反复提取、节约计算成本的同时,增强了模型的感受野,提高模型对不同故障的诊断精度。实验结果表明,所提方法对不同类型的电机故障均具有较高的诊断精度。对比传统的智能算法,其算法精度与损失函数都得到了明显改进。     

基于改进CycleGAN的浑浊水体图像增强算法研究

针对循环生成对抗网络(Cycle Generative Adversarial Networks, CycleGAN)在浑浊水体图像增强中存在质量差和速度慢的问题,该文提出一种可扩展、可选择和轻量化的特征提取单元BSDK (Bottleneck Selective Dilated Kernel),并利用BSDK设计了一个新的生成器网络BSDKNet。与此同时,提出一种多尺度损失函数MLF(Multi-scale Loss Function)。在自建的浑浊水体图像增强数据集TC(Turbid and Clear)上,该文BM-CycleGAN比原始CycleGAN的精度提升3.27%,生成器网络参数降低4.15MB,运算时间减少0.107s。实验结果表明BM-CycleGAN适合浑浊水体图像增强任务。     

基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。     

小样本图像处理方法赋能的宽带频谱感知

针对强噪声环境下频谱感知方法计算复杂度高、难以获取大量标注样本、检测准确率低等问题,该文提出由图像去噪和图像分类思想驱动的频谱感知方法(IDCSS)。首先,对感知用户的接收信号进行时频变换,将无线电数值信号转换为图像。强噪声环境下感知用户接收信号图像与噪声图像相关度高,因此搭建生成对抗网络(GAN)来增加低信噪比下接收信号样本的数量,提高图像的质量。在生成器中,利用残差-长短时记忆网络取代生成网络U-Net结构中的跳跃连接,对图像进行去噪、提取感知用户接收信号图像的多尺度特征、建立基于熵的损失函数来构建网络的抗噪能力;在判决器中,设计适用无线电图像信号的多维度判决器来增强生成图像的质量、保留低信噪比感知用户信号的图像细节。最后利用分类器识别频谱占用状态。仿真结果表明,与现有频谱感知算法相比,所提算法具有较好的检测性能。     

基于改进生成对抗网络的红外图像增强算法

针对红外图像细节分辨率不高、目标边缘模糊等，提出一种基于改进生成对抗网络的红外图像增强算法。首先，基于编码解码网络U-Net构建生成器，优化U-Net跳跃连接方式，融合全局上下文模块，实现全局和局部特征的上下文建模；然后，基于胶囊网络构建鉴别器，结合Res2Net改进胶囊网络结构，并对胶囊网络全连接层进行反卷积重构，实现多尺度图像特征提取，减少模型参数冗余。实验表明，与当前主流算法相比，该算法能有效突出细节信息、抑制噪声，提高图像分辨率和视觉效果。     

Unsupervised image-to-image translation by semantics consistency and self-attention

Unsupervised image-to-image translation is a challenging task for computer vision. The goal of image translation is to learn a mapping between two domains, without corresponding image pairs. Many previous works only focused on image-level translation but ignored image features processing, which led to a certain semantics loss, such as the changes of the background of the generated image, partial transformation, and so on. In this work, we propose a method of image-to-image translation based on generative adversarial nets (GANs). We use autoencoder structure to extract image features in the generator and add semantic consistency loss on extracted features to maintain the semantic consistency of the generated image. Self-attention mechanism at the end of generator is used to obtain long-distance dependency in image. At the same time, as expanding the convolution receptive field, the quality of the generated image is enhanced. Quantitative experiment shows that our method significantly outperforms previous works. Especially on images with obvious foreground, our model shows an impressive improvement.     

基于深度多级小波变换的图像盲去模糊算法

近年来卷积神经网络广泛应用于单幅图像去模糊问题,卷积神经网络的感受野大小、网络深度等会影响图像去模糊算法性能。为了增大感受野以提高图像去模糊算法的性能,该文提出一种基于深度多级小波变换的图像盲去模糊算法。将小波变换嵌入编-解码结构中,在增大感受野的同时加强图像特征的稀疏性。为在小波域重构高质量图像,该文利用多尺度扩张稠密块提取图像的多尺度信息,同时引入特征融合块以自适应地融合编-解码之间的特征。此外,由于小波域和空间域对图像信息的表示存在差异,为融合这些不同的特征表示,该文利用空间域重建模块在空间域进一步提高重构图像的质量。实验结果表明该文方法在结构相似度(SSIM)和峰值信噪比(PSNR)上具有更好的性能,而且在真实模糊图像上具有更好的视觉效果。     

CDGAN: Cyclic Discriminative Generative Adversarial Networks for image-to-image transformation

Generative Adversarial Networks (GANs) have facilitated a new direction to tackle the image-to-image transformation problem. Different GANs use generator and discriminator networks with different losses in the objective function. Still there is a gap to fill in terms of both the quality of the generated images and close to the ground truth images. In this work, we introduce a new Image-to-Image Transformation network named Cyclic Discriminative Generative Adversarial Networks (CDGAN) that fills the above mentioned gaps. The proposed CDGAN generates high quality and more realistic images by incorporating the additional discriminator networks for cycled images in addition to the original architecture of the CycleGAN. The proposed CDGAN is tested over three image-to-image transformation datasets. The quantitative and qualitative results are analyzed and compared with the state-of-the-art methods. The proposed CDGAN method outperforms the state-of-the-art methods when compared over the three baseline Image-to-Image transformation datasets. The code is available at https://github.com/KishanKancharagunta/CDGAN.     

Multi-path connected network for medical image segmentation

In recent years, deep learning has been successfully applied to medical image segmentation. However, as the network extends deeper, the consecutive downsampling operations will lead to more loss of spatial information. In addition, the limited data and diverse targets increase the difficulty for medical image segmentation. To address these issues, we propose a multi-path connected network (MCNet) for medical segmentation problems. It integrates multiple paths generated by pyramid pooling into the encoding phase to preserve semantic information and spatial details. We utilize multi-scale feature extractor block (MFE block) in the encoder to obtain large and multi-scale receptive fields. We evaluated MCNet on three medical datasets with different image modalities. The experimental results show that our method achieves better performance than the state-of-the-art approaches. Our model has strong feature learning ability and is robust to capture different scale targets. It can achieve satisfactory results while using only 0.98 million (M) parameters.     

A GAN based method for multiple prohibited items synthesis of X-ray security image

Detecting prohibited item based on convolutional neural networks(CNNs) is of great significance to ensure public safety. However, the natural occurrence of such prohibited items is a small-probability event, collecting enough datasets to support CNN training is a big challenge. In this paper, we propose a new method for synthesizing X-ray security image with multiple prohibited items from semantic label images basing on Generative Adversarial Networks(GANs). Theoretically, we can use it to synthesize as many X-ray images as needed. A new generator architecture with Res 2 Net is presented, which is more effective in learning multi-scale features of different prohibited items images. This method is extended by establishing the semantic label library which contains 14 000 images. So we totally synthesize 14 000 Xray security images. The experimental results show the super performance(Fréchet Inception Distance(FID) score of 30.55). And we achieve 0.825 of mean average precision(m AP) with Single Shot Multi Box Detector(SSD) for object detection, demonstrating the effectiveness of our approach.