基于自注意力机制和CycleGAN的高分三号ScanSAR图像的扇贝效应抑制

高分三号卫星是我国首颗分辨率达到1 m的C波段 多极化合成孔径雷达(synthetic aperture radar,SAR) 卫星,其中扫描 式合成孔径雷达(scan synthetic aperture radar,ScanSAR)模式是高分三号卫星重要的工 作模式之一,由于该模式的工作机制导致生成的图像可能发生扇贝效应,一般呈现为明暗相 间的条纹。本文针对高分三号卫星ScanSAR模式下存在的扇贝效应,提出自注意力机制与循 环一致对抗网络(cycle-consistent adversarial networks,CycleGAN)结合的模型对Scan S AR图像进行处理,从而抑制扇贝效应产生的条纹现象。本文所示方法与传统扇贝效应抑制方 法和深度学习相关算法进行比较,并通过亮度均值、平均梯度等指标进行分析。实验结果表 明,本文方法可以对高分三号ScanSAR图像存在的扇贝效应进行较好的处理,有效抑制图像 的条纹现象,使得图像质量得到提升,具有较大的实用意义。     

面向样本扩充的新型风格迁移网络研究

全监督语义分割网络在训练时需要耗费大量的人力与时间成本来标注样本。所以减少人工标注样本的时间,同时提升语义分割效果,对于深度学习网络的快速部署和应用推广具有重要意义。提出一种基于改进图像风格迁移网络（CycleGAN-AD）的样本扩充方法。以CycleGAN为基础,在生成器中引入注意力机制并将深度残差网络改为密集连接卷积网络。利用计算机批量产生自带标签的模拟样本,使用CycleGAN-AD网络将模拟样本风格迁移成为真实样本风格（标签不变）,并用于扩充训练样本。对石墨电极的钢印字符进行语义分割的实验结果表明,采用CycleGAN-AD网络进行样本扩充后,其分割效果得到显著提升,MIoU值最高升至0.826 0。可见,提出的样本扩充方法有希望在显著减少人工标注工作量的同时,获得高质量的训练样本。     

Digital twin-assisted fault diagnosis system for robot joints with insufficient data

The robot joint is an important component of the construction robot, and its fault diagnosis can ensure the exact execution of building jobs, stable operation, and timely prevention of probable safety mishaps. However, deep learning-based fault diagnosis needs a multitude of measured fault data, which is difficult to obtain for various reasons. To solve the problem of insufficient data, a digital twin-assisted fault diagnosis system for robot joints is proposed. First, a simplified dynamics model of the robot joint is developed to generate the virtual entity data which can be used as the X-domain data for the digital twin model. Second, a CycleGAN-based digital twin model is proposed to map the virtual entity (X-domain) data to the physical entity (Y-domain) utilizing only a small amount of measured data. In the end, a test-rig for the robot joint is built to simulate the robot's working conditions, and the CNN-ResNet classifier is utilized to verify the effectiveness of the simulated data generated by the digital twin model. The results show that the fault diagnosis accuracy can be increased from 32.5% to 98.86% utilizing only 400 sets of measured data.     

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。     

基于修正CycleGAN的声呐图像库构建方法研究

声呐图像数据集获取困难,导致很多水下工作无法正常开展,如水下目标检测与跟踪、声呐图像的超分辨等,因此构建充足的声呐图像数据库成为很多水下研究工作的重要前提条件。受光学图像与合成孔径雷达（Synthetic Aperture Radar,SAR）图像转换研究工作的启发,提出了基于CycleGAN实现声呐图像库的构建,即利用光学图像合成声呐图像,实现光学到声呐的图像风格迁移。通过对CycleGAN网络损失函数的改进,提高了声呐图像的合成效果。通过与Pix2Pix等图像风格迁移网络进行比较的实验结果证明,修正后的CycleGAN网络具有更好的图像风格迁移效果。最后用合成的声呐图像训练Mask RCNN目标检测网络,并用真实的声呐图像进行测试,训练得到的模型能够成功地检测出真实声呐图像中对应的目标,进一步验证了利用光学图像构建声呐图像库的有效性。     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

Single image dehazing using improved cycleGAN

Haze is an aggregation of very fine, widely dispersed, solid and/or liquid particles suspended in the atmosphere. In this paper, we propose an end-to-end network for single image dehazing, which enhances the CycleGAN model by introducing a transformer architecture within the generator, which is specific for haze removal. The proposed model is trained in an unpaired fashion with clear and hazy images altogether and does not require pairs of hazy and corresponding ground-truth clear images. Furthermore, the proposed model does not depend on estimating the parameters of the atmospheric scattering model. Rather, it uses a K-estimation module as the generator’s transformer for complete end-to-end modeling. The feature transformer introduced in the proposed generator model transforms the encoded features into desired feature space and then feeds them into the CycleGAN decoder to create a clear image. In the proposed model we further modified the cycle consistency loss to include the SSIM loss along with pixel-wise mean loss to produce a new loss function specific for the reconstruction task, which enhances the performance of the proposed model. The model performs well even on the high-resolution images provided in the NTIRE 2019 challenge dataset for single image dehazing. Further, we perform experiments on NYU-Depth and reside beta datasets. Results of our experiments show the efficacy of the proposed approach compared to the state-of-the-art in removing the haze from the input image.     

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.     

基于明暗通道循环GAN网络的单幅图像去雾

针对现有的深度学习去雾算法参数多,训练时间长,无法应用到实时计算机视觉系统等问题,本文提出了一种基于明暗通道的循环GAN网络(bright and dark channel CycleGAN network,BDCCN).BDCCN以CycleGAN为基础,采用固定参数和训练参数相结合方式,基于明暗通道先验理论,改进循...     

基于CycleGAN的仿真PET/CT图像生成方法

目前,癌症仍然是人类身体健康的一个巨大威胁.癌症的诊断尤其是早期诊断,对于癌症的治愈来说至关重要.以正电子发射型计算机断层显像/计算机断层扫描显像(Positron Emission Computed Tomography/Computed Tomography,PET/CT)为代表的医疗影像学技术是癌症早期诊断的重要...