基于改进循环生成式对抗网络的图像风格迁移

图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展,其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取,生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++),取消了环形网络,并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联;优化了损失函数,采用分类损失代替循环一致损失,实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测,结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中,该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。     

基于残差伪孪生卷积互相关网络的异源遥感图像匹配算法

合成孔径雷达（SAR）成像和可见光成像是遥感卫星的常用成像方式。由于两者在成像信息上具有高度互补性,SAR和可见光的图像数据融合已成为了遥感的一个重要研究领域。异源数据匹配算法的性能直接影响获取地面控制点的精度,匹配算法分为二阶段法和一阶段法,现有的二阶段法难以适应地形复杂的遥感图像,且在速度上无法满足实际的工程需求,而速度满足要求的一阶段法在精度上仍有所欠缺。为解决这个问题,提出了一个可端到端的高精度的基于残差伪孪生卷积互相关网络的异源遥感图像匹配算法。所提算法通过构建基于残差层的伪孪生网络,对提取的SAR和可见光图像的特征进行卷积互相关操作从而实现异源遥感图像匹配。实验结果表明,该算法在保持较高的速度下,较大提升了SAR与可见光图像的匹配精度,为深度学习方法在大规模异源遥感图像匹配任务中的工程应用奠定了基础。     

基于相位一致性的异源图像匹配方法

异源图像由于亮度和对比度差异较大,采用基于灰度和梯度信息的局部特征匹配方法匹配正确率较低。针对该问题,提出一种基于相位一致性和梯度方向直方图的异源图像匹配方法。该方法首先采用具有亮度和对比度不变性的相位一致性方法提取异源图像特征点和边缘图像,并以特征点为中心,选取100×100的边缘图像作为特征区域,统计梯度方向直方图,生成64维特征描述符;然后,选用归一化相关函数作为匹配测度,采用双点匹配方法选取一个特征点的两个较优的候选匹配点,并采用RANSAC方法进行匹配点提纯;最后,基于局部归一化互信息方法和最优化方法进行匹配点精确定位,提高匹配精度。实验结果表明,该方法在可见光、近红外、中波红外和长波红外等异源图像匹配中具有较好的匹配性能,平均匹配正确率高达88%,是SURF匹配方法的3.4倍。     

遥感图像匹配算法比较研究及实验仿真

文中简要介绍了遥感图像的匹配原理,然后分别介绍了基于灰度和特征的图像匹配算法在遥感图像匹配不同场景中的应用。最后,用C++实现了4种遥感数字图像匹配算法的仿真实验,并进行了对比研究,综合评价得出,基于序贯性相似检测匹配(SSDA)的改进方法是一种适合广泛应用的方法。     

基于改进CycleGAN的光学图像迁移生成水下小目标合成孔径声纳图像算法研究

针对循环生成对抗网络CycleGAN(Cycle Generative Adversarial Networks)在光学图像迁移生成水下小目标合成孔径声纳图像过程中存在质量差和速度慢的问题,本文提出一种新的特征提取单元SDK(Selective Dilated Kernel),并利用SDK设计了一个新的生成器网络SDKNet.与此同时,提出了一种新的循环一致损失函数MS-CCLF(Multiscale Cyclic Consistent Loss Function),MS-CCLF增加了图像多尺度结构相似性约束.在自建的图像迁移数据集OPT-SAS上,本文SM-CycleGAN(Selective and Multiscale Cycle Generative Adversarial Networks)比原始CycleGAN的图像迁移质量提升4.64％,生成器网络参数降低4.13MB,运算时间减少0.143s.实验结果表明,SM-CycleGAN更适合水下小目标光学图像到合成孔径声纳图像的迁移任务.     

基于密集连接生成对抗网络的图像颜色迁移

针对传统颜色迁移算法在处理图像时存在颜色误传递,色彩不够自然等问题,提出一种基于密集连接生成对抗网络的图像颜色迁移方法。在训练过程中,训练生成网络生成颜色迁移图像。生成网络中的编码层利用密集连接网络跨层连接的优点促进颜色特征重用,加快网络的收敛速度,同时在转换层采用3层残差模块代替原始的两层残差模块更好地组合图像的不同特征。训练判别网络使其辨别原图像与生成的迁移图像间的差别。本文判别网络中用-log函数计算模型损失,加快训练初期更新速度。实验结果表明,与同类模型相比,本文方法结果图像保留更多细节,且能够抑制部分噪声,整体更接近自然图像。     

基于全局和局部特征的跨模态行人再识别方法

跨模态行人再识别是对同一行人的可见光图像和红外图像之间进行匹配和识别,相对于单模态行人再识别的难度进一步加大。本文采用循环生成对抗网络(Cycle GAN)转换和扩充数据集,尽可能减少行人体态变化带来的影响;在ResNet50网络的基础上引入全局特征对比模块和局部特征模块,减少图像噪声和行人遮挡带来的影响;将交叉熵损失和改进的三元组损失以比例加和的形式作为多损失联合函数,对网络监督训练。实验结果表明,该方法的平均精确度均值和前十位命中率都达到了较高的水平,优于当前多数方法。     

基于CycleGAN的4K超高清电视色域及动态范围转换算法研究

本文在研究超高清电视色域、动态范围技术的基础上,首先拍摄制作了4K超高清视频序列形成训练数据集,随后提出了一种改进的基于循环生成对抗网络(CycleGAN,Cycle Generative Adversarial Network)的深度学习网络,通过研究及多次试验,确定了损失函数.最终通过网络训练实现了基于CycleG...     

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络（Dual-SAG-CycleGAN）,分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。     

基于几何不变性和局部相似特征的异源遥感图像配准算法

针对异源遥感图像在图像配准中的几何形变问题,本文提出了一种基于几何不变性局部相似特征的异源遥感图像配准算法。GISS算法利用加速鲁棒特征算子先对存在几何差异的异源遥感图像进行预匹配,然后根据特征点的方向特征对图像进行旋转仿射校正,最后引用局部相似性描述符并集成相似性度量来考察预匹配点对的相关性,选取其中相似相关性最优的点对实行图像配准。实验结果表明,对于存在几何形变的异源遥感图像,具有较好的配准实现效果,可以有效的解决异源遥感图像之间的几何形变差异问题,具有较好的鲁棒性和配准精度。     

基于多流融合生成对抗网络的遥感图像融合方法

由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。     

联合辐射指数的多流融合网络空谱融合方法

结合遥感图像融合的特点,提出一种联合辐射指数的多流融合生成对抗网络的遥感图像融合方法。该方法从初始的多光谱图像和全色图像中按照特定的规则提取特征图,利用生成器子网络分别提炼输入的多源图像,在特征域上叠加特征后通过生成器的主网络进行融合。根据遥感领域中多光谱图像和全色图像在波段上的特性,在判别器中引入调制传递函数(MTF)来判别融合图像的光谱信息和空间结构信息。为评估所提方法的有效性,进行视觉分析,并与其他算法进行客观评价的比较。实验结果表明,该方法在视觉效果和客观评价上优于其他算法。     

基于生成式对抗网络的遥感图像半监督语义分割

高分辨率遥感图像的语义分割问题是目前遥感图像处理领域中的研究热点之一。传统的有监督分割方法需要大量的标记数据,而标记过程又较为困难和耗时。针对这一问题,提出一种基于生成式对抗网络的半监督高分辨率遥感图像语义分割方法,只需要少量样本标签即可得到较好的分割结果。该方法为分割网络添加全卷积形式的辅助对抗网络,以助于保持高分辨率遥感图像分割结果中的标签连续性;更进一步,提出一种新颖的能够进行注意力选择的对抗损失,以解决分割结果较好时判别器约束的分割网络更新过程中存在的难易样本不均衡问题。在ISPRS Vaihingen 2D语义标记挑战数据集上的实验结果表明,与现有其它语义分割方法相比,所提出方法能够较大幅度地提高遥感图像的语义分割精度。     

基于半监督学习生成对抗网络的人脸还原算法研究

基于大量训练样本生成高置信度图像的生成对抗网络研究已经取得一些成果,但是现有的研究只针对已知训练样本进行图像生成,而未将训练的参数用于训练样本之外的图像生成。该文设计了一种改进的生成对抗网络模型,在已有网络的基础上增加一个还原层,使得测试图像可以通过改进的对抗网络生成对应的高置信度图像。实验结果表明,改进的生成对抗网络参数可以应用到训练集之外的普通样本。同时本文改进了生成模型的损失算法,极大地缩短了网络的收敛时间。     

基于空间联合的红外舰船目标数据增强方法

针对红外舰船目标图像数据少、获取难度高等问题,结合图像的几何变化以及金字塔生成对抗网络的特征拟合,提出一种几何空间与特征空间联合的红外舰船目标图像数据增强方法。首先,利用基于几何空间的几何变换、混合图像及随机擦除等图像变换方法对红外舰船目标图像进行增强;然后,根据红外舰船图像特点,改进金字塔生成对抗网络（SinGAN）,在生成器引入In-SE通道间注意力机制模块,增强小感受野特征表达,使其更适合用于红外舰船目标;最后,在数据集层面联合基于几何空间的几何数据变换和基于特征空间的生成对抗网络两种方法,完成对原始数据集的数据增强。结果表明:以YOLOv3、SSD、R-FCN和Faster R-CNN目标检测算法为基准模型,开展红外舰船图像数据增强仿真实验,采用增强数据训练的网络模型的舰船目标检测平均精度（mAP）均提高了10%左右,验证了所提方法在小样本红外舰船图像数据增强方面的可行性,为提高红外舰船目标检测算法提供了数据基础。     

基于特征解耦的无监督水下图像增强

水介质的吸收和散射特性致使水下图像存在不同类型的失真,严重影响后续处理的准确性和有效性。目前有监督学习的水下图像增强方法依靠合成的水下配对图像集进行训练,然而由于合成的数据可能无法准确地模拟水下成像的基本物理机制,所以监督学习的方法很难应用于实际的应用场景。该文提出一种基于特征解耦的无监督水下图像增强方法,一方面,考虑获取同一场景下的清晰-非清晰配对数据集难度大且成本高,提出采用循环生成对抗网络将水下图像增强问题转换成风格迁移问题,实现无监督学习;另一方面,结合特征解耦方法分别提取图像的风格特征和结构特征,保证增强前后图像的结构一致性。实验结果表明,该方法可以在非配对数据训练的情况下,能够有效恢复水下图像的颜色和纹理细节。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

面向多源遥感图像的自适应目标检测

近年来,目标检测已经在含有大量标注的数据上展现出了良好的效果,但当真实测试数据与标注数据存在域间差异时,往往会导致训练好的目标检测模型性能降低。由于相比于自然图像,多源遥感图像在成像方式和分辨率等方面存在特有的差异,而传统的方法需要将多源图像数据重新标注,这将消耗大量人力和时间,因此在遥感图像上实现自适应目标检测面临特有的挑战。针对以上问题,本文提出了一种面向多源遥感图像的自适应目标检测算法,在图像级别和语义级别上对网络进行对抗训练。此外,通过结合超分辨网络,进一步缩小了图像级别的差异,实现了自适应目标检测。本文在两个多源遥感数据集上进行实验,结果表明本文方法有效提升了目标域上的检测效果。      

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.