基于多注意力机制的生成对抗网络的遥感图像超分重建

针对现有超分辨算法重建后的遥感图像模糊,含有伪影和噪声等问题,提出一种基于多注意力机制的生成对抗网络。首先,在生成器的残差块中引入高效注意力机制,增强全局相关性,提高模型的特征提取能力;其次,利用迭代注意特征融合模块对输入的图像和经过生成器生成的高层语义特征图进行融合,代替长跳跃连接常用的相加操作,减少输入图像进行相加操作时导致的信息损失,使重建后的图像更加清晰;最后,基于WGAN网络优化模型训练,促进网络训练的稳定,加快损失函数的收敛。在不同数据集上验证上述方法,结果表明,相较次优算法,所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别提高了0.062～0.122 dB和0.03～0.08。     

通道可分离残差网络的图像超分辨率重建

针对现有图像超分辨率重建技术中存在的特征提取方式单一、中间层特征提取不充分等问题，提出了一种通道可分离残差网络。首先，利用多尺度卷积的思想设计出多分支卷积块，充分提取图像的低频信息；其次，利用通道压缩进行降维以精简特征信息，并引入坐标注意力机制对局部融合特征进行增强，通过长短跳跃连接，在加速收敛的同时使得主干网络专注于提取高频特征；最后通过上采样层重建出高分辨率图像。将本算法在Set5、Set14、BSD100和Urban100等4个超分辨率重建领域中公共数据集上进行对比分析，其中在2倍重建任务的Set5数据集上，与DBPN相比，参数量是它的2/5，PSNR和SSIM分别高出0.09 dB和0.001 6。实验结果表明，该算法对图像特征充分提取，以较少的参数量实现了与其他大型模型性能相近甚至更好的重建效果。     

基于生成对抗网络的超分辨率室内地磁基准图构建

构建精确的地磁基准图是确保地磁室内定位技术准确性的重要前提。在有限测量数据下，采用插值法构建地磁基准图会导致部分细节丢失，使结果过于平滑，难以满足定位需求。针对这一问题，提出了一种改进的基于生成对抗网络的超分辨率重建室内地磁基准图网络模型(PU-SRGAN)。首先，通过矩谐分析构建地磁数据集，用于后续的网络模型训练；其次，在生成网络的残差模块中间加入了一个金字塔注意力模块(PANet),增强了对地磁基准图特征的提取能力；最后，在判别网络中，采用频谱归一化的U-Net模块来提高鉴别器的能力并稳定训练动态。实验结果表明，该模型的峰值信噪比(PSNR)和结构相似性(SSIM)比粒子群优化算法(PSO)-Kriging插值法提高了约2.7%和15%,具有更高的构建精度。同时，在抗干扰能力以及地磁基准图细节重建方面均有较大提升。     

多特征选择与双向残差融合的无监督水下图像增强

如今,利用合成的成对数据集训练的有监督模型泛化能力弱,在多变的实际水下环境中表现不佳,而无监督模型虽摆脱 了成对数据集的依赖,但生成图像可能因缺少特征信息导致图像视觉质量较差。 故以循环生成对抗网络为架构,提出多特征选 择与双向残差融合的水下图像增强方法。 一方面,设计以混合注意力为基础的多特征选择模块对水下图像的多种特征进行选 择,再由双向残差融合对传统 U 型跳跃连接进行优化,使图像特征高效表达,有效恢复水下图像的纹理与色彩。 另一方面,在 判别器中引入混合注意力并提出内容感知损失和风格感知损失,保证增强图像在全局内容、局部纹理、风格特征等方面和清晰 图像一致。 与现有的无监督和有监督模型相比较,该模型 PSNR 分别提高了 6%和 2%,SSIM 分别提高了 4%和 3%,对水下图像 有着显著的增强效果,在色彩真实度和饱和度上相比其他现有方法更加优秀。     

基于生成对抗网络的自动装卸目标物标注数据集生成方法

针对建立无人起重装卸目标检测深度学习标注数据耗时问题,设计了货物图像检测生成对抗网络,构成准确的含语义标注和关键点标注的数据集,该数据集可用于有监督深度学习语义分割模型的训练。通过融合StyleGAN与DatasetGAN的生成对抗网络,对实际应用中存在的语义特征变形问题进行改进,将生成器的样本归一化层进行修改,去除均值操作,修改噪声模块和样式控制因子的输入方式;对纹理特征单一的物体的空间位置编码能力弱的问题,将生成网络的常数输入替换为傅里叶特征,并提出一个融合非线性上下采样的模块;最后引入WGAN-GP对目标函数进行改进。应用实验生成标签数据集,使用Deeplab-V3作为评价网络,以DatasetGAN方法作为基线,在语义标签生成任务上,Deeplab-V3输出mIOU值提高14.83%,在关键点标签生成任务上,L2损失平均降低0.4×10^(-4),PCK值平均提高5.06%,验证了改进的生成对抗网络生成语义及关键点标注数据的可行性和先进性。     

结合注意力机制的相对GAN螺栓图像生成

螺栓缺陷非常容易引起输电线路异常甚至故障,但大量的缺陷数据难以获得。将生成式对抗网络应用于缺陷螺栓图像的生成,针对生成过程中存在的图像质量差、生成样本单一,模型收敛缓慢等问题,提出一种基于改进DCGAN的螺栓图像生成方法。首先在损失函数中加入相对均值鉴别器和梯度惩罚,平衡了生成器和判别器的能力,提高了样本质量和模型的收敛速度;然后在模型的生成器和鉴别器中引入注意力机制,捕获图像中长距离的像素特征,提高了缺陷样本的多样性;实验结果验证了改进方法的有效性,实现了缺陷样本的扩增。     

强化组合式生成对抗网络

近年来通过在生成对抗网络中加入条件标签,控制生成图像的类别或属性已经取得很大进展,但是生成图像的类别或属性的准确性有待提高。为此,在生成对抗网络的判别器中加入了强化学习,通过上一次的分类结果去指导当前的分类。另外为了让生成的细粒度图像更加逼真,使用注意力机制在只增加少量的计算损失下让图像有全局感受野,将多属性的星型生成对抗网络与自注意力生成对抗网络组合后的生成图像的质量较高。 强化组合式生成对抗网络的最大均差达到0.036 93,最近邻指标效果较优,能自动化较准确地生成指定了某些属性的艺术图像,实验生成的图片也能用来解决缺乏数据的问题。     

基于AMI-CycleGAN的海洋垃圾图像增强算法

针对循环生成对抗网络(CycleGAN)的海洋垃圾图像增强存在色彩失真、轮廓模糊的问题，提出一种结合自适应空间特征融合的多输入循环生成对抗网络(AMI-CycleGAN)。首先，减少生成器U-Net的网络深度和跨层连接次数以减少参数量，借助平滑扩张卷积避免网格伪影，得到多尺度感受野信息；其次，引入自适应空间特征融合来解决因垃圾尺寸不一导致不同层特征图融合时的信息冲突，得到语义信息丰富的融合特征图，通过与色彩校正网络的增强特征图融合保留了原图像的色彩信息；最后，引入边缘差损失函数和内容感知损失函数丰富细节信息。在trash＿ICRA19上，与CycleGAN相比，其结构相似性值和峰值信噪比分别提升了27.52%和20.75%。与FUnIE-GAN相比，其参数量减少了79.36%,计算速度提高了12.50%。该算法改善了CycleGAN的色彩失真和轮廓模糊问题，且能达到实时检测标准。     

基于DCGAN和改进YOLOv5s的钢丝帘布缺陷检测方法

为解决钢丝帘布表面缺陷检测准确率低且泛化能力不强的问题,提出了一种基于DCGAN和改进YOLOv5s的缺陷检测方法。首先,通过调整DCGAN网络参数并优化超参数,使生成器能够生成具有丰富特征和清晰纹理的钢丝帘布缺陷图像,从而扩充数据集;其次,采用K-means++算法对钢丝帘布缺陷数据重新聚类锚框,以获得更优的锚框参数,实现锚框与实际缺陷的精确匹配;然后,在YOLOv5s主干网络中的C3模块添加坐标注意力机制,以增强模型的特征提取能力和精确定位能力;最后,引入MPDIoU损失函数替换YOLOv5s原损失函数,进一步提高检测精度。实验结果表明,在实测钢丝帘布缺陷数据集上,采用DCGAN数据增强和改进后的YOLOv5s检测模型,缺陷检测平均精度提高了6.6%,达到了89.4%,并且检测准确率和召回率也有所提高。与其他主流检测模型相比,该模型不仅在检测速度上提高了约30%,还保持较高的检测精度。在公开的NEU-DET数据集上,该模型的mAP值达到了82.6%,较原始YOLOv5s模型提高了3.8%。     

基于生成对抗网络的数字图像修复技术

针对破损区域面积大的图像,在现有的图像修复方法中,往往会产生与周围区域不一致的扭曲结构或模糊的纹理。随着深度学习的发展和应用,基于生成对抗网络的方法,通过调节可用数据来生成缺失的内容。对于一个数据集,先将数据集中的样本解析成概率分布中的样本点,利用生成对抗网络快速生成出大量伪造图像,通过搜索最接近的已损坏图像的编码,然后这个编码通过生成模型来推断缺失内容。在此基础上,结合了语义损失函数和感知损失函数,并通过改进激活函数Sigmoid函数扩大了不饱和区域,解决了梯度易消失的问题。通过实验表明,方法成功的预测了图像中大面积缺失区域的信息,并实现了照片的真实感,比先前的方法产生更清晰更连贯的结果。     

融合边缘检测的遥感图像超分辨率重建算法

针对基于生成对抗网络的遥感图像超分辨率重建存在训练不稳定,参数冗余,图片纹理细节不够清晰等问题。提出一种融合边缘检测的遥感图像超分辨率重建算法。首先,在生成器网络中引入改进后的Canny边缘检测算子用于低分辨率图像特征提取,通过在Canny算子边缘提取流程中利用双边滤波和3×3邻域梯度以检测图像的边缘信息,使网络能够更好的表达高频特征;其次,为降低网络参数和提高网络训练的稳定性,去除判别器网络中冗余的BN层,同时将Wasserstein距离定义为对抗损失以解决生成对抗网络训练出现的梯度消失现象。在NWPU RESISC45数据集上,所提方法的峰值信噪比与结构相似性较WDSR和CARN算法分别提升了1.22 dB、0.114和0.32 dB、0.013,且重建后的图像相比较WDSR、CARN等其他SR算法在图像纹理细节和主观视觉效果方面也均有提升。     

基于改进边缘注意力生成对抗网络的电力设备热成像超分辨率重建

针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关系,并将两组依赖关系进行融合,以加大全局信息的提取程度。然后针对参数修正线性单元激活函数(parametric rectified linear unit, PReLU)对网络中神经元进行无差别激活,导致网络特征表达能力受限问题。采用改进β-ACONC自适应控制激活函数替代PRe LU函数,在辨识有效特征的基础上,对神经元进行选择性激活,以强化有效特征、弱化无效特征,提升网络的自适应激活能力和特征表达能力。最后对所提改进边缘注意力生成对抗网络模型(edge-attention generative adversarial network, EA-GAN)进行实验验证。结果表明,与Bi Cubic双三次插值模型和原EA-GAN模型边缘注意力生成对抗网络模型相比,所提改进模型网络性能最好,重建图像质量最高,客观评价指标峰值信噪比(peaksignal-t...     

结合深度线索和几何结构的稀疏光场密集重建

光场一次成像可以同时获得空间和角度的四维信息。现有方法进行角度超分辨率重建时多用于小基线场景的光场图像,在处理大基线场景重建时存在模糊等现象,同时在光场重建过程中遮挡区域重建效果差、长距离的空间关系难以捕获。针对上述问题,提出一种结合深度线索和几何结构的稀疏光场密集重建方法。该方法采用空间金字塔池化提取多尺度特征,更好地保留了图像的纹理细节和高频信息;通过在深度估计模块的部分引入空洞卷积并进行密集连接,扩大了感受野,提高了大基线场景深度估计的精度;利用视图细化模块对图像进行优化处理,在保留视差结构的同时重建了遮挡区域。实验结果表明,本文方法较好地解决了大基线场景光场重建问题,在光场大基线场景数据集上超越了其他算法,PSNR提高了2 dB,SSIM提高了0.018,重建图像的质量均优于现有的算法。     

改进的联合型图像超分辨率重建算法

针对传统锚定邻域回归(anchored neighborhood regression, ANR)的图像超分辨率方法缺乏灵活性、且对图像的细节没有很好的恢复能力的缺点,提出一种锚定邻域回归和卷积神经网络(convolution neural network, CNN)相结合的图像重建方法。首先,在ANR中提出使用弹性网络回归模型,使算法具有特征选择的特点。其次,在CNN的图像预处理部分使用lanczos3插值方法,加快了运算速度,在特征提取中提出使用具有自门控特性的Swish函数作为激活函数,用于提高测试准确度。最后,在重建图像的评价方面提出了图像的相关系数,并用于对重建图像做进一步的有效性评估。实验结果证明,所提方法平均峰值信噪比(PSNR)达到了32.68,平均结构相似性(SSIM)达到0.938 0,平均相关系数达到0.982 8。算法有效地恢复了图像的细节部分,图像质量得到了进一步提升。     

基于二阶梯度的暗通道先验盲图像去模糊

盲图像去模糊的目的是通过迭代在模糊核未知的情况下，从模糊图像中恢复出清晰图像。当真实图像具有较少的暗像素时，暗通道先验算法不能产生令人满意的结果。实验中发现，二阶梯度(海森矩阵)中元素的绝对值随着图像逐渐模糊而减小。利用这一特点，提出一种基于L1正则化二阶梯度的暗通道先验盲图像去模糊算法模型。首先，展示了算法相关的理论证明，通过实验说明海森矩阵在保留边缘细节以及图像细节方面的可行性，其次在暗通道去模糊模型的基础上，引入二阶梯度项并施以L1范数约束。然后采用半二次分裂策略来解决该非凸优化问题，最后，使用快速傅里叶变换求得最终的清晰图像和模糊核。实验结果表明，该算法能够在抑制噪声的同时很好地保护图像的边缘细节和消除振铃伪影，并且在合成图像和自然图像上都比现有的图像去模糊方法鲁棒性更强，并且性能良好。在自然图像数据集中SSIM值平均提高了10%以上。