基于残差注意力机制的图像去雾算法

传统基于先验知识与基于学习的图像去雾算法依赖大气散射模型,容易出现颜色失真和去雾不彻底的现象。针对上述问题,提出一种端到端的基于残差注意力机制的图像去雾算法,该算法网络包括编码、多尺度特征提取、特征融合和解码4个模块。编码模块将输入的雾图编码为特征图像,便于后续特征提取并减少内存占用;多尺度特征提取模块包括残差平滑空洞卷积模块、残差块和高效通道注意力机制,能够扩大感受野并通过加权筛选提取的不同尺度特征以便融合;特征融合模块利用高效通道注意力机制,动态调整不同尺度特征的通道权重,学习丰富的上下文信息并抑制冗余信息,增强网络提取雾霾密度图像的能力从而使去雾更加彻底;解码模块对融合后的特征进行非线性映射得到雾霾密度图像,进而恢复无雾图像。通过在SOTS测试集和自然有雾图像上进行定量和定性的测试,所提方法取得了较好的客观和主观评价结果,并有效改善了颜色失真和去雾不彻底的现象。     

融合多尺度Transformer的皮肤病变分割算法

针对现有皮肤病变图像分割时缺乏多尺度特征提取,从而导致细节信息缺失和病变区域误分割的问题,本文提出一种融合多尺度Transformer的编解码网络皮肤病变分割算法。首先运用Transformer模块构建分层编码器,分层编码器从全局特征变化角度出发,多尺度分析皮肤病变区域;然后利用多尺度融合模块、通道注意力模块和联合层构建融合解码器,多尺度融合模块互补分层编码器中浅层网络信息与深层网络信息,增强空间信息和语义信息间的依赖关系,通道注意力模块能够有效识别特征丰富的通道,提高算法分割精度;最后引入扩展模块恢复图像大小以匹配实际需求。将该算法在ISBI2016、ISBI2017和ISIC2018三个公共数据集上进行实验测试,其像素精度分别为96.70%、94.50%和95.39%,平均交并比分别为91.69%、85.74%和89.29%,算法测试整体性能优于现有算法。仿真实验证明,多尺度Transformer编解码网络能够有效地分割皮肤病变图像。     

多尺度注意力密集连接网络的单幅图像去雨算法

为了获取更好的去雨效果,更好地保留图像纹理细节,设计了一个端到端的多尺度注意力密集连接网络,引入了多尺度注意力模块,通过不同的扩张卷积获得不同尺度下的雨条纹特征。设计了一个并行注意力蒸馏模块,结合通道注意力和子空间注意力机制来校准从多尺度采集获得的图像特征,然后消除冗余特征信息。整体网络架构采用密集连接跨层融合代替直接连接的方式,加强了特征重用,易于训练。结果表明,本方法在提升去雨性能的同时,改善了对于图像的细节保留。     

基于多线型特征增强网络的架空输电线检测

针对架空输电线可见光图像中环境背景复杂、电力线像素占比小,导致电力线检测精度低、断点率高的问题,提出具有强化线型特征提取和减少断点能力的多线型特征增强网络(MLED). 利用双路残差框架提取线型电力线目标的主干和边缘特征,通过多特征融合模块,在不同尺度的层次上实现主干、边缘和高层特征的深度整合,输出检测结果. 在多特征融合模块中嵌入残差、反卷积、多尺度结合等多路运算. 实验结果表明,MLED的检测能力较PSPNet、FCRN、UNet 有明显提高,多特征融合模块优于传统的残差连接块,可视化结果的 F 检验(F-Measure)、IoU 平均值(Mean IoU)分别为78.4%、77.8%,断点率为30.8%.     

基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建

针对医学MRI影像成像过程中由于噪声、成像技术等各种干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法.首先,利用多尺度残差组改进网络中的残差块,局部残差特征聚合模块将残差组聚合在一起,实现残差特征的非局部使用,减少局部特征在网络传播过程中的丢失;其次,通过注意力机制获取对关键信息响应程度更高的通道和空间特征信息,进而提升重建图像的细节纹理效果;然后,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最后,将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,从而明确地指导高质量超分辨率图像生成.对比基于梯度引导的结构保留超分辨率算法(SPSR),本文所提算法在×2,×3,×4尺度下的峰值信噪比平均提高了0.72 dB,实验结果表明所提算法重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真.     

风格感知和多尺度注意力的人脸图像修复

人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network, GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

基于SK注意力残差网络的水下图像增强

针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题，提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构，引入残差模块，减少编码器和解码器之间的特征丢失，增强了图像细节和颜色.为了使网络能适应不同尺度的特征图提取图像关键信息，该方法在残差模块后添加SK注意力机制，采用参数修正线性单元来提高网络的拟合能力.将本文方法分别在真实和合成的水下图像数据集中进行验证，采用传统方法和深度学习的方法进行主客观评价.在主观效果分析中发现，本文方法增强后的图像颜色、关键信息和细节特征都有很大提升.在客观评价指标中发现，本文方法指标值均高于现有的水下图像增强算法，验证了该算法的有效性.     

多尺度注意力交互式图像去噪网络

图像去噪中,针对去噪网络提取图像细节信息不全面和特征利用率低的问题,提出一种基于深度学习的多尺度注意力交互式图像去噪网络（MAINet）。首先,对于浅层像素级特征采用多尺度特征提取块获取丰富的上下文信息和图像纹理特征,以保证图像信息的完整性;然后,引入双路通道注意力机制指导网络获取更具判别性的特征信息,抑制不期望的噪声,从而进一步优化特征信息;最后,利用分类密集残差块的密集连接和成对卷积操作增强模型的交互性,对全局多层次特征进行联合学习,提取更高质量的语义级特征,以提升去噪网络的性能。实验结果表明,在定量和定性评估方面,所提出的去噪网络在合成噪声和真实噪声两种数据集上的去噪效果都有所提升。     

嵌入卷积块注意力模块的人像自动抠图算法

针对常用人像抠图算法需要输入人工标注三分图及抠图精度不高的问题,提出一种嵌入卷积块注意力模块的人像自动抠图算法。该算法使用三分支网络进行学习：首先预分割分支网络将MobileNetV2与Unet相结合,减少网络参数,引入h-swish激活函数,保留更多有效特征,获取三分图;然后在Alpha抠图分支网络嵌入卷积块注意力模块(CBAM),更好地获取图像多尺度信息,实现Alpha图的初步预测;最后通过细节融合分支网络将以上两个分支的输出进行特征融合,得到Alpha图。实验对比本文算法与现有深度图像抠图(DIM)算法,结果表明,本文算法的绝对误差和(SAD)降低了7.5%、均方误差(MSE)降低了19.4%,实现了人像自动抠图,并获得了良好的抠图效果。     

多尺度卷积神经网络的单幅图像去雨方法

雨天气会影响户外拍摄图像质量,模糊和覆盖图像信息.为提高受雨天气影响的户外拍摄图像的清晰度,恢复图像特征信息,提高很多计算机视觉算法在雨天气条件下的准确性,提出一种基于多尺度卷积神经网络的单幅图像去雨方法.首先建立多尺度卷积神经网络网络结构,通过多尺度卷积提取图像信息,用于去除雨线和重建图像,然后结合雨线在图像中的低饱和度、高亮度的特征,对网络进行训练,获取网络最优参数值,最终得到可以有效去除雨线的卷积神经网络.实验结果表明:提出的方法相较于现有算法有更好的雨线去除效果,并且可以更好地保持图像的原有信息,避免图像模糊现象.同时,利用多尺度卷积提取图像特征信息可以使特征信息更加丰富,有利于提升卷积神经网络的去雨能力.     

基于多尺度特征与注意力机制的轴承寿命预测

针对以往剩余使用寿命（RUL）预测方法对轴承退化信息挖掘不充分、忽视不同特征贡献度差异,影响预测准确性的问题,提出基于多尺度特征与注意力机制的轴承RUL预测方法. 在多个尺度下计算轴承原始振动信号的若干时域和频域特征,作为输入特征集. 将多尺度特征集输入到网络中,以注意力模块为不同特征自适应地分配最佳权重,以卷积神经网络（CNN）模块进行深层特征提取与多尺度特征融合,通过前馈神经网络（FNN）模块映射得到RUL预测值. 通过公开的轴承数据集进行实验验证,与其他RUL预测方法相比,所提方法的预测性能更优越.     

联合多尺度与注意力机制的遥感图像目标检测

遥感图像存在背景复杂、目标尺度差异大且密集分布等不足,为提高现有算法的检测效果提出联合多尺度与注意力机制的遥感图像目标检测算法. 改进空洞空间金字塔池化模块,增大不同尺寸图像的感受野;提出注意力模块用于学习特征图通道信息和空间位置信息,提升算法对复杂背景下遥感图像目标区域的特征提取能力;引入加权双向特征金字塔网络结构与主干网结合来增进多层次特征的融合;使用基于距离的非极大值抑制方法进行后处理,改善检测框易重叠的问题. 在DIOR和NWPUVHR-10数据集上的实验结果表明：所提算法的平均精度均值mAP分别达到71.6%和91.6%,相比于主流的YOLOv5s算法分别提升了2.9%和1.5%. 所提算法对复杂遥感图像取得了更好的检测效果.     

Multi-Scale Feature Extraction for Joint Classification of Hyperspectral and LiDAR Data

With the development of sensors, the application of multi-source remote sensing data has been widely concerned. Since hyperspectral image (HSI) contains rich spectral information while light detection and ranging (LiDAR) data contains elevation information, joint use of them for ground object classification can yield positive results, especially by building deep networks. Fortunately, multi-scale deep networks allow to expand the receptive fields of convolution without causing the computational and training problems associated with simply adding more network layers. In this work, a multi-scale feature fusion network is proposed for the joint classification of HSI and LiDAR data. First, we design a multi-scale spatial feature extraction module with cross-channel connections, by which spatial information of HSI data and elevation information of LiDAR data are extracted and fused. In addition, a multi-scale spectral feature extraction module is employed to extract the multi-scale spectral features of HSI data. Finally, joint multi-scale features are obtained by weighting and concatenation operations and then fed into the classifier. To verify the effectiveness of the proposed network, experiments are carried out on the MUUFL Gulfport and Trento datasets. The experimental results demonstrate that the classification performance of the proposed method is superior to that of other state-of-the-art methods.     

深度图像修复的动态特征融合取证网络

基于深度学习的图像修复方案在篡改后图像中遗留很少的痕迹信息给取证带来了极大的困难。目前针对深度图像修复的取证工作研究较少,并且存在篡改区域定位不准确的问题。为此,本文提出了一种动态特征融合取证网络(dynamic feature fusion forensics network, DF³Net)用于定位经过深度图像修复操作的篡改区域。首先,该网络采用不同的篡改痕迹增强方式包括SRM滤波、空间域高通滤波和频率域高通滤波将单输入图像扩展到多输入,并提出动态特征融合模块对多种输入提取有效的修复痕迹特征后进行动态的特征融合;其次,网络采用编码器-解码器架构作为基础框架,并在编码器末端增加多尺度特征提取模块以获取不同尺度的上下文信息;最后,本文还设计了空间加权的通道注意力模块用于编、解码器之间的跳跃连接,以期实现有侧重地补充损失的边界细节。实验结果表明,面对不同的深度修复方案以及不同的图像数据库,DF³Net相较于现有的图像修复取证方法均可以更准确地定位篡改区域,并且对于JPEG压缩和高斯噪声具有较强的鲁棒性。     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

基于梅尔频谱分离和LSCNet的声学场景分类方法

针对现有频谱分离方法进行声学场景分类研究时其分类准确率不高的问题,提出了一种基于梅尔频谱分离和长距离自校正卷积神经网络(long-distance self-calibration convolutional neural network, LSCNet)的声学场景分类方法。首先,介绍了频谱的谐波打击源分离原理,提出了一种梅尔频谱分离算法,将梅尔频谱分离出谐波分量、打击源分量和残差分量;然后,结合自校正神经网络和残差增强机制,提出了一种长距离自校正卷积神经网络;该模型采用频域自校正算法以及长距离增强机制来保留特征图原始信息,通过残差增强机制和通道注意力增强机制加强了深层特征与浅层特征间的关联度,且结合多尺度特征融合模块,以进一步提取模型训练中输出层的有效信息,从而提高模型的分类准确率;最后,基于Urbansound8K和ESC-50数据集开展了声学场景分类实验。实验结果表明:梅尔频谱的残差分量能够针对性地减少背景噪音的影响,从而具有更好的分类性能,且LSCNet实现了对特征图中频域信息的关注,其最佳分类准确率分别达到90.1%和88%,验证了该方法的有效性。