多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题,以生成对抗网络为基础,提出一种多尺度语义学习的编解码人脸图像修复模型.首先,将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量,用不同尺寸的卷积核提取多尺度特征,通过提取合适的局部特征来提升修复结果的细节;其次,将提取的多尺度特征输入至语义学习模块,从通道和空间两个角度学习特征之间的语义关系,从而增强修复结果的全局一致性;最后,引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失,改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验,结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升,修复的结果在视觉上局部细节和全局语义更合理.     

基于注意力机制的多尺度特征融合图像去雨方法

雨纹分布和形状具有多样性,现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此,本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成,多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息,并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合,组间利用全局特征融合注意力模块更好地融合不同层次的特征,通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比,本文方法的定量指标有着明显提高,去雨后的图像视觉效果较好且具有良好的泛化性.     

融合多尺度Transformer的皮肤病变分割算法

针对现有皮肤病变图像分割时缺乏多尺度特征提取,从而导致细节信息缺失和病变区域误分割的问题,本文提出一种融合多尺度Transformer的编解码网络皮肤病变分割算法。首先运用Transformer模块构建分层编码器,分层编码器从全局特征变化角度出发,多尺度分析皮肤病变区域;然后利用多尺度融合模块、通道注意力模块和联合层构建融合解码器,多尺度融合模块互补分层编码器中浅层网络信息与深层网络信息,增强空间信息和语义信息间的依赖关系,通道注意力模块能够有效识别特征丰富的通道,提高算法分割精度;最后引入扩展模块恢复图像大小以匹配实际需求。将该算法在ISBI2016、ISBI2017和ISIC2018三个公共数据集上进行实验测试,其像素精度分别为96.70%、94.50%和95.39%,平均交并比分别为91.69%、85.74%和89.29%,算法测试整体性能优于现有算法。仿真实验证明,多尺度Transformer编解码网络能够有效地分割皮肤病变图像。     

MSAG-TransNet:肺部CT图像中新型冠状病毒感染区域的分割模型

针对现有新型冠状病毒感染区域的分割方法存在形态特征提取不充分、感染区域检测不完整以及背景混淆等问题,提出了一种肺部CT图像中新型冠状病毒感染区域的分割新模型：MSAG-TransNet模型。该模型在U型网络的基础上增加了多尺度特征抽取模块、Transformer语义增强模块和多重注意力门模块等3个新模块。首先设计了多尺度特征抽取模块来增强骨干网络的特征提取能力,通过多分支结构的深度可分离卷积,充分提取感染区域的形态特征;其次,设计了Transformer语义增强模块来捕获图像全局位置信息,整合局部形态特征;最后,设计了多重注意力门模块,将提取的特征与对应上采样过程的门信号拆分成不同分区,然后利用注意力门抑制各分区的无效特征,得到最终分割结果。该模型在两个公开的新型冠状病毒感染CT数据集上进行实验,实验结果显示：分割图像的Dice系数分别为82.03%和76.67%,精确率为77.27%和72.34%,交并比为69.53%和62.16%;与其他主流模型相比,该模型能够提取更丰富的形态特征,检测到更完整的感染区域,并且得到更精准的分割结果。该模型可以更精确的定位和量化新型冠状病毒感染区域,...     

融合上下文感知注意力的低光图像去雾网络

现有的低光去雾算法因受图像光照强度低、光照不均匀等影响,其去雾后的图像存在细节丢失、色彩失真等现象。针对上述问题,提出一种融合上下文感知注意力的低光图像去雾网络(ACANet)。首先,在基准网络中引入层内上下文感知注意力模块,分别从通道维度和空间维度结合全局视角辨识和加权同一尺度下的重要特征,使网络突破局部视野的约束,更加高效地提取图像纹理信息;其次,引入层间上下文感知注意力模块,通过投影操作将高级特征映射到信号子空间,以实现不同层之间多尺度特征信息的高效融合,进一步提升对图像细节的重建;最后,引入CIEDE2000色偏损失函数,通过CIELAB色彩空间对图像色调进行约束,并与L2损失一起联合优化网络,使网络准确地学习图像色彩,以解决图像的严重色偏问题。实验结果表明,所提算法在多个数据集上的客观指标均优于现有去雾算法,其峰值信噪比指标较基准网络提高了8.8%,且主观去雾效果更彻底,恢复图像细节更丰富,色彩还原度更好,更接近于真实图像。     

融合多尺度和多头注意力的医疗图像分割方法

为了从医疗图像中自动且准确地提取兴趣区域, 提出基于神经网络的分割模型MS²Net. 针对传统卷积操作缺乏获取长距离依赖关系能力的问题, 为了更好提取上下文信息, 提出融合卷积和Transformer的架构. 基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系, 基于相似度关系融合各像素特征使网络拥有全局视野, 使用相对位置编码使Transformer保留输入特征图的结构信息. 为了使网络适应兴趣区域形态的差异, 在MS²Net中应用解码端多尺度特征并提出多尺度注意力机制. 对多尺度特征图依次应用分组通道和分组空间注意力, 使网络自适应地选取合理的多尺度语义信息. MS²Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标, 有着较好的泛化能力.     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

结合感知注意力机制的生成式对抗网络图像修复

针对现有经典图像修复算法修复结果存在的语义信息不合理、修复边界处易产生伪影等问题,本文结合注意力机制对其进行改进。第一层生成模型对图像进行编码解码操作,完成粗略修复;第二层生成模型结合感知注意力,完成具有更合理语义信息的精细修复;采用局部鉴别器和全局鉴别器对修复内容进行反馈优化。与其他两种主流修复算法基于CelebA数据集进行对比,PSNR值最大程度提升了1.34 dB,SSIM值最大程度提升了0.007。实验结果表明,用结合注意力机制算法修复后图像的语义结构以及纹理的完整性与原图更加接近。     

基于改进Transformer的结构化图像超分辨网络

针对现有的结构化图像超分辨重建算法大多只能解决特定单一种类的结构化图像超分辨问题，提出一种基于改进Transformer的结构化图像超分辨率网络（TransSRNet）.该网络利用Transformer的自注意力机制在空间序列中挖掘大范围的全局信息.采用沙漏块结构搭建空间注意力单元，关注低分辨率空间和高分辨率空间在局部区域的映射关系，提取图像映射过程中的结构化信息，使用高效通道注意力模块对自注意力模块和空间注意力模块做特征融合.在高度结构化CelebA、Helen、TCGA-ESCA和TCGA-COAD数据集上的模型评估结果表明，相较于主流超分辨算法，TransSRNet整体性能表现更好.在放大因子为8时，人脸数据集和医学峰值信噪比（PRNR）可以分别达到28.726、26.392 dB,结构相似性（SSIM）可以分别达到0.844、0.881.     

深度图像修复的动态特征融合取证网络

基于深度学习的图像修复方案在篡改后图像中遗留很少的痕迹信息给取证带来了极大的困难。目前针对深度图像修复的取证工作研究较少,并且存在篡改区域定位不准确的问题。为此,本文提出了一种动态特征融合取证网络(dynamic feature fusion forensics network, DF³Net)用于定位经过深度图像修复操作的篡改区域。首先,该网络采用不同的篡改痕迹增强方式包括SRM滤波、空间域高通滤波和频率域高通滤波将单输入图像扩展到多输入,并提出动态特征融合模块对多种输入提取有效的修复痕迹特征后进行动态的特征融合;其次,网络采用编码器-解码器架构作为基础框架,并在编码器末端增加多尺度特征提取模块以获取不同尺度的上下文信息;最后,本文还设计了空间加权的通道注意力模块用于编、解码器之间的跳跃连接,以期实现有侧重地补充损失的边界细节。实验结果表明,面对不同的深度修复方案以及不同的图像数据库,DF³Net相较于现有的图像修复取证方法均可以更准确地定位篡改区域,并且对于JPEG压缩和高斯噪声具有较强的鲁棒性。     

融合边缘条件的多个鉴别器生成对抗网络

针对现有图像处理方法仍然存在人脸补全后,人脸五官等局部区域的视觉连通性较差的问题, 提出了一种包含全局鉴别网络、局部鉴别网络和人脸部位鉴别网络的边缘补全方法。其中全局鉴别网络鉴别 全图的视觉连通性;局部鉴别网络约束补全部分;人脸部位鉴别网络约束补全图像效果。将残缺灰度图、 残缺边缘图和掩膜图输入到边缘补全网络,得到补全边缘图。然后将补全边缘图和残缺彩色图输入到图像 补全网络,得到补全图像。边缘补全网络和图像补全网络进行端对端连接,形成一个完整的解决方案。在 CelebA 数据集上与对照组进行视觉连通性对比,结果表明：提出的算法能够更好地还原人脸部位的信息。     

结合注意力与无监督深度学习的单目深度估计

针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块（SAM）来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络（FPN）,设计了多层次特征融合模块（MFFM）,对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。     

联合多尺度与注意力机制的遥感图像目标检测

遥感图像存在背景复杂、目标尺度差异大且密集分布等不足,为提高现有算法的检测效果提出联合多尺度与注意力机制的遥感图像目标检测算法. 改进空洞空间金字塔池化模块,增大不同尺寸图像的感受野;提出注意力模块用于学习特征图通道信息和空间位置信息,提升算法对复杂背景下遥感图像目标区域的特征提取能力;引入加权双向特征金字塔网络结构与主干网结合来增进多层次特征的融合;使用基于距离的非极大值抑制方法进行后处理,改善检测框易重叠的问题. 在DIOR和NWPUVHR-10数据集上的实验结果表明：所提算法的平均精度均值mAP分别达到71.6%和91.6%,相比于主流的YOLOv5s算法分别提升了2.9%和1.5%. 所提算法对复杂遥感图像取得了更好的检测效果.     

一种用于自动驾驶场景的轻量级语义分割网络

在自动驾驶场景下,针对语义分割模型在车载硬件设备中部署时内存受限且算力不足的问题,需要设计一种较好权衡效率和精度的语义分割模型。采用单分支网络结构,设计了一个轻量级多尺度双向注意力网络。为了实现高效的特征提取,设计了一种轻量级卷积单元来构成网络的特征提取骨干。为了较好地定位和分割道路场景中尺度差异较大的物体,提出了一种多尺度双向注意力模块。它具有全局多尺度感受野,并且在沿一个方向编码通道注意力的同时保留了另一个方向的空间位置信息。基于该注意力模块,设计了跳跃注意力连接模块和特征注意力融合模块,使得输出特征兼具细节信息和语义信息。模型在Cityscapes数据集上以0.9M的参数量,取得了71.86%的平均交并比,同时在单个RTX2080Ti GPU下实现了88FPS的推理速度。实验结果表明,该模型能够实现较高的分割精度,适用于车载硬件下的部署和应用,具有一定的实用价值。     

Multi-Scale Dilated Convolutional Neural Network for Hyperspectral Image Classification

基于多尺度空洞卷积神经网络的高光谱图像分类

郑姗姗¹,刘文¹,单锐¹,赵静一²,江国乾³,张智⁴

（1. 燕山大学理学院,河北 秦皇岛 066004;2. 燕山大学机械工程学院,河北 秦皇岛 066004;3. 燕山大学电气工程学院,河北 秦皇岛 066004;4. 北京航天研究所,北京 100094）

创新点说明：

1）将图像分割方法——空洞卷积用于卷积神经网络进行高光谱图像分类,提取更加广泛、抽象的图像特征。

2）构建基于多尺度空洞卷积神经网络的高光谱图像分类方法。搭建多尺度聚合结构,在每个通道中使用快捷连接和空洞卷积结构,有效提取图像特征,避免信息丢失。

研究目的：

针对图像信息丢失问题,得到高精度的高光谱图像分类方法。

研究方法：

在Indian Pines和Pavia University数据集上,与4个已有的高光谱图像分类方法进行对比实验,比较OA, AA和Kappa值。

研究结果：

多尺度空洞卷积神经网络在Indian Pines和Pavia University数据集上OA值分别达到了99.58%,99.92%。AA值分别达到了99.57%,99.90%。Kappa分别达到了99.52%,99.89%。

结论：

1）在卷积神经网络中引入空洞卷积,可以有效避免图像信息丢失。

2）多尺度空洞卷积神经网络能提取更佳的判别性特征,实现高分类性能。

关键词：多尺度聚合;空洞卷积;高光谱图像分类;快捷连接

     

基于残差卷积与多头自注意力的CXR图像分类

为了提高新型冠状病毒肺炎（COVID-19）检测的效率和准确性,本文提出一种自动识别COVID-19胸部X射线（Chest X Ray,CXR）图像的网络模型（MHRA-RCNet）。在ResNet50的基础上,首先采用残差卷积对CXR图像中形状复杂的感染区域进行局部特征提取;其次选择在ResNet50的二、三阶段引入多头关系聚合模块,以增强对全局信息的建模能力;为了进一步将局部信息和全局信息进行融合,以提高特征的表达能力和特征之间位置的相关性,本文还在ResNet50的最后阶段引入了空洞视觉Transforme模块,有助于识别CXR图像中复杂的病变区域;最后将融合后的特征以串联方式输入全局平均池化层进行全局空间信息整合,通过多层感知机进行图像分类并进行可视化分析。在公开访问的COVID-19 Radiography Database数据集上进行图像分类,实验结果显示,MHRA-RCNet模型在多项指标上均优于其基础模型ResNet50和其他分类模型,其整体准确率、精确度、灵敏度、特异性和F1分别提高到98.12%、97.36%、96.60%、98.47%和96.98%,证明了MHRA-RCNet模型在图像分类任务上的有效性。另外,MHRA-RCNet模型对新冠肺炎识别的精确度、灵敏度和特异性分别为98.32%、97.64%和99.59%,具有较好的识别效果和分类性能。