基于半监督学习和生成对抗网络的医学图像融合算法

为了有效利用少量的医学图像标签数据和大量的无标签数据,提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练,主要包括监督训练、无监督训练、参数微调等3个阶段。此外,生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成,而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明,与现有的6种基于深度学习的算法相比,所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能,提高融合图像的质量。     

基于半监督生成对抗网络的乳腺癌图像分类

本文针对仅有少量带标签样本时如何提高大量未标 注样本分类的的鲁棒性和准确性问题,提出一种 基于改进的半监督生成对抗网络(semi-supvised generative adversarial networks,SGAN) 的乳腺癌图像分类方法。该方法在输出层使用Softmax 函数 替代 Sigmoid 函数实现多分类。首先将随机向量输入到生成网络中,生成伪样本并标记为伪样本 类进行训 练。接着将真实标签样本、真实无标签样本和伪样本输入到判别网络中,输出为不同类概率 值;然后采 用半监督训练方法反向传播更新参数;最后实现对乳腺癌病理图像的分类,标注样本数量分 别为25、 50和200,最终准 确率达到95.5%。实验结果表明,当标注 样本有限时,本文算法的准确 率具有良好 的鲁棒性。本文算法相比于使用卷积神经网络和迁移学习(tranfer learning,TL)等分类方法准确率有了显著提高。     

基于半监督学习生成对抗网络的人脸还原算法研究

基于大量训练样本生成高置信度图像的生成对抗网络研究已经取得一些成果,但是现有的研究只针对已知训练样本进行图像生成,而未将训练的参数用于训练样本之外的图像生成。该文设计了一种改进的生成对抗网络模型,在已有网络的基础上增加一个还原层,使得测试图像可以通过改进的对抗网络生成对应的高置信度图像。实验结果表明,改进的生成对抗网络参数可以应用到训练集之外的普通样本。同时本文改进了生成模型的损失算法,极大地缩短了网络的收敛时间。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

基于图注意力网络的半监督SAR舰船目标检测

基于深度学习的合成孔径雷达(SAR)舰船目标检测近年得到了快速发展。然而,传统有监督学习需要大量的标记样本来训练网络。针对此问题,该文提出一种基于图注意力网络(GAT)的半监督SAR舰船目标检测方法。首先,设计了对称卷积神经网络用于海陆分割。随后,完成超像素分割并将超像素块建模为GAT的节点,利用感兴趣区域池化层提取节点的多尺度特征。GAT采用注意力机制自适应地汇聚邻接节点特征实现对无标记节点的分类。最后,将预测为舰船目标的超像素块定位到SAR图像中并获得精细检测结果。在实测高分辨SAR图像数据集上验证了所提方法。结果表明该方法可以在少量标记样本下,以低虚警率实现对舰船目标的可靠检测。     

基于特征融合和自注意力机制的水下目标识别

海洋水声信道具有时变、空变的特征,被动式声纳接收到的目标信号复杂多变,传统水下目标识别方法难以满足当前任务要求。提出基于注意力机制改进的多特征融合水下目标识别框架,在典型声学特征基础上,通过引入对比学习无监督特征加强目标数据的特征表达,使用多维自注意力机制,分别在特征维度和时间维度高效完成深层次目标弱信息特征抽取,显著提升识别效果。通过对真实录制的水声数据集进行实验对比,证明了所提出方法的有效性。     

基于注意力机制的双向生成对抗压缩网络

针对现有的图像超分辨率算法网络模型参数量大、计算复杂度高、前向推理过程中耗时长等问题,将深度可分离卷积层引入双向对抗生成网络模型中,同时为了保证双向生成对抗网络的精度,在下采样网络中引入混合注意力机制,以保证模拟生成的低分辨率图片更加贴近现实.在i78700 CPU上对Urban100测试集的图像放大4倍,所提算法的重...     

面向小样本SAR图像识别的自注意力多尺度特征融合网络

合成孔径雷达（Synthetic Aperture Radar,SAR）图像标签难以大量获取,存在着大量小样本SAR数据集。SAR图像充满着散斑噪声,直接将卷积神经网络（Convolutional Neural Network,CNN）应用在小样本SAR数据集上难以提取有效特征。针对以上问题,本文提出了一种面向小样本SAR图像识别的自注意力多尺度特征融合网络。首先,将自注意力机制与幽灵模块相结合构建自注意力幽灵模块,并利用该模块替代经典的卷积操作提取SAR图像特征。其次,在网络中添加通道混洗单元以构建多尺度信息融合支路。最后,引入知识蒸馏对设计的网络进行压缩,进一步控制网络参数量。实验结果表明,本文方法在不同工作条件下采集的MSTAR数据集上具有出色的识别性能,在构建的小样本SAR数据集上也表现出良好的鲁棒性。      

基于特征增强生成对抗网络的文本生成图像方法

针对文本生成图像任务过程中存在图像视觉特征和通道特征信息利用不充分问题,提出一种基于特征增强生成对抗网络(FE-GAN)的文本生成图像方法.首先,在动态记忆读取时,设计二次记忆(MoM)模块来对生成的中间特征进行注意与融合,利用注意力机制在记忆读取时进行第一次视觉特征增强,再将得到的注意力结果和上一个生成器生成的图像特征进行融合,实现第二次图像视觉特征增强.然后,在残差块中引入通道注意力来获取图像特征中的不同语义,提升相似语义通道之间的关联性,实现通道特征增强.最后,将实例归一化上采样块和批量归一化上采样块相结合来提高图像分辨率,同时缓解批量大小对生成效果的影响,提升生成图像风格多样性能力.在CUB-200-2011和Oxford-102数据集上进行的仿真实验表明,所提方法的IS分别达到了4.83和4.13,与DM-GAN相比分别提高了1.68%和5.62%.实验结果表明,FE-GAN生成的图像在细节处理上更好,更加符合文本语义.     

基于注意力和自适应特征融合的SAR图像飞机目标检测

针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像中飞机目标尺度多样性及背景强散射干扰的问题,提出了一种基于坐标注意力和自适应特征融合的YOLOv4 SAR图像飞机目标检测算法。该方法首先在主干网络引入坐标注意力机制,以增强对于飞机散射点组合结构的聚焦能力以及抗背景干扰能力。其次,在特征增强网络中引入自适应特征融合机制,提高了对不同大小飞机的特征提取能力,同时改善了YOLOv4算法召回率和精确率不平衡的问题。最后,通过改进的K-Means聚类针对飞机目标调整先验框的尺寸,提高了模型的定位精度。实验结果表明,改进算法召回率达到91.01%,精确率达到90.09%,AP_0.5达到92.34%,分别较原YOLOv4算法提高2.49%,6.56%和3.62%。     

基于深度森林的多级特征融合SAR目标识别

大多数传统的合成孔径雷达(SAR)目标识别方法仅仅使用了单一的幅度特征,但是由于斑点噪声的存在,仅仅使用幅度特征会限制识别的性能。为了进一步提高SAR目标识别的性能,该文提出了一个基于深度森林的多级特征融合SAR目标识别方法。首先,在特征提取阶段,提取了多级幅度特征和多级密集尺度不变特征变换(Dense-SIFT)特征。幅度特征反映了目标反射强度,Dense-SIFT特征描述了目标的结构特征。而多级特征可以从局部到全局表征目标。随后,为了更完整、充分地反映SAR目标信息,借鉴深度森林的思想对多级幅度特征和多级Dense-SIFT特征进行联合利用。一方面通过堆叠的方式不断将多级幅度特征和多级Dense-SIFT特征进行融合,另一方面通过逐层的特征变换挖掘深层信息。最后利用得到的深层融合特征对目标进行识别任务。该文在MSTAR数据集上进行对比实验,实验结果表明所提算法在性能方面取得了提升,且其性能对超参数设置具有一定的鲁棒性。     

基于深度森林的多级特征融合SAR目标识别

大多数传统的合成孔径雷达(SAR)目标识别方法仅仅使用了单一的幅度特征,但是由于斑点噪声的存在,仅仅使用幅度特征会限制识别的性能.为了进一步提高SAR目标识别的性能,该文提出了一个基于深度森林的多级特征融合SAR目标识别方法.首先,在特征提取阶段,提取了多级幅度特征和多级密集尺度不变特征变换(Dense-SIFT)特征.幅度特征反映了目标反射强度,Dense-SIFT特征描述了目标的结构特征.而多级特征可以从局部到全局表征目标.随后,为了更完整、充分地反映SAR目标信息,借鉴深度森林的思想对多级幅度特征和多级Dense-SIFT特征进行联合利用.一方面通过堆叠的方式不断将多级幅度特征和多级Dense-SIFT特征进行融合,另一方面通过逐层的特征变换挖掘深层信息.最后利用得到的深层融合特征对目标进行识别任务.该文在MSTAR数据集上进行对比实验,实验结果表明所提算法在性能方面取得了提升,且其性能对超参数设置具有一定的鲁棒性.     

基于多流融合生成对抗网络的遥感图像融合方法

由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。

     

融合注意力的生成式对抗网络单图像超分辨率重建

基于深度学习的单图像超分辨率重建方法已经比较完善,重建图像具有较高的客观评价值或具有较好的视觉效果,但是图像感知效果和客观评价值不能均衡提升.针对这一问题,提出一种融合注意力的生成式对抗网络单图像超分辨率重建方法.首先去掉残差网络中会破坏图像原本的对比度信息、影响图像生成质量的批归一层,其次是构造注意力卷积神经网络残差...     

Infrared and Visible Image Fusion Based on Blur Suppression Generative Adversarial Network

The key to multi-sensor image fusion is the fusion of infrared and visible images. Fusion of infrared and visible images with generative adversarial network(GAN) has great advantages in automatic feature extraction and subjective vision improvement. Due to different principle between infrared and visible imaging, the blur phenomenon of edge and texture is caused in the fusion result of GAN. For this purpose, this paper conducts a novel generative adversarial network with blur suppression. Specif...     

基于半监督学习的SAR目标检测网络

现有的基于卷积神经网络(CNN)的合成孔径雷达(SAR)图像目标检测算法依赖于大量切片级标记的样本,然而对SAR图像进行切片级标记需要耗费大量的人力和物力。相对于切片级标记,仅标记图像中是否含有目标的图像级标记较为容易。该文利用少量切片级标记的样本和大量图像级标记的样本,提出一种基于卷积神经网络的半监督SAR图像目标检测方法。该方法的目标检测网络由候选区域提取网络和检测网络组成。半监督训练过程中,首先使用切片级标记的样本训练目标检测网络,训练收敛后输出的候选切片构成候选区域集;然后将图像级标记的杂波样本输入网络,将输出的负切片加入候选区域集;接着将图像级标记的目标样本也输入网络,对输出结果中的正负切片进行挑选并加入候选区域集;最后使用更新后的候选区域集训练检测网络。更新候选区域集和训练检测网络交替迭代直至收敛。基于实测数据的实验结果证明,所提方法的性能与使用全部样本进行切片级标记的全监督方法的性能相差不大。

     

决策层信息融合的神经网络模型与算法研究

本文对信息融合问题中决策层融合方法进行了分析与比较,提出了一种新的决策层信息融合算法,即改进型ＡＲＴ２神经网络融合算法,该融合算法在综合大脑对多源信息融合的特点和优势基础上,提出了将信息进行匹配和调和相融合的处理方式。对实际的决策层信息融合目标识别问题,该算法具有弹性去除信息间相关性以及合理处理矛盾信息的能力。同时,ＭＡＲＴ神经网络模型通过自适应地调整网络参数,对信度的增长有较好的控制能力。     

基于生成式对抗网络的太赫兹图像增强

太赫兹扫描成像中,由于激光器功率波动和仪器振动等原因,导致图像对比度较低,成像质量有待提高,且目前针对太赫兹图像的处理还停留在传统算法阶段.本文结合深度学习思想,提出了一种基于生成式对抗网络的图像增强方法.通过对训练集图像引入模糊和噪声,学习低质量图像和高质量图像之间的映射关系,并将其应用在真实太赫兹图像中.实验结果表...     

基于生成对抗网络的图像去雾算法

近几年在图像去雾领域中基于深度学习的方法层出不穷,利用循环生成对抗网络(CycleGAN)设计图像去雾算法.在CycleGAN中,通过对生成器进行改进来达到预期的处理效果.在生成器的编码网络和解码网络中选用Leaky ReLU和tanh两种激活函数,并对转换网络的残差块进行减少数量处理和加权优化处理.本设计能够更好地展...