CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类

针对高光谱图像（hyperspectral images, HSI）与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络（Contrastive Learning based CNN-Transformer Network, CLCT-Net）。CLCT-Net通过由ConvNeXt V2 Block构成的共有特征提取模块,获得不同模态间的共性特征,解决异构传感器数据之间语义对齐的问题。构建了包含空间-通道分支和光谱上下文分支的双分支HSI编码器,以及结合频域自注意力机制的LiDAR编码器,以获取更丰富的特征表示。利用集成对比学习进行分类,进一步提升多模态数据协同分类的精度。在Houston 2013和Trento数据集上的实验结果表明,相较于其他高光谱图像和LiDAR数据分类模型,本文所提模型获得了更高的地物分类精度,分别达到了92.01%和98.90%,实现了跨模态数据特征的深度挖掘和协同提取。     

多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测

初烤烟叶等级的快速准确检测对开发烟叶智能分级设备以促进农产品精细化管理有着重要意义。针对相似度较高但等级不同的初烤烟叶难以区分的问题,本文提出多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测网络（Flue-cured Tobacco Leaf Grade Detection Network,FTGDNet）。首先,FTGDNet采用CSPNet作为特征提取主干网络,采用GhostNet作为辅助特征提取网络以增强模型的特征提取能力;其次,在主干网络末端嵌入显式视觉中心瓶颈模块（Explicit Visual Center Bottleneck module,EVCB）以实现全局特征信息与局部细节特征信息融合;然后,构建多感受野特征自适应融合模块（Multi-Receptive Field Feature Adaptive Fusion module,MRFA＿d）,利用注意力特征融合机制（Attention Feature Fusion,AFF）将不同感受野特征图进行自适应加权融合,在增强模型局部感受野的同时突出有效通道信息;最后,设计了一种新的定位损失函数（More Comple...     

位置敏感Transformer航拍图像目标检测模型

针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测（PS-TOD）模型。设计了一个基于位置通道嵌入三维注意力（PCE3DA）的多尺度特征融合（MSFF）模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力（PSSA）机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型（DETR）相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。     

轻量级重参数化的遥感图像超分辨率重建网络设计

针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高,本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先,采用重参数化方法设计了一种残差局部特征模块,以有效地提取图像局部特征;同时考虑到图像内部出现的相似特征,设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力,并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能;最后,在上采样模块前使用多层特征融合模块聚合所有的深度特征,以产生更全面的特征表示。在UC Merced遥感数据集上进行测试,该算法在遥感图像3倍超分辨率下的参数量为539 K,峰值信噪比为30.01 dB,结构相似性为0.844 9,模型的推理时间为0.010 s;而HSENet算法的参数量为5 470 K,峰值信噪比为30.00 dB,结构相似性为0.842 0,模型的推理时间为0.059 s。实验结果表明,该算法相比HSENet算法,参数量更少,运行速度较快,且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试,该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势,...     

融合超像素与多模态感知网络的遥感影像车辆检测

针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题,提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先,基于混合超像素的区域合并规则,通过超像素二分图融合算法将两种模态的超像素分割结果进行融合,提升了不同模态图像超像素分割结果的准确性;其次,提出一种多模态边缘感知网络的遥感影像车辆检测方法 MEANet (Multi-modal Edge Aware Network),引入OPT-FPN模块（Optimized Feature Pyramid Networks）来增强网络学习多尺度目标特征的能力;最后,通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征,进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集上进行实验,最终的mF1分数分别为91.05%和85.11%。实验结果表明,本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。     

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上（TensorRT测速环境）,本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;...     

REC-ResNet：面向COVID-19辅助诊断的特征增强模型

基于残差神经网络的新冠肺炎（Corona Virus Disease 2019, COVID-19）辅助诊断是最近的研究热点，但是COVID-19胸部X-Ray图像病变区域多样化，其大小、形状、位置因患者而异，且与周围组织的边界模糊，对比度较低，导致难以充分提取病变区域的有效特征。本文针对上述问题，提出一种COVID-19辅助诊断模型REC-ResNet，该模型以ResNet50为主干网络，引入三种特征增强策略，用来提高模型的特征提取能力。首先，采用残差自适应特征融合模块以自适应加权的方式有效地融合模型每个Stage中来自不同残差块的分层特征，该模块不仅建模不同通道之间的相关性，还学习自适应地估计不同层次信息的相对重要性；然后，在模型主干中引入高效特征增强Transformer模块，采用特征增强多头自注意力提取胸部X-Ray图像中的全局信息以增强模型的表达能力，有效地弥补了CNN捕获全局特征表示能力较弱的不足；其次，为了获得更丰富的上下文信息，提出跨层注意力增强模块，分别采用通道注意力和空间注意力对深层和浅层特征进行增强，并在充分考虑长距离特征依赖的情况下有效地融合高级语义信息和低级空...     

基于局部和全局特征融合的图像检索

提出了一种综合全局统计特征和局部二值位图特征的图像检索算法。首先,分别计算图像R、G、B三通道的均值和方差,获取图像全局统计特征。然后根据块截断编码思想,将图像划分成4×4的图像子块,同样计算其均值,若块均值大于图像全局均值,则该块设为“1”,否则,设为“0”,由此得到图像的二值位图特征。最后,对归一化的特征进行有机融合获取最佳相似匹配函数进行检索。实验结果证明：综合两种特征的效果比使用单一特征的效果好;和同类算法相比,其算法鲁棒性好,检索准确率更高。     

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

基于VAE-MSGAN网络的复杂细节图像生成方法

生成式对抗网络被广泛应用于图像生成领域,但其在图像生成时模型不易收敛,导致生成图像的局部细节易出现背景模糊问题.将变分自动编码器与生成式对抗网络相结合,在两者图像生成方面优势相结合的基础上,引入多尺度判别器,提出了VAE-MSGAN网络模型.通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合,提升了GAN模型的训练稳定性和图像的局部细节生成质量.对设计的图像生成算法基于Ubuntu16.04环境下利用Tensorflow深度学习框架进行了实现和仿真.对比在不同军事图像类别上的图像生成质量,通过交叉验证证明生成图像与真实图像在深度学习分类器下分类准确率基本一致,验证了所设计网络模型的有效性.     

基于手背静脉图像多特征稀疏表示的身份识别

为了准确地对人的身份进行识别,提出了一种对采集静脉图像的全局特征和局部特征进行稀疏表示的识别算法.该算法首先应确定静脉样本库中所有的静脉对象,并在不同光强下对每一手背静脉进行采集,此外将采集图像进行适当压缩与旋转,并将变换后的所有图像作为库中描述该静脉对象的样本;其次,分别提取该静脉对象所有样本的全局特征与局部特征,并通过求解每一特征系数向量的最小1范数,对未知静脉图像的全局与局部特征进行稀疏表示;最后,融合稀疏表示结果,完成静脉识别的过程.通过在3种光强下对200个人的手背静脉进行采集,并经过图像压缩与旋转调整后建立实验所需的静脉样本数据库,识别实验表明该识别方法正确识别率达到98％以上,并且对于采集时出现多种不合作因素具有较好的鲁棒性,同时具有较好的实用价值.     

基于注意力交互的可见光红外跟踪算法

在可见光红外跟踪（RGB and Thermal Infrared Tracking,RGB-T）的研究中,为了在常规跟踪算法的基础上实现两个模态的有效融合,基于注意力机制提出了一种基于注意力交互的RGB-T跟踪算法。该算法引入注意力机制对可见光和红外两种模态的图像特征进行增强和融合,设计了自特征增强编码器对单一模态的特征进行增强,设计了互特征解码器对两个模态增强后的特征进行交互融合。编码器和解码器均采用两层注意力模块。为了减小算法模型的复杂度,对传统注意力模块进行简化,将全连接层改为1×1卷积。此外,该算法对多个卷积层的特征均进行分层融合,以充分挖掘各层卷积特征中的细节和语义信息。在GTOT,RGBT234和LasHeR三个数据集上进行对比测试。实验结果表明,所提算法性能优异,特别是在RGBT234和LasHeR这两个大规模数据集上取得了最优的跟踪结果,验证了注意力机制在RGB-T跟踪中的有效性。     

基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

基于视觉显著性的红外与可见光图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图像,提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,另一方面又尽可能的保留了可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

融合边缘增强与非局部模块的遥感图像超分辨率重建生成对抗网络

针对遥感图像成像过程中噪声污染严重,超分辨率重建图像存在目标边缘模糊和伪影等问题,本文提出一种融合边缘增强与非局部模块的遥感图像超分辨率算法（Edge-Enhanced and Non-local Modules Generative Adversarial Network,ENGAN）。为了使图像细节边缘更清晰,本文融合一种图像边缘增强模块;同时,为进一步扩大模型感受野和增强去除边缘噪声性能,改进边缘增强模块中的Mask分支;此外,引入非局部模块,通过更好地利用图像的内在特征相关性,进一步提升了网络的重建性能。本文在UCAS-AOD和NWPU VHR-10两种遥感图像数据集上进行多个算法的对比实验,结果表明本文提出的方法在多个评价指标上均有所改善。以退化类型Ⅳ为例,本文方法相比深度盲超分辨率退化模型,4倍超分辨率的SSIM提升了0.068,PSNR提升了1.400 dB,RMSE减少了12.5%,且重建后的遥感图像相较于原始图像可以得到更好的地面目标检测结果。     

基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究

为了实现汽车轮辋生产装备自动化与智能化,提升汽车轮辋的生产效率,降低人工成本,本文提出了一种基于YOLOv5s算法的多尺寸汽车轮辋焊缝检测与定位系统。首先,由图像采集装置拍摄实际生产中的多尺寸轮辋焊缝图像,构建轮辋焊缝数据集,使用K-means算法重新生成数据集锚定框,提升网络的收敛速度和特征提取能力;其次,引入CBAM(Convolutional Block Attention Module)混合域注意力机制,提高模型对于轮辋焊缝关注度,减少背景干扰;然后,采用EIOU(Efficient Intersection Over Union Loss)边框位置回归损失函数,提高轮辋焊缝识别框的准确率;最后,增加了ASFF(Adaptively Spatial Feature Fusion)自适应特征融合网络,使目标检测模型对多个级别的特征进行空间滤波。实验结果表明,改进后的算法准确率和mAP0.5分别达到了98.4%和99.2%,相比于原YOLOv5s算法分别提高了4.5%和3.7%。训练好的模型采用推理加速框架TensorRT进行加速部署在工控机上,搭配视觉检测软件与工业触摸屏形成交互...     

多尺度交替连接残差网络用于图像去模糊

为更好地解决由于相机抖动、物体之间相对运动等因素引起的图像模糊问题,本文设计了一种多尺度交替连接残差网络用于图像去模糊,采用"从粗到细"的多尺度方式来逐渐恢复出清晰图像.首先,提出一种多尺度残差模块来拓展网络宽度,提取并融合不同尺度之间的特征信息;其次,提出一种基于扩张卷积的交替连接残差模块来逐渐恢复模糊图像的高频信息...     

潜在低秩表示下的双判别器生成对抗网络的图像融合

为了改善红外与可见光图像融合的视觉效果，通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量，采用KL变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计，借助VGG16网络提取两种源的低秩分量特征作为该网络的输入，通过生成器和判别器的博弈来生成融合低秩图。最后，将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明，在TNO数据集上，与所列的5种先进方法相比，本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度5种指标上均获得最优结果，相比于次优值，5种指标分别提高了2.43%,4.68%,2.29%,2.24%,1.74%。在RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优，另外3种指标仅次于GTF(gradient transfer and total variation minimization)方法，但图像视觉效果明显优于GTF方法。综合主观评价和客观评价分析，本文所提方法确实能获得高质量的融合图像，与多种方法相比具有明显的优势。     

强度图像和偏振度图像融合网络的设计

为了弥补强度图像在阴暗处丢失纹理细节的劣势,结合偏振度图像的偏振特性,本文提出了一种强度图像和偏振度图像的融合方法。首先,构建编码器网络提取源图像的语义信息和纹理细节。随后,特征融合网络采用加法策略和残差网络进行图像特征融合。最后,通过解码器网络对融合后的图像特征进行重构获得最终的融合图像。此外,根据源图像和融合图像之间的结构相似性损失和梯度损失,本文提出了一种改进的损失函数来引导融合网络训练。实验结果表明：与其他6种方法中融合效果最好的改进的双通道脉冲耦合神经网络（MD-PCNN）相比,本文方法的客观评价指标平均梯度、信息熵、图像质量、标准差和改进的多尺度结构相似性分别提高了4.3%,1.0%,8.1%,2.5%,3.1%,图像噪声降低了8.8%,且克服了强度图像在阴暗处丢失纹理细节的问题。     

基于多特征的红外与可见光图像融合

针对传统图像融合方法易导致融合图像整体对比度低及细节反差小的问题,提出一种多特征加权多分辨率图像融合方法。首先,对多尺度分解后的低频系数进行边缘特征、平均梯度特征的提取,同时对高频系数进行相关信号强度比特征的提取。然后,通过边缘特征级融合指导像素级图像融合得到高频系数;针对合成模块中简单加权法易引起边缘或纹理局部模糊的问题,提出分两种情况分别合成同一位置的多尺度分解系数。最后,通过平均梯度特征自适应加权得到融合图像的低频系数,并对低频和高频系数进行多尺度逆变换得到融合图像。实验表明,本文方法的融合性能优于经典的融合方法,其融合质量评价指标中的标准差、空间频率、信息熵和平均梯度分别提高了15.12%、4.30%、6.15%和3.44%。