针对资源三号卫星影像水体提取的谱间关系法

针对现阶段水体提取的数据源多是国外测绘卫星数据且需要多波段、丰富光谱信息的问题,通过研究资源三号卫星影像中水体的光谱特征以及阴影的光谱特征,提出一种在资源三号卫星影像中水体提取的方法。运用单波段阈值法、归一化差分水体指数法、支持向量机法、基于阈值的谱间关系法4种方法对提取水体的效果进行比较分析。实验结果表明,本文提出的基于阈值的谱间关系法提取水体的效果比另外3种方法有明显提升,能有效剔除阴影的影响,并且能较好地提取影像中的细小水体。     

融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题，结合Swin Transformer和卷积神经网络各自的优势，提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取；其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习；最后将提取出的多支路全局特征与局部特征进行融合，实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明，所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势，验证了所提方法在图像去雨任务上的有效性。     

多尺度特征融合的多源异构遥感数据水体提取

针对现有遥感测绘水体提取方法在多源异构遥感数据的信息融合与深层特征提取方面存在的不足,提出了一种基于多尺度特征融合的多源异构遥感数据水体提取方法。首先,设计了一种基于多源异构遥感数据输入的网络模型结构解决多源异构遥感数据的多尺度特征融合问题;随后,提出了一种基于改进残差网络的高维卷积单元,对异构遥感数据进行深层特征提取,同时,构建了基于哨兵一号和哨兵二号卫星的全球水体大规模多源异构遥感数据库。对比实验结果表明,以人工遥感影像标注的水体区域分布真值为精度评价基准,所提出的多尺度特征融合算法的水体提取结果,准确率达到了90.12%,相比现有深度学习领域主流的U-Net图像分割模型方法,准确率提高了3.73%以上,有效提升了多源异构遥感数据的大范围水体提取准确性。     

基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

卷积神经网络(CNNs)具有出色的局部上下文建模能力，被广泛用于高光谱图像分类中，但由于其固有网络主干的局限性，CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题，提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中，为了尽可能地挖掘高光谱图像的深层特征，采用三维残差多层融合网络来提取空谱特征，然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系，最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性，改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证，分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比，该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力，可以提取更深层的、判别性的特征。     

基于伪全局Swin Transformer的遥感图像识别算法

如何在多目标并列的情况下，确定符合人类思维习惯的核心目标是遥感图像识别的关键之一.因此，在全局视野下，为各目标分配符合人类视觉习惯的注意力，是甄选核心目标的有效途径之一.文中结合Transformer提取全局特征的思想和Swin Transformer对图像栅格化处理可降低计算量的优点，提出基于伪全局Swin Transformer的遥感图像识别算法.构建伪全局Swin Transformer模块，将遥感图像栅格化后的各局部信息聚合为一个特征值，替代以像素为基础的全局信息，以较小计算量为代价，获取全局特征，有效提升模型对所有目标的感知能力.同时，通过以可变形卷积为基础的感受野自适应缩放模块，使感受野向核心目标偏移，提高网络对核心目标信息的关注，从而实现对遥感图像的精确识别.在RSSCN7、AID和OPTIMAL-31遥感图像数据集上的实验表明，文中算法取得较高的识别精度和参数识别效率.     

基于FY-3C MERSI影像的洱海水体提取研究

遥感技术在水体监测方面已有成熟应用,风云三号是我国自主研发卫星,时间分辨率高、覆盖范围广,能短时间内完整监测大范围水体。针对国产FY-3系列中分辨率卫星在水体信息自动化提取中的应用问题,以FY-3C MERSI影像为数据源,采用归一化差异水体指数(NDWI)结合大津算法(Otsu)进行阈值分割,提取出洱海水体边界,通过与采用相同方法的邻近时期Landsat 8 OLI影像水体提取结果的对比分析,发现二者水体边界整体拟合较好,面积误差为1.53%,FY-3C MERSI影像较为快速、准确地提取出了洱海水体。表明MERSI数据在水体信息自动化提取方面具有较高的应用价值和潜力,可用于较大面积湖泊的水体提取。     

基于Swin Transformer的遥感影像道路提取方法

在先进的交通系统中,道路提取是最重要的任务之一。高分辨率遥感影像道路区域的提取具有复杂的背景和道路网络的异质性、高类间差异和低类内差异等特点。近几年来,卷积神经网络(CNN)在道路提取方面取得了里程碑式的进展。虽然CNN已经取得了很好的发展,但是由于卷积运算的局域性,网络无法很好地学习全局和长程语义信息交互。本文提出了Swin Transformer Unet,它结合了带有跳跃连接的U型编解码器结构和带有移位窗口的Swin Transformer模块。为了获得更好的性能,本文采用了数据增广、数据预处理等技术。本文选取马萨诸塞州道路数据集作为数据集进行道路提取实验,结果表明,所提出的网络在遥感图像道路提取中的性能优于其他U形网络,可以实现遥感影像道路的精确提取。     

基于Swin Transformer的YOLOv5安全帽佩戴检测方法

针对目前施工现场的安全帽检测方法存在遮挡目标检测难度大、误检漏检率高的问题,提出一种改进YOLOv5的安全帽检测方法;首先,使用K-means++聚类算法重新设计匹配安全帽数据集的先验锚框尺寸;其次,使用Swin Transformer作为YOLOv5的骨干网络来提取特征,基于可移位窗口的Multi-head自注意力机制能建模不同空间位置特征之间的依赖关系,有效地捕获全局上下文信息,具有更好的特征提取能力;再次,提出C3-Ghost模块,基于Ghost Bottleneck对YOLOv5的C3模块进行改进,旨在通过低成本的操作生成更多有价值的冗余特征图,有效减少模型参数和计算复杂度;最后,基于双向特征金字塔网络跨尺度特征融合的结构优势提出新型跨尺度特征融合模块,更好地适应不同尺度的目标检测任务;实验结果表明,与原始YOLOv5相比,改进的YOLOv5在安全帽检测任务上的mAP@.5:.95指标提升了2.3%,检测速度达到每秒35.2帧,满足复杂施工场景下安全帽佩戴检测的准确率和实时性要求。     

基于指数构建的高分辨率城市水体提取新方法

针对高分辨率遥感影像水体指数适用性差异的问题,提出了一种水体指数CEWI和一种阴影指数MSRM,并综合2种指数构建了自动化城市水体提取模型NMEM。以国产资源三号卫星遥感数据为信息源,在对比分析各地类要素光谱信息的情况下,采用面向对象分割和特异性指数构建的方法,以北京、武汉、广州3市部分区域作为实验对象进行水体提取实验。通过与常用水体指数NDWI、高分辨率水体指数HRWI阈值提取以及依据光谱特性、几何特性等的随机树监督分类方法进行比较,实验结果表明,在各研究区内NMEM模型的水体提取效果最佳,用户精度均在91%以上,制图精度均在93%以上,Kappa系数均在0.98以上。该方法在准确提取水体的同时有效排除了大量黑暗阴影的干扰,基本消除了椒盐噪声。     

一种应用大津法的自适应阈值水体提取方法

针对基于单一阈值的大范围水体提取同时存在着漏提与误提的局限性,提出了基于大津法的局部范围阈值自适应确定的方法。通过分析水体与其背景地物的光谱特征,发现归一化水体指数(Normalized Difference Water Index,NDWI)直方图呈现明显的双峰分布,对NDWI使用大津法可以较准确地自动计算出水体与非水体的阈值。在初始阈值提取的水体信息的基础上,通过窗体提取局部范围的水体及其背景并进行局部自适应阈值的计算,实现自适应阈值水体信息的提取。使用环境小卫星影像对闽江流域进行水体提取实验,结果表明该方法可实现大范围水体快速提取,提取精度为95.25%,较全局统一阈值提取精度提高5.25%,并能在一定程度上消除地形阴影与建筑物等的影响,对细小水体的提取精度有所提高。     

一种多尺度特征关联网络的遥感影像场景分类方法

针对遥感影像场景分类中提取特征信息不准确以及融合冗余信息的问题,提出一种多尺度特征关联网络的遥感影像场景分类方法。首先,利用ResNet18提取多尺度影像特征,并在特征金字塔结构中引入空洞卷积和多头自注意力模块关注各层有效信息,以增强语义信息和抑制周围噪声;其次,使用多特征关联模块来增强关键特征信息,对各层使用全局平均池化并加和,得到特征向量;最后,采用全连接层进行分类。该方法在NWPU数据集上的总体分类精度为90.51%,相比VGG＿VD16-MSCP、VGG＿VD16-SAFF以及DTDCNN等网络分别提升1.58%、2.65%和6.39%。结果表明,文章所用的多尺度融合方式能够更好地提取特征地物并抑制周围背景,从而取得更高的遥感影像场景分类精度。     

基于形态学阴影指数的高分二号影像建筑物高度估计

高分二号卫星是我国自主研发的高分辨率对地观测卫星,分辨率达到亚米级。利用高分二号卫星遥感影像,结合数学形态学和面向对象分类的思想进行城市建筑物高度估计。首先,利用多尺度分割将影像分割成对象;进而结合光谱、形状、形态学阴影指数(MSI)等特征面向对象进行分类,相对准确提取出建筑物的阴影并计算阴影的长度;最后,结合影像成像时的卫星、太阳和建筑物的几何关系模型进行建筑物高度估计,并利用实地测量数据进行精度评价和误差分析。结果显示,90%的估计结果绝对误差小于1m,说明该方法可以有效地从高分二号影像中提取建筑物高度,展现了国产高分辨率遥感影像提取城市建筑物信息的巨大潜能。     

基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

基于Efficient-YOLO的轻量化轴承缺陷检测

针对现有深度模型在工业轴承外观缺陷检测领域, 存在模型参数量大、特征融合不充分以及对小目标检测精度低等问题, 提出了一种轻量化自适应特征融合检测网络(Efficient-YOLO). 首先, 该网络采用嵌入CBAM注意力机制的EfficientNetV2结构进行基本特征提取, 便于确保模型精度同时显著优化模型参数量; 其次, 设计了一种自适应特征融合网络(CBAM-BiFPN), 用来增加网络对有效特征信息的提取; 接着, 在下游特征融合网络引入Swin?Transformer机制, 同时配合上游网络引入的Ghost卷积, 大幅度提高模型对轴承外观缺陷的全局感知能力; 最后, 在推理阶段运用改进的非极大值抑制方法(Soft-CIoU-NMS), 加入距离有关的权重评价因素, 减少了重叠框的漏检. 实验结果表明: 与现有主流检测模型相比, 此方法在轴承表面缺陷数据集上, mAP达到了90.1%, 参数量降低至1.99M, 计算量为7 GFLOPs, 对轴承缺陷小目标识别率显著提升, 满足工业现场轴承外观缺陷检测需求.     

融合Swin-Transformer网络模型的水体高光区域提取

在强光的照射下，水体的镜面反射往往会对遥感影像产生很大影响，其主要表现就是在图像上产生大小不同、形状各异的亮斑。这些亮斑附近的地物信息基本上都被淹没，对后期的影像分析会造成不同程度的影响，因此对这些亮斑的检测识别就显得尤为重要。文章以DeeplabV3plus为主要网络，提出一种融合Swin-Transformer模块的网络模型。该模型将Swin-Transformer网络作为一个模块与卷积骨干网络并行提取特征。提取出的两类特征经上采样后进行特征融合，再经多次卷积等实现了水体亮斑的识别与分割。实验结果表明，该模型能够对不同类型、不同形状的水体亮斑进行识别分割，其平均交并比为93.44%。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

改进YOLOv5s的遥感图像目标检测

针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法（Swin-YOLOv5s）。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无关信息的干扰;其次,在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取,将融合后的特征图组成新的特征金字塔;最后,在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制,进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。     

基于Transformer的多方面特征编码图像描述生成算法

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用,但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失,且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足,提出用于编码图像内目标特征的目标Transformer编码器,以及用于编码图像内关系特征的转换窗口Transformer编码器,从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合,达到图像内部关系特征和局部目标特征融合的目的,最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验,结果表明,所构建模型性能明显优于基线模型,BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%,优于传统图像描述网络模型,能够生成更详细准确的图像描述。     

基于北京一号小卫星的北京及周边五大流域地表水资源监测与分析

地表水作为水资源的重要组成部分,能从特定角度反映水资源状况。研究了基于北京一号小卫星影像的地表水体分类标准、水信息提取方法,并对2007年北京及周边五大流域地表水资源进行了动态监测,同时结合气象水文数据分析其时空分布规律、年内变化特征和变化原因。研究表明:① 利用北京一号小卫星32 m多光谱影像辅以4 m全色影像,基于面向对象分类等方法可以较准确地提取各类地表水信息;② 2007年北京及周边五大流域地表水资源变化特征与该区域2007年平均降水量、降水量的年内变化以及水库调蓄等有关。     

改进YOLOv5的X光图像违禁品检测算法

针对X光图像违禁品检测中的复杂背景、正负类别不平衡和漏检等问题，提出一种基于YOLOv5的X光违禁品检测算法。该算法通过在YOLOv5s骨干网络中引入Swin Transformer模块，利用局部自注意力与Shifted Window机制提升模型对X光图像全局特征的提取能力，并且在主干网络后增加空间注意力机制与通道注意力机制，以提升算法对违禁品关键特征的提取能力。引入一种自适应空间特征融合结构，缓解特征金字塔中不同层级特征图之间冲突对模型梯度的干扰。引入Focal Loss函数用于改进YOLOv5s的背景预测损失函数和分类损失函数，提升算法在正负样本与难易样本失衡情况下的检测能力。该算法在公开数据集SIXray100上的平均检测精度达到57.4%，相比YOLOv5s提高了4.5个百分点；在SIXray正样本数据集上的平均检测精度达到90.4%，相比YOLOv5s提高了2.4个百分点。实验结果表明，改进后的算法相比原始YOLOv5s算法检测精度有较大提升，证明了算法的有效性。