孪生注意力门控融合的遥感图像变化检测编解码网络

针对深度卷积神经网络中特征图分辨率降低，进而导致遥感图像小变化区域检测性能差以及难以有效区分外界干扰而产生伪变化等问题，提出了一种孪生注意力门控融合的遥感图像变化检测编解码网络。在编码部分引入了三重注意力网络模块，为进一步解决变化检测图中产生伪变化的问题，提出了注意力门控融合模块，从多个层次选择性地融合特征，在解码部分直接引入深度监督策略，增强了变化检测网络的特征提取能力。通过实验对本文所提网络的有效性进行了验证。     

基于特征增强的光学遥感图像建筑物变化检测

遥感图像变化检测是识别同一区域前后时段两张图像之间像素级变化,能够精确判断目标区域状态变化。现有的遥感图像变化检测方法是在不同时间流中引入注意力机制来强化变化区域图像特征,并将其叠加以实现特征融合,不能有效地挖掘与应用不同时间流特征之间的关系。基于特征提取网络,提出一种在时间维度上基于像素位置偏移的图像特征差异增强方法。该方法可学习不同时相图像特征之间对应区域的像素变化偏移量,增强单时相特征图中发生变化区域和无关区域之间的特征差异。在此基础上,构建一个针对光学遥感图像中建筑物变化的检测框架,以ResNet18网络和多层感知机结构分别作为编码器、解码器,在LEVIR-CD、LEVIR-CD+和S2Looking 3个公开数据集上进行实验,结果表明,基于特征增强的图像变化检测方法的F1值分别为90.74%、86.11%和62.25%,相比目前最优的BIT方法分别提高了1.43、3.31和0.4个百分点。     

基于Siam-UNet++的高分辨率遥感影像建筑物变化检测

针对同—区域前后时序的高分辨率遥感影像背景复杂、变化类别多样、目标变化检测时存在漏检和边界识别粗糙问题,提出了一种基于Siam-UNet++深度神经网络的高分辨率遥感影像建筑物变化检测算法.该算法采用UNet++作为骨干提取网络,在其编码器部分应用Siam-diff(Siamese-difference)结构提取前后两时序图像的变化特征,并在解码阶段的上采样和横向跳跃路径连接之后引入注意力机制,突出建筑物变化的特征,抑制网络对其他类别特征的学习;同时使用多边输出融合(multiple side-output fusion,MSOF)策略加权融合不同语义层次的特征信息,提高了建筑物变化检测的精度;最后采取滑窗的方法对大尺度遥感影像进行预测,减少拼接过程中变化结果图产生的空洞图斑.在大型建筑物变化检测数据集上的实验结果表明,该算法有效提升了建筑物的变化检测效果.     

改进U-Net的高分辨率遥感图像轻量化分割

针对传统图像分割方法分割效率低下, 遥感图像特征复杂多样, 复杂场景下分割性能受到限制等问题, 在基于U-Net网络架构的基础上, 提出一种能够较好提取遥感图像特征并兼顾效率的改进U-Net模型. 首先, 以EfficientNetV2作为U-Net的编码网络, 增强特征提取能力, 提高训练和推理效率, 然后在解码部分使用卷积结构重参数化方法并结合通道注意力机制, 几乎不增加推理时间的前提下提升网络性能, 最后结合多尺度卷积融合模块, 提高网络对不同尺度目标的特征提取能力和更好地结合上下文信息. 实验表明, 改进的网络在遥感图像分割性能提升的同时分割效率也提高.     

基于双并行残差网络的遥感图像超分辨率重建

当面对目标地物尺寸差异性较大、复杂性较高的遥感图像时,图像超分辨率重建算法的重建效果较差.因此,文中提出双并行轻量级残差注意力网络,提高遥感图像重建效果.首先,提出多尺度浅层特征提取块,融合不同感受野的特征信息,解决遥感图像目标地物尺寸差异较大的问题.再设计基于非对称卷积和注意力机制的轻量级残差注意力块,既降低参数规模,又获取更多高频信息.然后,设计含有不同卷积核的并行网络框架,用于融合不同尺度的感受野.此外,多个残差块中使用跳跃连接融合不同阶段特征,增加信息复用性.最后,通过对比实验验证文中网络在遥感图像上具有较优的重建效果.     

基于GAN和U-Net的低光照图像增强算法

夜间、低光照等条件下的产生的图像数据, 存在画面过暗、细节丢失的问题, 对理解图像内容、提取图像特征造成阻碍. 研究针对此类图像的增强方法, 恢复图像的亮度、对比度和细节, 在数字摄影、上游计算机视觉任务中有着重要的应用价值. 本文提出一种基于U-Net的生成对抗网络, 生成器采用带有混合注意力机制的U-Net模型, 其中混合注意力模块将非对称的Non-local的全局信息和通道注意力的通道权重信息相结合, 提高网络的特征表示能力. 判别器采用基于PatchGAN的全卷积网络模型, 对图像不同区域进行局部处理. 本文引入多损失加权融合的方法, 从多个角度引导网络学习低光照图像到正常光照图像的映射. 通过实验证明, 该方法在峰值信噪比、结构相似性等客观指标上取得较好的成绩, 同时合理的恢复了图像的亮度、对比度和细节, 直观上改善了图像的感知质量.     

多尺度特征融合的脊柱X线图像分割方法

为了精确地从X线图像中分割脊柱,提出了一种基于深度学习的脊柱X线图像分割方法,使用基于多尺度特征融合的U-Net网络进行分割。将U-Net模型中的卷积层替换成类Inception网络来提取不同尺度的特征,并进行多尺度融合。同时在跳跃连接前增加残差连接层,并在首次上采样前添加卷积块注意力模块。该模型对20幅脊柱X线图像进行验证,Dice系数为0.845 7,与近期X线脊柱图像分割方法相比,提高了0.135 1。     

改进YOLOv4的轻量级遥感图像建筑物检测模型

针对现有建筑物检测模型检测精度低下,模型体积较大,导致遥感图像检测速度和精度无法平衡,不利于后期部署等问题,提出一种基于YOLOv4优化的轻量级遥感图像建筑物检测模型。利用轻量化网络GhostNet替换CSP DarkNet53进行特征提取;借鉴稠密连接思想,提出了Dense-PANet特征融合模块;将ECA注意力机制引入Ghost模块,替换特征融合颈部网络的传统卷积。实验结果表明,提出的模型与YOLOv4相比,牺牲少量检测速度,但是平均精度提高了0.96个百分点,召回率提升了1.08个百分点,模型体积降低了71.39%,浮点计算量降低了76.60%,能有效满足遥感图像建筑物检测的需求。     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

采用通道域注意力机制Deeplabv3+算法的遥感影像语义分割北大核心CSCD

为提取高分辨率遥感影像的典型地物,且针对Deeplabv3+在遥感图像分割任务中,边缘分割比较模糊,存在孔洞和遗漏分类的问题,基于深度学习提出在Deeplabv3+加入通道注意力机制模块以增强分割结果的方法。先通过深度卷积网络得到的高级特征图输入到通道注意力机制,进行通道间像素特征强化,再通过空间金字塔池获得多尺度输入图像,并且进行了类别不平衡的修正,提取出了完整的图像分割信息,实现了分割边界信息的优化。最后,通过采集广州市高分二号遥感影像进行遥感数据处理、标注、增强之后进行实验,对比经典语义分割网络U-Net、SegNet、PSPNet,结果表明,该方法的评估指标MIOU达到了96.19%,MPA达到了97.85%。     

基于改进U-Net的宫颈细胞核图像分割

原始的U-Net采用跳跃结构结合高低层的图像信息,使得U-Net模型有良好的分割效果,但是分割结果在宫颈细胞核边缘依然存在分割欠佳、过分割和欠分割等不足.由此提出了改进型U-Net网络图像分割方法.首先将稠密连接的DenseNet引入U-Net的编码器部分,以解决编码器部分相对简单,不能提取相对抽象的高层语义特征.然后对二元交叉熵损失函数中的宫颈细胞核和背景给予不同的权重,使网络更加注重细胞核特征的学习.最后在池化操作过程中,对池化域内的像素值分配合理的权值,解决池化层丢失信息的问题.实验证明,改进型U-Net网络使宫颈细胞核分割效果更好,模型也越鲁棒,过分割和欠分割比率也越少.显然,改进型U-Net是更有效的图像分割方法.     

基于改进U-Net网络的多尺度番茄病害分割算法

针对当前农作物病害分割与识别模型病斑分割精度低、数据集不充分、训练速度过慢等问题,构建了一种基于改进的U-Net网络多尺度番茄叶部病害分割算法。在U-Net网络结构基础上进行改进,减小图像输入尺寸,在编码器中使用非对称Inception多通道卷积替换传统卷积,实现多尺度提取病害特征,提升模型准确度;在解码器中加入注意力模块,关注番茄病害边缘,减小上采样噪声;引入GN加速模型收敛,并将改进U-Net网络用在PlantVillage数据集上进行预训练,提高模型的分割准确度和速度。改进后的方法准确率、召回率和MIoU分别为92.9%、91.1%、93.6%,实验结果表明,该方法能够有效地提高模型对番茄的病害分割性能。     

基于ADEU-Net分割网络的瞳孔精确分割方法

当前通过图像处理的方法来进行瞳孔分割,导致鲁棒性不高、分割精度低以及运算量大无法满足实时性要求的问题,为此提出一种基于深度学习的人眼瞳孔精确分割方法。该方法采用基于ADEU-Net的快速人眼语义分割网络来获取瞳孔区域,实现对瞳孔的精准分割;该网络创新性地提出膨胀卷积与普通卷积双线并行的方式,在扩大感受野的同时可提升局部精细化能力,并且引入了注意力机制,以充分提取语义特征。实验结果表明,该瞳孔分割方法通过端到端学习,PA相对于U-Net、传统图像处理算法分别提高了5、35个百分点;均交并比MIoU达到94%,明显高于U-Net、传统图像处理算法90%和57%,同时保证了83 frame/s的高分割速度。     

基于改进U-Net网络的细小裂纹检测

针对复杂背景下细小裂纹图像检测难、噪声干扰多和裂纹宽度信息易丢失的问题,提出一种基于U-Net改进的方法。利用残差块解决网络退化,加入BN层改善梯度弥散,融入深度可分离卷积以及高尺度的转置卷积,实现特征信息由浅入深的传递;改进注意力机制,实现细节特征的优化;延伸U-Net特征向量长度,在底部加入由最大池化层、小尺度深度可分离卷积与上采样层构建的层融合模块,实现分辨率和感受野之间的平衡。实验结果表明,在客观标准下,改进的方法比U-Net的IoU的值提高0.1873,Recall的值提高了0.1127,Precision提高了0.1359,F1-score提高了0.0687,并且实验结果皆优于其他方法对于U-Net的改进,减少了伪分割现象,完成对细小裂纹分割,获得更加精细的裂纹宽度信息。     

检测小篡改区域的U型网络

目的 图像篡改区域检测是图像取证领域的一个挑战性任务,其目的是找出图像的篡改区域。传统方法仅针对某种特定的篡改方式进行设计,难以检测其他篡改方式的图像。基于卷积神经网络的方法能够自适应地提取特征,同时检测包含多种篡改方式的图像。但是其中多数方法都选择增强图像的噪声特征,这种机制无法较好处理篡改区域与原图像来源相同、噪声相似的情况。多数方法还忽略了篡改区域过小而产生的样本不平衡问题,导致检测效果不佳。方法 提出了一个基于区域损失的用于检测小篡改区域的U型网络,该网络构建了一个异常区域特征增强机制,放大与图像背景差异较大的异常区域的特征。此外,还利用区域损失增强对篡改区域框内像素的判别能力,可以解决因篡改区域过小而产生的样本不平衡问题。结果 消融实验说明了异常区域特征增强机制和区域损失机制的有效性;对JPEG压缩和高斯模糊的对抗性测试证明了模型的鲁棒性;在CASIA2.0（CASI-A image tampering detection evaluation database）、NIST2016（NIST nimble 2016 datasets）、COLUMBIA （Columbia uncompressed image splicing detection evaluation dataset）和COVERAGE （a novel database forcopy-move forgery detection）数据集上与最新方法进行比较时,本文方法取得了最优性能,其F1 score分别为0.979 5、0.982 2、0.995 3和0.987 0。结论 本文的异常区域特征增强机制和区域损失机制能有效提高模型性能,同时缓解篡改区域过小导致的样本不平衡问题,大量实验也表明了本文提出的小篡改区域检测方法的优越性。     

基于3D U-Net网络的肿瘤分割方法设计

脑肿瘤MRI图像形态各异,类别严重不平衡,采用传统机器学习的半自动分割或深度学习的全自动分割方法,分割精度都不高。针对此问题,文章将3D U-Net[1]模型改进成一个层数更深的网络模型,此结构可以提取更多图像特征,但同时会导致网络难以训练,收敛过慢。为应对这种情况设计了一个叠加式残差块,在保留更多图像特征的同时,避免了深层网络无法收敛的问题。另外以混合损失函数代替传统Dice损失函数,可以增加脑肿瘤像素区域对总损失的贡献,提高稀疏分类错误对模型的惩罚,缓解数据类别不平衡问题。实验结果表明,在全肿瘤区域、肿瘤核心区域和肿瘤增强区域,提出的深层网络和混合损失函数的方法在分割精度上分别达到了0.88、0.82、0.66,在算法准确率上有了一定提升。     

基于YOLOv3与注意力机制的桥梁表面裂痕检测算法

为了实现桥梁表面裂痕的快速准确检测和及时修复,在目标检测网络YOLOv3的基础上,结合深度可分离卷积与注意力机制,提出实时检测桥梁表面裂痕的轻量级目标检测网络.使用深度可分离卷积操作替换YOLOv3的标准卷积操作,达到降低网络参数量的目的.同时为了解决深度可分离卷积操作带来的网络精度下降的问题,引入MobileNet v2的反转残差块.卷积块注意力模块同时关注图像的通道注意力和空间注意力,较好地进行特征的自适应学习.实验表明,文中算法可实现对桥梁表面裂痕的实时检测.相比YOLOv3,具有更高的检测精度和检测速度.     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

结合分段频域和局部注意力的超声甲状腺分割

目的 超声检查是诊断甲状腺疾病的主要影像学方法之一,但由于超声图像中斑点强度具有随机性、组织器官复杂等问题,导致甲状腺在不同数据源间的形态、大小和纹理差异性较大,容易导致观察者视觉疲劳。针对甲状腺超声成像存在斑点强度随机性以及周边组织复杂性的问题,为了更准确地描述出器官与病理性病变的解剖边界,提出一种基于频域增强和局部注意力机制的甲状腺超声分割网络。方法 针对原始数据采用高低通滤波器获取高低频段的图像信息,整合高频段细节特征与低频段边缘特征,增强图像前背景的对比度,降低图像间的差异性。根据卷积网络中网络深度所提取特征信息量的不同,采用局部注意力机制对高低维特征信息进行自适应激活,增强低维特征的细节信息,弱化对非目标区域的关注,增强高维特征的全局信息,弱化冗余信息对网络的干扰,增强前背景分类以及对非显著性目标检测的能力。采用金字塔级联空洞卷积获取不同感受野的特征信息,解决数据源间图像差异较大的问题。结果 实验结果表明,本文方法在11~16 MHz时采集的16个手绘甲状腺超声公开数据集中,通过10折交叉验证显示准确率为0.989,召回率为0.849,精准率为0.940,Dice系数为0.812,效果优于当前其他医学图像分割网络。通过消融实验,证明本文的几个模块对超声图像分割确实具有一定的提升效果。结论 本文所提分割网络,结合深度学习模型及传统图像处理模型的优点,能较好地处理超声图像随机斑点并且提升非显著性组织分割效果。