基于多注意力机制的生成对抗网络的遥感图像超分重建

针对现有超分辨算法重建后的遥感图像模糊,含有伪影和噪声等问题,提出一种基于多注意力机制的生成对抗网络。首先,在生成器的残差块中引入高效注意力机制,增强全局相关性,提高模型的特征提取能力;其次,利用迭代注意特征融合模块对输入的图像和经过生成器生成的高层语义特征图进行融合,代替长跳跃连接常用的相加操作,减少输入图像进行相加操作时导致的信息损失,使重建后的图像更加清晰;最后,基于WGAN网络优化模型训练,促进网络训练的稳定,加快损失函数的收敛。在不同数据集上验证上述方法,结果表明,相较次优算法,所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别提高了0.062～0.122 dB和0.03～0.08。     

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。     

融合多标签损失与双注意力的U型视网膜血管分割

眼底视网膜血管的检测与分析对许多眼科疾病的诊断具有重要意义.为了更精确、健全地提取视网膜血管的特征信息,提出一种融合多标签损失与双注意力的U型网络模型.首先在编码部分通过空间金字塔池化提供多尺度输入,在U型网络内部融入双注意残差块提升网络对特征信息的提取能力;其次,在网络底部嵌入特征相似模块以捕获特征之间的远程依赖关系,为了有效地抑制眼底图像中的噪声影响和捕获血管多尺度信息,在跳连部分分别引入双路径注意门机制与稠密的空洞空间金字塔池化模块;最后,在解码部分设置侧输出层生成与层级对应的局部预测图像,并配合多标签Dice损失函数进行训练.在DRIVE,STARE和CHASE＿DB1数据集上进行实验,灵敏度分别为80.54%, 83.97%和82.40%,受试者曲线下的面积(AUC)分别为98.07%, 98.50%和98.36%.     

特征挖掘与区域增强的弱监督时序动作定位

弱监督时序动作定位旨在定位视频中行为实例的起止边界及识别相应的行为。现有方法尽管取得很大进展,但依然存在动作定位不完整及短动作的漏检问题。为此,提出了特征挖掘与区域增强（FMRE）的定位方法。首先,通过基础分支计算视频片段之间的相似分数,并以此分数聚合上下文信息,得到更具有区别性的段分类分数,实现动作的完整定位;然后,添加增强分支,对基础分支定位中持续时间较短的动作提案沿时间维度进行动态上采样,进而采用多头自注意机制对动作提案间的时间结构显式建模,促进具有时间依赖关系的动作定位且防止短动作的漏检;最后,在两个分支之间构建伪标签互监督,逐步改进在训练过程中生成动作提案的质量。该算法在THUMOS14和ActivityNet1.3数据集上分别取得了70.3%和40.7%的检测性能,证明了所提算法的有效性。     

复杂场景下多尺度船舶实时检测方法

船舶检测在军事侦察、海上目标跟踪、海上交通管制等任务中发挥着重要作用。然而,受船舶外形尺度多变和复杂海面背景的影响,在复杂海面上检测多尺度船舶仍然是一个挑战。针对此难题,提出了一种基于多层信息交互融合和注意力机制的 YOLOv4 改进方法。该方法主要通过多层信息交互融合（multi-layer information interactive fusion,MLIF）模块和多注意感受野（multi-attention receptive field,MARF）模块构建一个双向细粒度特征金字塔。其中,MLIF模块用于融合不同尺度的特征,不仅能将深层的高级语义特征串联在一起,而且将较浅层的丰富特征进行重塑;MARF由感受野模块（receptive field block,RFB）与注意力机制模块组成,能有效地强调重要特征并抑制冗余特征。此外,为了进一步评估提出方法的性能,在新加坡海事数据集（Singapore maritime dataset,SMD）上进行了实验。实验结果表明,所提方法能有效地解决复杂海洋环境下多尺度船舶检测的难题,且同时满足了实时需求。     

车联网信息对驾驶员视觉注意与行为的影响

目的探讨不同驾驶情景下车联网信息呈现形式及复杂度对驾驶过程和绩效的影响。方法采用3(信息复杂度:无、简单、复杂)*2(信息通道:视、听)*3(驾驶场景:纵向、横向、转角)多因素混合设计,以驾驶员视觉注意指标、驾驶行为指标为因变量,共招募60名驾驶员,分两组。结果 (1)车联网信息以听觉通道呈现会增加行车稳定性及方向盘控制稳定性,且不会损害驾驶员的视觉注意行为,视觉则相反;(2)信息简单也会增加行车稳定性及方向盘控制稳定性。结论横向与纵向路径以听觉呈现简单信息有利于促进安全驾驶行为,转角路径中应避免车联网信息。     

浅谈燃油加油机检定中的几个问题

加油机是否在合格状态下使用,须按照规程要求经过检定后进行判别,检定过程应注意几点影响示值误差的几个问题。     

融合深度信息的视觉注意计算模型

针对Itti模型在特征选择上的局限性,借鉴心理学中有关视觉注意的研究成果,提出一种融合深度信息的视觉注意计算模型。该模型在基于图像分割的自适应立体匹配基础上提取深度特征,与亮度、方向、颜色特征相结合,实现空间显著性度量,并采用侧抑机制和WTA机制得到注意焦点。实验结果表明,新模型能较好地反映空间立体视觉信息对注意的影响,使计算结果能更符合人类视觉。     

基于背景约束机制的目标识别方法及图像语义抽取

多数图像目标识别过程只对主要目标物进行提取,再分类识别,造成图像背景信息丢失,为此提出一种背景约束机制(background restraint mechanism)下的目标识别方法。通过视觉注意模型分别提取图像的前景目标物和背景信息,实现图像的前景目标物与背景分离,通过对背景图像信息的提取识别形成对前景目标物的概率约束。将此约束机制引入分类器中形成一种BRM_GAM(background-restraint-mechanism_Gaussian ARTMAP)分类模型,对前景目标物进行分类识别。实验结果表明,该方法有较好识别效率和时效性,符合人类认知。此外,提出一种利用GAM模型提取图像语义字典直方图,进行图像语义抽取的方法。     

一种面向视觉注意区域检测的运动分割方法*

结合视觉显著区检测的特点,本文提出一种面向视觉注意区域检测的运动分割方法。该方法用一种层次聚类方法将特征点的运动轨迹进行聚类。首先用中值偏移算法扩大了不同类型运动之间特征向量的差距,同时缩小了相同运动类型的差别。继而,用一种无监督聚类算法,将不同类型的运动进行分割,同时自动获得运动分类数。最后利用运动分割结果,提出一种结合空间和颜色采样的运动显著区域生成方法。与以往方法相比,该方法能够将不同类型的运动自动进行分割,生成的视觉注意区域更为准确,而且稳定性大幅提高。实验结果证明了该方法的有效性和稳定性。