基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。     

动态感受野特征选择去雾网络

基于深度学习的去雾模型大多在网络参数固定后，感受野也就随之固定。这导致去雾网络无法针对每个具体的场景采用最优的模式进行去雾，从而造成结果中存在模糊和失真。针对这些问题，文中提出动态感受野特征选择去雾网络。该网络以带有空洞卷积的特征注意力空洞模块为基础组件，并行使用多个空洞率不同的特征注意力空洞模块来提取多尺度特征，并进行动态特征融合，构成动态感受野模块。文中将多个动态感受野模块搭配残差连接组成深度网络，对不同层次的特征进行动态混合，最终解码得到去雾图像。实验结果表明，文中所提算法对室内和室外的合成雾图以及真实含雾图像均具有良好的去雾效果，可以生成清晰、自然的去雾图像。     

多尺度特征融合U-Net的遥感影像黑臭水体智能检测

研究采用卫星遥感技术获取高分辨率遥感影像水体样本数据集,基于深度卷积神经网络从高分辨遥感影像中提取水体并进行黑臭水体智能监测,提出了一种改进U-Net的黑臭水体检测网络模型(IWDNet)。基于U-Net结构引入跳跃式多尺度特征融合,结合通道注意力机制、卷积注意力模块、通道与空间注意力机制生成不同多尺度特征融合注意力机制(MFFAM)模块进行对比,并引入空洞卷积扩大网络感受野,最终实现黑臭水体的识别检测。实验证明：基于跳跃式多尺度融合与CBAM注意力机制的黑臭水体检测网络(MFFCBAM-IWNet)模型有效提升了识别精度,在高分辨遥感影像水体样本数据集上表现最佳,总体精度达98.56%,Kappa系数达0.978 4。     

基于改进的AG-CNN的视网膜OCT图像的黄斑病变识别方法

本文针对目前应用全局图像训练卷积神经网络可能会受到若干无关噪声区域的影响,易导致视网膜OCT图像黄斑病变识别或诊断错误等问题,提出了一种改进的注意力引导四分支卷积神经网络的视网膜OCT图像黄斑病变识别方法.采用改进注意力引导卷积神经网络框架,通过集成全局分支、局部分支和层分割分支构成融合分支,利用注意力热图对重要区域进行掩膜和训练,减少视网膜OCT图像噪声的干扰和黄斑病变识别错误率,通过与VGG16和IDL 2种方法在公开数据集上进行了实验验证比较.结果表明,文中方法在视网膜OCT图像数据集上对于识别准确度和识别性能的提升具有显著性的作用.     

基于注意力机制和特征聚合的车道线检测

车道线检测的可靠性和稳定性对智能驾驶系统来说至关重要.由于车道线容易受到光线、遮挡、老化等复杂情况的干扰,导致传统的语义分割网络无法准确的学习到车道线的细节特征.为解决该问题,本文首先在编码网络部分引入CA坐标注意力机制,进一步增强网络对车道线提取能力,然后,在特征聚合网络引入金字塔空洞卷积模块与RESA模块并联来增强模型的感受野,以丰富和提取全局的空间特征信息,最后经过解码网络将融合后的特征图上采样到原图大小,并预测每个车道的位置和概率分布.实验证明,文中提出的算法在CULane数据集上有较高准确率,多路面综合准确率达到76.2%,并通过实车测试表明,该算法检测帧率为30 fps,可以在复杂交通场景下进行实时检测,具有较高的泛化性和鲁棒性.     

融合注意力机制的金属缺陷图像分割方法

由于金属表面缺陷图像的特性,有效精确分割是 图像处理任务中的一大挑战。为了获 得缺陷的类型、大小及位置信息,本文提出一种融合注意力机制的金属缺陷图像分割网络。 该网络分为两条路径,语义信息路径主要由残差块构成的卷积网络获得特征图,采样过程中 分步融合注意力机制以增强特征与背景对比度。旁路路径设计注意力机制模块获得位置信息 的权重图,后将同尺寸的特征图与权重图融合,通过空间金字塔结合多尺度特征。实验结果 表明,运用该算法可以提高金属表面缺陷图像的分割精度。     

基于注意力机制的水下遮挡目标检测算法

针对水下目标检测任务中存在前景遮挡和背景模糊的问题，文中提出一种基于注意力机制的水下目标检测算法。首先采用图像增强算法改善图像质量。然后在非局部神经网络的相似度函数基础上，融合具有逻辑推理能力的级联相似度函数，增强网络对全局上下文特征的表达能力。随后将改进型非局部神经网络与三分支注意力融合，弥补非局部神经网络丢失的通道特征。最后利用空洞卷积模块置换三分支注意力中的池化操作，减少细粒度信息损失。实验表明，该算法在2020年全国水下目标检测大赛提供的数据集上，使基线方法检测精度由65.66%增长至68.55%,证明了所提算法的有效性。     

基于改进U-Net网络的腺体细胞图像分割算法

针对腺体图像在自动分割过程中由于多尺度目标和信息丢失影响导致准确率降低的问题,文中采用了一种引入注意力模块的全卷积神经网络模型。该模型遵循编码器-解码器结构,在编码网络中用空洞残差卷积层代替原有的普通卷积层,并添加空洞金字塔池;再在解码网络中加入注意力模块,使模型输出高分辨率特征图,提高对多尺度目标的分割精度。实验结果表明,提出的网络模型参数少分割精度高,对腺体图像的平均分割精度高达89.7%,具有较好的鲁棒性。     

一种高精度的卷积神经网络安全帽检测方法

在复杂的施工环境中,基于机器视觉技术的安全帽佩戴检测算法常常出现漏检、误检,其检测能力有限。为提高安全帽佩戴检测的精度,本文建立了一种基于注意力机制的双向特征金字塔的安全帽检测卷积神经网络。为兼顾卷积神经网络中的浅层位置信息和深层语义信息的表达能力,实现对弱小安全帽目标的检测能力,该网络将跳跃连接和注意力机制CBAM技术引入双向特征融合的特征金字塔网络PANet模块中,构建基于注意力机制的双向特征金字塔模块CPANet。为提高模型的收敛能力,采用了CIoU来代替IoU进行优化锚框回归预测,降低该网络的训练难度。对比实验表明,本文建立的检测网络比YOLOv3、RFBNet、SSD、Faster RCNN的mAP值分别提高了0.82,4.43,23.12,23.96,检测速度达到21frame/s,实现了施工现场安全帽佩戴实时高精度检测。     

引入高斯掩码自注意力模块的YOLOv3目标检测方法

基于行车图像的目标检测方法为感知周围的道路环境提供了便宜、有效的解决方案,但同时也对检测效果和检测速度提出了较高要求.本文针对基于深度学习的一阶段目标检测算法YOLOv3展开研究,结合自注意力机制,在其网络深层结构中嵌入高斯掩码自注意力模块,缓解卷积操作感受野不足的缺陷,以捕捉更多的全局信息,提高算法的检测效果.实验结...     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

Feature refinement for image-based driver action recognition via multi-scale attention convolutional neural network

Driver distraction has currently been a global issue causing the dramatic increase of road accidents and casualties. However, recognizing distracted driving action remains a challenging task in the field of computer vision, since inter-class variations between different driver action categories are quite subtle. To overcome this difficulty, in this paper, a novel deep learning based approach is proposed to extract fine-grained feature representation for image-based driver action recognition. Specifically, we improve the existing convolutional neural network from two aspects: (1) we employ multi-scale convolutional block with different receptive fields of kernel sizes to generate hierarchical feature map and adopt maximum selection unit to adaptively combine multi-scale information; (2) we incorporate an attention mechanism to learn pixel saliency and channel saliency between convolutional features so that it can guide the network to intensify local detail information and suppress global background information. For experiment, we evaluate the designed architecture on multiple driver action datasets. The quantitative experiment result shows that the proposed multi-scale attention convolutional neural network (MSA-CNN) obtains the state of the art performance in image-based driver action recognition.     

基于细化多尺度深度特征的目标检测网络

现有深度卷积神经网络中感受野尺度单一,无法适应目标的尺度变化和边界形变,故此本文提出了一种提取并融合多尺度特征的目标检测网络.该网络通过减少池化并在网络底层加入空间加信道压缩激励模块来突出可利用的细节信息,生成高质量的特征图;此外,在深层网络中加入可变多尺度特征融合模块,该模块具有多种尺度的感受野并可根据物体边界预测采样位置,最后通过融合多尺度特征使网络具有更强的特征表达能力并且对不同尺度实例及其边界信息更具鲁棒性.实验证明,本文结构实现了比原有结构更高的平均精度,与目前主流目标检测算法相比也具有一定优势.     

基于深度空时域特征融合的高动态空中多形态目标检测方法(特邀)

针对复杂背景下,依靠高超声速飞行器搭载的红外探测器对高动态空中目标的可靠探测和精确识别问题,提出了一种基于深度空时域特征融合的空中多形态目标检测方法。设计了加权双向循环特征金字塔结构提取多形态目标静态特征,并引入可切换空洞卷积,增大感受野的同时减少空域信息损失。对于时序运动特征的提取,为了抑制复杂背景噪声的同时将角点信息集中到运动区域中,通过特征点匹配法生成掩膜图,之后进行光流计算,根据计算结果设计稀疏光流特征图,利用3D卷积提取多个连续帧图像中包含的时序特征,生成三维时序运动特征图。最后,通过对图像静态特征与时序运动特征进行通道维度的拼接,实现深度空时域特征融合。大量的对比实验表明,文中方法可明显减少复杂背景下的虚假识别概率,具备高实时性的同时目标识别准确率达89.87%,满足高动态下的红外目标智能检测识别需求。     

空间金字塔与局部感受野相结合的相关熵极限学习机

针对空间金字塔词袋模型中空间特征分布信息利用效率低,各类特征融合不充分的问题,该文提出空间金字塔与局部感受野相结合的相关熵极限学习机(SR-CELM)。在特征提取部分,利用多尺度局部感受野对生成的多层级的字典特征分布图进行卷积,并引入局部位置特征和全局轮廓特征。在特征分类部分,提出一种新的网络以融合各部分特征。同时在传统极限学习机训练方法的基础上利用相关熵准则构建判别性约束,推导出权重更新公式以求解网络的输出权重。为验证SR-CELM的有效性,该文分别在数据库Caltech 101, MSRC和15 Scene上进行实验。实验表明SR-CELM能够充分利用特征中可辨识信息,提高分类正确率。     

联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

为尽可能保持原始低分辨率多光谱(LRMS)图像光谱信息的同时,显著提高融合后的多光谱图像的空间分辨率,该文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图融合方法.首先将原始MS图像输入频谱特征提取子网得到其光谱特征,然后分别将通过梯度算子处理全色图像得到的梯度信息和通过卷积后的全色图像与得到的光谱特征图在通道上拼...     

基于改进YOLOv4-tiny的轻量化室内人员目标检测算法

深度学习在室内人员检测领域应用广泛,但是传统的卷积神经网络复杂度大且需要高算力GPU的支持,很难实现在嵌入式设备上的部署。针对上述问题,该文提出一种基于改进YOLOv4-tiny的轻量化室内人员目标检测算法。首先,设计一种改进的Ghost卷积特征提取模块,有效减少了模型的复杂度;同时,该文通过采用带有通道混洗机制的深度可分离卷积进一步减少网络参数;其次,该文构建了一种多尺度空洞卷积模块以获得更多具有判别性的特征信息,并结合改进的空洞空间金字塔池化结构和具有位置信息的注意力机制进行有效的特征融合,在提升准确率的同时提高推理速度。在多个数据集和多种硬件平台上的实验表明,该文算法在精度、速度、模型参数和体积等方面优于原YOLOv4-tiny网络,更适合部署于资源有限的嵌入式设备。     

多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取

针对全卷积神经网络多次下采样操作导致的道路边缘细节信息损失和道路提取不准确的问题,本文提出了多尺度特征融合的膨胀卷积残差网络高分一号影像道路提取方法。首先,通过目视解译的方法制作大量的道路提取标签数据;其次,在残差网络ResNet-101的各个残差块中引入膨胀卷积和多尺度特征感知模块,扩大特征点的感受野,避免特征图分辨率减小和道路边缘细节特征的损失;然后,通过叠加融合和上采样操作将各个尺寸的道路特征图进行融合,得到原始分辨率大小的特征图;最后,将特征图输入Sigmoid分类器中进行分类。实验结果表明:本文方法的提取精度优于经典全卷积神经网络模型,准确率达到了98%以上,有效保留了道路的完整性及其边缘的细节信息。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。