融入注意力机制的视频多尺度时序融合行为识别模型

视频行为识别算法在特征提取过程中,存在未聚焦视频图像显著区域信息的问题,使模型分类效果不理想。为了提高网络区别关注的能力,提出融入注意力机制的视频多尺度时序行为识别算法模型。在视频长-短时序网络中分别融入通道-空间注意力和通道注意力模块,引入注意力机制使网络在训练过程中重新分配权重,捕捉视频内容与位置兴趣点,提高网络的表达能力。在Something-somethingV1和Jester数据集上的实验结果表明,融入轻量注意力模块的视频多尺度时序融合行为识别网络的性能得到有效提升,与其他行为识别网络相比体现出一定的优势。      

用于自然植物细粒度分类的目标定位和区域选择网络

近年来,植物中的细粒度分类问题已经成为计算机视觉领域热门的方向之一。现有的大部分细粒度分类方法只专注于如何寻找更有区分性的部位,忽视了目标的整体结构有助于网络的分类和区分性部位的定位。基于注意力定位关键区域的方法大多都是利用局部注意力来直接定位的,这些方法无法判断所定位到的区域在全局所有区域中是否是最有区分性的。为了解决以上问题,提出一个模板定位和区域选择网络从粗粒度到细粒度渐进式的学习目标的特征。具体来说,目标定位模块可以定位到完整的目标,排除背景的干扰,强化网络提取目标整体结构特征的能力,有助于准确分类和后续区分性区域的定位。区域选择模块则通过全局相关性来衡量数千个区域在全局上的重要程度,根据重要性来选择最有区分性的区域,使网络学习目标的细粒度特征。在iNaturalist-2021Mini和iNaturalist-2018数据集上的实验表明,所提出的方法可以达到优异的效果。     

基于深度学习的驾驶员分心行为识别模型

针对VGG16网络识别驾驶员分心时参数量多、分类准确率低的问题,提出了一种基于多尺度通道的分类模块MCAM.分类模块MCAM包括MCM模块和MSE模块.MCM模块将卷积特征图分离为4个子特征图,使用不同的卷积核对4个子特征图进行空间信息提取,以期提高分类准确率;MSE模块为改进的通道注意力,其使用一维卷积来改进原始通道...     

多尺度注意力机制的电子元器件深度迁移识别方法

电子元器件的识别对于现代电子产品的智能生产和制造具有重要的作用,为了进一步获取电子元器件图像的关键特征,提升图像细粒度表达能力,提出一种基于多尺度注意力机制深度迁移识别方法。以Xception为主干网络架构,引入多尺度池化通道注意力和多尺度空间注意力模块,结合空间金字塔池化的思想,对特征图的每个通道进行不同尺度的最大池化和均值池化,获取通道方向上不同尺度的特征信息;在空间层面上进行不同尺度的空洞卷积,增大特征图的感受野,获取更加全面的空间特征信息;通过深度迁移学习,实现特征参数共享,进一步提高模型的泛化能力。在5种常见的电子元器件数据集上进行实验,结果表明,所提方法能有效获取图像不同尺度的显著特征信息,提升识别效果。     

基于改进U-Net网络的腺体细胞图像分割算法

针对腺体图像在自动分割过程中由于多尺度目标和信息丢失影响导致准确率降低的问题,文中采用了一种引入注意力模块的全卷积神经网络模型。该模型遵循编码器-解码器结构,在编码网络中用空洞残差卷积层代替原有的普通卷积层,并添加空洞金字塔池;再在解码网络中加入注意力模块,使模型输出高分辨率特征图,提高对多尺度目标的分割精度。实验结果表明,提出的网络模型参数少分割精度高,对腺体图像的平均分割精度高达89.7%,具有较好的鲁棒性。     

基于改进残差网络的花卉图像分类算法

传统的花卉图像分类都是基于人工手动选择单一特征或者多特征融合再分类,这种方法普遍存在精度低、成本高、泛化能力弱等缺陷,针对目前深度学习在细粒度图像分类中的应用,提出一种基于残差网络、实现端到端的花卉图像分类方法。首先以ResNet18为基础模型,其次将全卷积结构的思想应用于网络模型中,将ResNet18的全连接层替换成卷积层以优化网络模型,最后在优化后的ResNet18中融入混合域注意力机制,由Softmax层进行分类。本文选取了Oxford17flowers和Oxford102flowers两个花卉图像数据集做对比试验,与前人的花卉图像分类方法对比,本文的方法取得了理想的效果,在Oxford17和Oxford102上分别取得了99.26％ 以及99.02％的正确率,提出了一种基于注意力的残差结构改进方法,相较于前人的花卉图像分类方法,该方法能够更有效地提取关键信息的特征,抑制干扰区域的信息,对花卉图像分类具有显著性效果,适用于细粒度图像分类。     

基于多尺度偶数卷积注意力U-Net的医学图像分割

为了提高U-Net网络性能的同时尽可能减少额外计算量,本文提出了一种新的多尺度偶数卷积注意力UNet(Multiscale Even Convolution Attention U-Net,MECAU-Net)网络。该网络在编码端采用2×2偶数卷积代替3×3卷积进行特征提取,并借鉴多尺度思想,采用4×4偶数卷积将得到的信息直接传递给主干部分,以获取更全面的图像信息并减少额外计算开销,同时还采用对称填充解决偶数卷积提取信息过程中产生的偏移问题。此外,在2×2偶数卷积模块后加入卷积注意力模块,结合空间和通道注意力,在提取更丰富的信息的同时几乎不增加额外开销。最后,在两个医学图像数据集上进行仿真实验,实验结果表明提出的MECAU-Net网络相对于U-Net在稍微增加计算成本的情况下,分割性能得到了较大的提升,并比其他对比网络取得更好的分割性能的同时还降低了参数量。     

基于注意力机制和空洞卷积的自然场景弯曲文本检测方法

自然场景的弯曲文本检测技术多用于智慧旅游场景.针对当前弯曲文本检测存在的受到卷积神经网络的感受野大小和提取特征能力有待提升的影响,网络难以识别自然场景图像中的文本和非文本区域问题,提出了一种基于注意力机制和空洞卷积的自然场景下文本检测方法 (Resnet Squeeze and Excitation Dilation Jaccard Progressive Scale Expansion Network, RSDJ-PSE). RSDJ-PSE引入软注意力机制SE块在检测网络的骨干网络中,进一步增强了特征提取能力,接着引入空洞卷积到骨干网络中,扩展了卷积的感受野且不增大参数量,最后使用Jaccard系数替换Dice系数在后处理算法中,提升了该文本检测方法的F值.在定向文本数据集ICDAR2015、标准弯曲文本数据集CTW1500和Total-Text数据集上的检测结果表明：与8种检测方法对比,该方法具有最好的文本检测性能.     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

改进通道注意力机制下的人体行为识别网络

针对现有通道注意力机制对各通道信息直接全局平均池化而忽略其局部空间信息的问题,该文结合人体行为识别研究提出了两种改进通道注意力模块,即矩阵操作的时空(ST)交互模块和深度可分离卷积(DS)模块。ST模块通过卷积和维度转换操作提取各通道时空加权信息数列,经卷积得到各通道的注意权重;DS模块首先利用深度可分离卷积获取各通道局部空间信息,然后压缩通道尺寸使其具有全局的感受野,接着通过卷积操作得到各通道注意权重,进而完成通道注意力机制下的特征重标定。将改进后的注意力模块插入基础网络并在常见的人体行为识别数据集UCF101和HDBM51上进行实验分析,实现了准确率的提升。