基于注意力机制与迁移学习的乳腺钼靶肿块分类

针对乳腺钼靶图像中良恶性肿块难以诊断的问题,提出一种基于注意力机制与迁移学习的乳腺钼靶肿块分类方法,并用于医学影像中乳腺钼靶肿块的良恶性分类.首先,构建一种新的网络模型,该模型将注意力机制CBAM(Convolutional Block Attention Module)与残差网络ResNet50相结合,用于提高网络对...     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法.该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关...     

基于图注意力机制的城市路网短时交通速度预测

针对城市路网短时交通速度预测问题,在考虑路网交通状态时空相关性的情况下,提出一种基于图注意力机制的预测方法。该方法利用图注意力网络(GAT)和门控循环单元(GRU)构建了GAT-GRU模型,在路网层面对交通状态的时空相关性进行有效地建模,进而预测路网短时交通速度。以城市道路网的交通速度数据为数据源展开数值实验,结果表明GAT-GRU模型的表现均优于对比模型。     

基于小波分析的Arima-Transformer组合模型的比特币价格预测

金融商品价格作为一种经典的时间序列,其变化通常表现为非线性、非平稳性及高波动性,使用单一的模型较难实现对金融商品价格的准确预测。文章基于小波分析建立ARIMA-Transformer组合模型,从不同维度分析时间序列的随机波动、循环变化、周期变化等变化规律,对比特币的价格进行时间窗口滚动式预测,预测结果与实际的比特币价格走势大致相同,表明该模型可作为交易者的参考投资模型。     

基于注意力机制的多任务汉语关键词识别

为了提高语音关键词识别的性能,在无自动语音识别的端到端关键词识别模型的基础上,使用了软注意力机制并结合多任务训练的方式对其进行了改进。改进后的基于注意力机制的关键词识别模型由四部分构成,关键词嵌入模块和声学模块使用软注意力来得到特征向量,判别器模块和分类器模块输入特征向量来进行关键词识别。实验结果表明,改进后模型的准确率分别比基线模型和传统的关键词检索方法高出37.3%和3.1%。     

基于域适应的煤矿环境监控图像语义分割

煤矿复杂场景监控图像的解析是煤矿安全高效生产的重要保障。语义分割是图像智能分析的关键技术,为图像中的每个像素分配类别标签。全卷积神经网络、DeepLab系列、DFN等较高性能的语义分割模型需要依赖大量的像素级标签。针对煤矿监控图像缺少标注信息及容易混淆外观相似的不同类别目标的问题,提出双对齐网络模型。该模型从特征级和像素级两方面减少域间差异,将在合成数据集上训练的语义分割模型迁移到煤矿真实场景中,实现煤矿监控图像语义分割。在特征空间中,使用特征级域适应网络学习域不变特征,减少2个领域之间特征表示的分布差异,实现特征级对齐;在像素空间中,使用像素级域适应网络将源域图像风格转换为目标域图像的风格,减少因纹理、光照等因素造成的域偏移,实现像素级对齐。分割网络使用具有煤矿环境风格的源域图像进行训练,学习煤矿监控图像光照、纹理等特征,增强煤矿监控图像中不同类别目标的区分度。判别器中添加空间注意力模块和通道注意力模块,用来提高双对齐网络模型中判别器的判别能力。通道注意力模块为每个通道的特征分配不同的权重,空间注意力模块使用非局部操作获得不同位置间的关系信息。实验选取GTA5-to-Cityscap...     

自适应加权的多特征融合ECT图像重建算法

为了解决电容层析成像(electrical cpacitance tomography, ECT)图像重建中电容值与介电常数这一非线性病态问题,提出一种自适应加权的多特征融合(adaptive weighted multi-feature fusion, AWMF) ECT图像重建算法,利用网络模型拟合电容张量和介电常数的非线性映射关系。首先,在网络模型中采用密集卷积网络(DenseNet),不仅缓解梯度消失现象,还融合不同通道的特征信息;添加挤压激励网络(squeeze excitation network, SENet)自适应调整特征通道的权重,用以提取不同通道的关键特征,提高重建图像的精度。其次,构建树形聚合结构（tree aggregation structure network, TASN）网络模块,扩大感受野并提取丰富的多尺度特征信息,消除普通卷积所带来的伪影现象。在COMSOL5.3软件上建模仿真后,通过MATLAB2014a对图像进行重建。实验结果表明,重建图像误差系数降低至0.0256,相关系数提高至0.9717,与传统算法和CNN算法相比,具有更高的图像重建质量。     

语义增强的多模态虚假新闻检测

近年来社交媒体逐渐成为人们获取新闻信息的主要渠道,但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下,虚假新闻逐渐由单一的文本形式向多模态形式转变,因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征,对新闻的语义层面特征建模不足,难以理解文本和视觉实体的深层语义,在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法,通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取,更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征,在此基础上采用文本引导的注意力机制建模图文之间的语义交互,从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

基于注意力机制的脑肿瘤分割算法研究

文章针对形状复杂、边界模糊的脑肿瘤难以实现精确分割的问题,提出一种基于卷积注意力机制和Transformer多头注意力机制的U型分割网络。文章首先设计了基于通道注意力和空间注意力的卷积模块,提高了模块对局部关键特征的提取能力;其次使用一种结构更精简的Transformer模块作为网络的瓶颈层,利用其多头注意力机制对全局特征进行充分感知;最后在BraTS 2021数据集上进行了实验。实验结果表明文章算法在增强肿瘤区域、肿瘤核心区域和整个肿瘤区域的Dice系数评分分别为87.51%,90.69%和93.47%,可以有效提高脑肿瘤分割精度。