融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

A Swin Transformer and Residualnetwork Combined Model for Breast Cancer Disease Multi-Classification Using Histopathological Images

Breast cancer has become a killer of women''s health nowadays. In order to exploit the potential representational capabilities of the models more comprehensively, we propose a multi-model fusion strategy. Specifically, we combine two differently structured deep learning models, ResNet101 and Swin Transformer (SwinT), with the addition of the Convolutional Block Attention Module (CBAM) attention mechanism, which makes full use of SwinT''s global context information modeling ability and ResNet101''s local feature extraction ability, and additionally the cross entropy loss function is replaced by the focus loss function to solve the problem of unbalanced allocation of breast cancer data sets. The multi-classification recognition accuracies of the proposed fusion model under 40X, 100X, 200X and 400X BreakHis datasets are 97.50%, 96.60%, 96.30 and 96.10%, respectively. Compared with a single SwinT model and ResNet101 model, the fusion model has higher accuracy and better generalization ability, which provides a more effective method for screening, diagnosis and pathological classification of female breast cancer.     

基于残差网络和GRU的XSS攻击检测方法

传统的XSS攻击及其漏洞检测方法在面对多样化的攻击payload时其效果难以令人满意,需要大量人工参与,具有较大的主观性;而如CNN、RNN等深度学习方法只能单一地学习数据样本的空间特征或时序特征.提出一种基于残差网络和GRU的XSS攻击检测方法,在CNN基础上引入残差框架并与GRU相结合来学习数据的时空特征,且通过利...     

基于改进ResNet34网络的变电站设备巡检图像分类识别的方法

针对变电站设备巡检图像识别领域中存在的图像规模有限和识别准确率低等问题,提出了一种基于改进ResNet34网络的图像分类识别方法。采用Seam Carving算法对图像中的低能量区域进行压缩以保留关键特征;同时使用弹性变换、高斯噪声等6种图像增强技术来增强图像的多样性。将基础ResNet34网络与卷积注意力模块结合,增强模型对设备巡检图像关键特征的提取能力。使用在ImageNet数据集上的预训练模型作为迁移学习的特征提取器来解决样本数量不足的问题。在Adam优化器中引入余弦退火策略来动态调整学习率使改进的ResNet34网络更快收敛至最优解。试验结果表明所提方法比基础ResNet34网络的准确率提升了0.073 3,损失率降低了0.201 9,为变电站设备巡检图像识别领域提供了一种可靠的解决方案。     

基于改进ResNet模型的食品新鲜度识别方法

目的:解决现有食品新鲜度识别方法存在的检测效率低和精度差等问题。方法:基于食品生产线图像采集系统,提出一种改进的残差神经网络模型用于生产线食品新鲜度识别。引入改进的LRELU激活函数提高模型的识别性能,引入批量归一化层提高模型的训练效率,引入Dropout层丢弃一定比例的神经元降低过拟合的影响。结果:与常规食品新鲜度识别方法相比,试验方法能够较为准确、高效地实现食品新鲜度识别,总体新鲜度识别准确率>97%,平均识别时间为9.8 ms,满足食品生产线对新鲜度识别的需要。结论:基于深度学习的检测方法是一种无损、高效、高精度的食品图像新鲜度识别方法。     

ResNet及其在医学图像处理领域的应用:研究进展与挑战

残差神经网络(ResNet)是深度学习领域的研究热点,广泛应用于医学图像处理领域.该文对残差神经网络从以下几个方面进行综述:首先,阐述残差神经网络的基本原理和模型结构;然后,从残差单元、残差连接和网络整体结构3方面总结了残差神经网络的改进机制;其次,从与DenseNet,U-Net,Inception结构和注意力机制结...     

基于注意力机制的水果损伤检测及分类

水果作为人们日常必备的食物,其越来越高的消费需求使得行业对自动损伤检测和自动分类的要求日益提高。针对这一需求,近年来水果损伤自动检测成为研究的热门话题。针对现有的深度学习技术,即卷积神经网络在水果的特征提取和分类方面的应用进行了探讨,提出了一种以ResNet34作为主干网络,并在此基础上引入注意力机制SE和CBAM模块的方法来实现水果损伤的检测和基本分类。在fruit fresh and rotten for classification数据集上完成了该方法的验证。经过与VGG16,GoogLeNet,MobileNetV2等常见网络的比较分析,结果显示改进后的模型分类准确度达到98.8%。通过加入新的苹果数据集,该模型相比原网络ResNet34,在性能方面进一步提升,有效提高了模型的泛化性。该模型提升了水果损伤检测和分类处理的精确性,在实际中,可为复杂的水果图片的多特征分类处理提供借鉴。     

结合注意机制和多尺度卷积的YOLO行人检测算法

为提高行人检测的检测性能, 本文结合SqueezeNet、注意力机制、空洞卷积和Inception等结构, 提出一种基于改进YOLOv4的行人检测算法. 改进YOLO在特征增强部分引入残差连接和结合空洞卷积的注意力模块D-CBAM, 可以从提取到的特征中选择对目标检测重要的信息. 此外, 结合SqueezeNet的“squeeze- expand”结构和Inception网络的多尺度卷积思想提出Inception-fire模块用于替代网络中的连续卷积层, 通过增加网络的宽度达到提升算法性能的效果, 同时减少网络的参数. 最后, 根据行人检测任务的特点并结合Focal loss对损失函数进行改进, 分别对正负样本和难易样本添加权重因子, 强调对正样本和难分类样本的训练, 从而提高网络的检测能力. 改进的YOLO算法在INRIA行人数据集上的检测精度能够达到94.95%, 相对原YOLOv4提高4.25%, 同时参数量减少了36.35%, 检测速度也获得13.54%的提升, 在行人检测中能够表现出更优秀的性能.     

数据驱动的RF信号深度调制识别方法

基于卷积结构的信号调制识别神经网络的识别性能受信号调制类型种类限制。例如,在12 dB信噪比条件下,同时对24种信号调制类型进行识别,其识别准确率仅为80%。若需要进一步提高识别性能,则要求更复杂的网络模型,导致网络训练所需数据集规模和硬件资源成本增大。鉴于此,针对无线电信号特征,设计一种适用于无线电信号调制识别的紧致残差神经网络,将其作为信号调制类型特征学习和特征提取工具,实现从原始I、Q数据到信号调制类型的端到端识别。利用迁移学习降低网络重新训练所需样本数,增强在无线信道响应发生变化时的环境适应能力,降低训练阶段所需的硬件资源和训练数据集规模。研究表明,当信道脉冲响应改变时,所提的信号调制识别神经网络在信噪比为12 dB条件下的识别性能达到95%,多个对比实验验证本文所设计神经网络的识别性能具有优势。     

ABAFN：面向多模态的方面级情感分析模型

随着互联网的不断发展,面向电商产品的用户评论日益增加。研究这些用户评论的情感导向,对于指导产品的更新迭代具有重要意义。以往的方面级情感分析任务通常只涉及文本模态,然而用户的评论数据一般不仅包括纯文本,还包括大量的图文数据。针对这种包括文本和图片的多模态数据,提出了一种新的方面级多模态情感分析模型ABAFN（aspect-based attention and fusion network）。模型结合预训练语言模型BERT和双向长短时记忆网络来获得文本和方面词的上下文表示,同时利用预训练残差网络ResNet提取图片特征生成视觉表示;利用注意力机制基于方面词对上下文表示和视觉表示进行加权;将两个模态加权后的表示级联融合执行情感标签分类任务。在Multi-ZOL数据集上的实验表明,ABAFN模型的性能超过了目前已知文献的结果。