基于改进的Inception-ResNet-V2废钢类型识别算法

本研究提出了一种基于深度学习的废钢快速识别方法，提出的基于Inception-ResNet-V2的改进网络结构添加注意力机制模块经过微调得到SE-Inception-ResNet,并在此基础上采用学习率梯度更新策略自适应调节优化模型。采集了四种类型的废钢数据，然后将样本图像按80%训练集，20%验证集进行训练。后与ResNet152、InceptionV3比较了模型的性能。结果表明，SE-Inception-ResNet、InceptionV3和ResNet152网络的总体分类准确率分别为98.10%、97.48%、95.67%。SE-Inception-ResNet的分类精度最高，该模型在不同学习率情况下能快速梯度收敛。实验结果表明，所提出的改进卷积神经网络模型能够有效地对废钢类型进行识别。同时期望提高其迁移学习模型泛化性，可以为其他快速分类鉴定提供参考，并应用于其他工业或商业领域。     

SA-CapsNet:自注意力胶囊网络

胶囊网络(CapsNet)强调对图像特征的空间关系进行编码,但是其特征提取模块难以应对复杂分类场景.为了提升CapsNet的性能,提出了一种具有自注意力(self-attention)特征提取模块的胶囊网络(self-attention capsule network,SA-CapsNet).首先通过降低胶囊维度,并增加一个中间层来改进CapsNet;然后将SA模块映射到胶囊网络的特征提取层,增加特征提取能力.在MNIST、Fashion MNIST和CIFAR10数据集上进行实验,分类准确率分别为99.67％、92.21％和82.51％.实验结果验证了改进网络的有效性,整体性能有较大提升.     

基于CNN和多注意力机制的XSS检测模型

为了解决普通深度学习模型存在的难以区分信息重要性差异,以及单一注意力机制存在的关注维度单一的问题,文中提出了一种基于卷积神经网络和多注意力机制的模型对XSS攻击进行检测。首先,将经过word2vec转换后的数据输入到卷积神经网络提取局部特征;然后,使用自注意力模块学习数据的长距离依赖关系,并加强模型对序列维度上重要特征的关注;接着,经过通道注意力模块从通道维度对不同的通道特征图加权;之后,将经注意力模块处理过的特征输入到池化层进行下采样处理,并使用Dropout层提高模型的泛化能力;最后,利用提取到的特征对样本进行分类。使用测试数据集对文中提出的模型进行实验,结果显示,该模型对XSS攻击的检测效果良好,准确率与F1值相比其他深度学习模型有一定程度提升。     

一种能简化复杂分类问题的矩阵模块神经网络分类器

主要针对大训练集和类别非对称训练集等复杂分类问题提出一种基于新的任务分解技术的矩阵模块神经网络分类系统,它将一个复杂分类任务分解为多个简单的子任务来解决,每个子任务只是在两个子空间内进行,且由一个具有简单结构的神经网络模块来完成;所有网络模块将组成一个神经网络矩阵,最终将该神经网络矩阵的输出矩阵集成得到最终分类结果.本文通过理论分析和模拟实验证明,该矩阵模块神经网络能节省神经网络的学习时间,提高泛化能力和分类精度.     

基于XDense-RC-net网络的CXR图像分类算法

卷积神经网络逐渐应用于胸部X射线（chset X-ray,CXR）图像分类领域,目前普遍使用迁移学习技术进行分类研究,快速构建网络的同时未能考虑CXR图像的特异性。针对上述问题,提出了一种新型的XDense-RC-net方法。该方法对DenseNet模型进行改进,在原密集连接层引入新提出的空间注意力机制,实现特征提取和特征融合,优化DenseNet的transition模块,同时使用两种不同的池化策略增强模型的抗扰动能力。实验使用chest X-ray14多标签14分类数据集和COVIDx单标签3分类数据集对XDense-RC-net进行验证。在多标签分类实验中,平均AUC值达到0.854,比基准方法提升了0.109。在单标签分类实验中,平均准确率达到96.75%,相较于基准方法提升了7.75%。结果显示,XDense-RC-net提升了CXR图像分类的精度,并能够泛化至多标签和单标签两种不同的分类任务中。     

基于胶囊神经网络的涡扇发动机故障诊断方法

针对航空涡扇发动机数据集故障分类准确率较低的问题,提出一种基于胶囊神经网络的涡扇发动机故障诊断方法。首先确定故障类型和关键变量,然后构建卷积胶囊神经网络模型,将分割的训练集数据输入模型进行训练,最后利用诊断模型诊断测试集数据并计算分类识别准确率。将所提算法在NASA涡扇发动机数据集上进行测试,证明了该模型的分类识别准确率有所提高,可为涡扇发动机的故障诊断提供帮助。     

基于沙漏结构与注意力机制的轻量级人脸表情识别方法

人脸表情检测分类是人机交互领域的一个挑战性任务。为了解决当前表情识别模型参数量大、分类准确率低等问题,提出一种基于沙漏结构与注意力机制的轻量级人脸表情识别方法。首先利用改进的沙漏结构构建轻量级主干特征提取网络;然后设计一个新颖的特征融合注意模块,融合Focus池化特征以提取关键的细节信息,同时嵌入轻量级ECA注意力机制,强化关键表情特征以提升模型的特征表达能力;最后采取Random Erasing、Dropout等多种训练策略以缓解轻量级网络过拟合现象,从而提升模型的泛化性能。在2个经典表情数据集FER2013和CK+上进行测试实验,识别率分别达到了71.72%、95.96%,同时参数量仅约为1×106。     

基于i-CapsNet的宫颈癌图像识别方法研究

宫颈癌是一种严重威胁女性生命及身体健康的重大疾病。宫颈细胞涂片图像是进行癌变识别的重要诊断依据。为了提高癌变细胞的识别精度,本文在胶囊神经网络(CapsNet)的基础上,提出了一种改进的胶囊神经网络模型( improved-Caps-Net,i-CapsNet)。 首先,针对宫颈癌涂片图像具有三维通道数据特征,构建了多维度数据输入层,并增加三维数据深度卷积层, 增强图像深层特征提取能力。其次,改进了编码器中的动态路由方式,采用C-squashing非线性函数作为激活函数,更快速准确地实现胶囊模长的压缩,达到提高癌变细胞的识别精度。然后,针对 Herlev公共数据集中正负样本量不平衡现象,将阿里天池宫颈液基薄层电镜扫描图像进行癌细胞图像提取及图像预处理,构建负样本数据集,提高了数据集的多样性和均衡性。最后,采用十折交叉验证方法,进行训练、验证及测试,与SVM、LeNet-5、VGG16、CapsNet模型进行效果对比。本文提出的i-CapsNet模型训练的Loss值最小,收敛到0.0074,测试的识别精度最高,达到99.2%,效果良好,验证了所提出的i-CapsNet的有效性和可行性。     

基于CNN的改进行人重识别技术

针对行人重识别研究中训练样本的不足,为提高识别精度及泛化能力,提出一种基于卷积神经网络的改进行人重识别方法。首先对训练数据集进行扩充,使用生成对抗网络无监督学习方法生成无标签图像;然后与原数据集联合作半监督卷积神经网络训练,通过构建一个Siamese网络,结合分类模型和验证模型的特点进行训练;最后加入无标签图像类别分布方法,计算交叉熵损失来进行相似度量。实验结果表明,在Market-1501、CUHK03和DukeMTMC-reID数据集上,该方法相比原有的Siamese方法在Rank-1和mAP等性能指标上有近3～5个百分点的提升。当样本较少时,该方法具有一定应用价值。     

融合注意力机制与孪生神经网络的更新日志主题学习模型

为进一步挖掘更新日志信息,提出了基于注意力机制的孪生双向LSTM网络模型,对更新日志进行分类以实现主题标注,并辅助定位代码缺陷位置。该模型提出了具有安全特色的分词工具实现日志预处理,借助双向LSTM网络学习更新日志语义信息,通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集,提升泛化能力。针对多语句组成的更新日志进行序列化训练,通过注意力机制对语句影响性进行区分。针对缺陷修复类的部分日志基于LLVM工具进行改进,生成映射表进行日志内容搜索,定位源码中缺陷模块的位置。大量实验结果表明,所提模型分类效果具有强泛化能力,且较其他文本分类通用方法在准确率、F₁值等指标提升近10%,具有理想的日志分类效果与主题学习效果。     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

基于优化 YOLOv5s 的跌倒人物目标检测方法

针对目标检测模型在人物跌倒时易漏检、鲁棒性和泛化能力差等问题,提出一种基于改进 YOLOv5s 的跌倒人物目标检测方法 YOLOv5s-FPD。首先,对 Le2i 跌倒数据集使用多种方式扩充后用于模型 训练,增强模型鲁棒性和泛化能力;其次,使用 MobileNetV3 作为主干网络来进行特征提取,协调并平衡模型 的轻量化和准确性关系;然后,利用 BiFPN 改善模型多尺度特征融合能力,提高了融合速度和效率,并使用 CBAM 轻量级注意力机制实现注意力对通道和空间的双重关注,增强了注意力机制对模型准确性地提升效果; 最后,引入 Focal Loss 损失评价从而更注重挖掘困难样本特征,改善正负样本失衡的问题。实验结果表明,在 Le2i 跌倒数据集上 YOLOv5s-FPD 模型比原 YOLOv5s 模型,在精确度、F1 分数、检测速度分别提高了 2.91%, 0.03 和 8.7 FPS,验证了该方法的有效性。     

无人机目标分类的深度卷积网络设计与优化

针对传统无人机目标分类方法效率低、特征提取能力不足和适应性差等问题,通过对无人机自身特点和现有分类方法的分析,提出了引入注意力机制优化深度卷积神经网络的无人机分类方法.设计多组对比实验,根据实验效果设计出模型结构为3层卷积层、3层池化层、2层全连接层的卷积神经网络进行训练,得到最优的无人机目标分类模型,再引入卷积注意力模块对特征图元素进行加强和抑制,引入批归一化层加速模型收敛,提升泛化能力.实验结果表明:引入卷积注意力模块和批归一化层优化后的无人机目标分类模型的识别率达到92.44％,较优化前提升1.5％,相比于其它神经网络模型具有识别率高、收敛速度快的优点,可以基本满足实际场景中无人机目标分类的要求.     

基于分组卷积和快照集成的图像隐写分析方法

现存的大多数隐写分析方法的泛化能力较弱,无法对未知隐写算法有效检测,使得其分类的准确性在实际运用过程中大幅度降低。针对这个问题,提出了一种基于分组卷积和快照集成的图像隐写分析方法(snapshot ensembling steganalysis network, SENet)。首先,残差卷积块和分组卷积块对图像的特征进行提取并利用;其次,在每个训练周期中得到性能最好的模型作为快照模型;最后将选定的快照模型进行集成后对图像进行分类。该方法应用分组卷积和快照集成的技术,避免了传统集成方法的高训练成本以及单一分类器泛化能力有限的问题。实验结果表明,该方法可以提升隐写分析模型的准确率,并且在训练集和测试集失配时,也能够有效地进行分类,具有较高的模型泛化能力。     

基于改进UNet网络的室内运动目标阴影分割

针对室内环境下智能监控视频对光照变化产生的阴影难以识别、分割困难等问题, 提出一种结合迁移学习方式和SENet通道注意力机制的UNet网络. 首先, 针对阴影特征模糊难以有效提取的问题, 在UNet模型的上采样部分, 添加SENet通道注意力机制, 在不增加网络参数的同时, 提高有效区域的特征权重; 并将预训练好的VGG16网络迁移到UNet模型中, 实现特征迁移和参数共享, 提高模型的泛化能力, 减少训练成本; 最后通过解码器得到分割结果. 实验结果表明, 改进的UNet算法相比于原UNet算法在对运动目标的分割精度上达到了96.09%, 对阴影的分割精度上达到92.24%, 平均交并比(MIOU)达到92.58%, 算法性能指标有显著提升.     

一种基于注意力机制的小目标检测深度学习模型

小目标检测用来识别图像中小像素尺寸目标。传统目标识别算法泛化性差,而通用的深度卷积神经网络算法容易丢失小目标的特征,对小目标识别的效果不甚理想。针对以上问题,提出了一种基于注意力机制的小目标检测深度学习模型AM-R-CNN,该模型在ResNet101主干网络和候选区域生成网络中使用了通道域注意力和空间域注意力,通道域注意力模块实现了通道维度上的特征加权标定,空间域注意力模块实现了空间维度上的特征聚焦,从而提升了小目标的捕获效果。此外,模型使用数据增强技术和多尺度特征融合技术,保证了小目标特征提取的有效性。在遥感影像数据集上的识别船只实验表明,注意力模块可带来小目标检测的性能提升。     

基于卷积神经网络的加密流量分类方法

针对传统加密网络流量分类方法准确率较低、泛用性不强、易侵犯隐私等问题,提出了一种基于卷积神经网络的加密流量分类方法,避免依赖原始流量数据,防止过度拟合特定应用程序的字节结构。针对网络流量的数据包大小和到达时间信息,设计了一种将原始流量转换为二维图片的方法,直方图中每个单元格代表到达相应时间间隔的具有相应大小数据包的数量,不依赖数据包有效载荷,避免了侵犯隐私;针对LeNet-5卷积神经网络模型进行了优化以提高分类精度,嵌入Inception模块进行多维特征提取并进行特征融合,使用1*1卷积来控制输出的特征维度;使用平均池化层和卷积层替代全连接层,提高计算速度且避免过拟合;使用对象检测任务中的滑动窗口方法,将每个网络单向流划分为大小相等的块,确保单个会话中训练集中的块和测试集中的块没有重叠,扩充了数据集样本。在ISCX数据集上的分类实验结果显示,针对应用流量分类任务,准确率达到了 95%以上。对比实验结果表明,训练集和测试集类型不同时,传统分类方法出现了显著的精度下降乃至失效,而所提方法的准确率依然达到了89.2%,证明了所提方法普适于加密流量与非加密流量。进行的所有实验均基于不平衡数据集,如果对数据集进行平衡化处理,准确率可能会进一步提高。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

改进U-Net型网络的遥感图像道路提取

目的 遥感图像道路提取在城市规划、交通管理、车辆导航和地图更新等领域中发挥了重要作用,但遥感图像受光照、噪声和遮挡等因素以及识别过程中大量相似的非道路目标干扰,导致提取高质量的遥感图像道路有很大难度。为此,提出一种结合上下文信息和注意力机制的U-Net型道路分割网络。方法 使用Resnet-34预训练网络作为编码器实现特征提取,通过上下文信息提取模块对图像的上下文信息进行整合,确保对道路的几何拓扑结构特征的提取;使用注意力机制对跳跃连接传递的特征进行权重调整,提升网络对于道路边缘区域的分割效果。结果 在公共数据集Deep Globe道路提取数据集上对模型进行测试,召回率和交并比指标分别达到0.847 2和0.691 5。与主流方法U-Net和CE-Net（context encoder network）等进行比较,实验结果表明本文方法在性能上表现良好,能有效提高道路分割的精确度。结论 本文针对遥感图像道路提取中道路结构不完整和道路边缘区域不清晰问题,提出一种结合上下文信息和注意力机制的遥感道路提取模型。实验结果表明该网络在遥感图像道路提取上达到良好效果,具有较高的研究和应用价值。     

基于改进卷积注意力模块与残差结构的SSD网络

SSD(Single Shot Multibox Detector)是一种基于卷积神经网络的单阶检测算法,相比双阶检测算法,它在保证一定精度的同时显著提高了检测速度,但仍难以满足很多实际应用,尤其是在小目标检测任务中,检测精度更是难以满足需求.针对该不足,文中提出了一种基于改进残差结构与卷积注意力模块的特征提取网络Re...