基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高、空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他七种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度;且该算法的检测速率达到33.70 帧/秒,满足实时性要求。     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。     

基于注意力机制和深度卷积神经网络的材质识别方法

材质识别旨在识别自然材质图像中的主要对象及其所属材料类别.针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所导致的材质识别准确率低的问题,提出了一种基于注意力机制和深度卷积神经网络的材质识别方法,该方法的核心是材质识别深度卷积神经网络(MaterialNet).MaterialNet利用深度残差网络对图像进行特征提取,采用所提出的级联空洞空间金字塔池化的方式引入注意力机制,使网络可以通过端到端训练自适应地关注包含纹理特征的关键区域,从而有效识别材质的局部纹理特征.在FMD材质数据集上进行实验,结果表明,MaterialNet的总体识别准确率可达到82.3％,比当前主流的B-CNN和CNN+FV材质识别方法分别提高了7.2％和4.5％,对多种材质的识别准确率较高且具有参数量少、计算量小等优点.     

FSNet: 基于频率特性的烟雾图像分割网络

烟雾图像分割是对烟雾进行识别与精准定位的基础, 是火灾预警的重要手段. 针对烟雾分割时存在过分割、欠分割以及边界拟合粗糙的问题, 本文提出一种基于频率分离特性的烟雾图像分割网络. 所提出的频率分离模块将特征图中的烟雾区域分离为低频主体部分和高频边界部分, 同时基于多任务学习设计多模块权重自适应损失函数对烟雾整体、主体、边界分别监督学习, 起到细化烟雾边界和改善烟雾整体分割结果的作用; 此外, 结合可变形卷积提出改进的空洞空间金字塔池化模块以解决其信息利用率低和特征关联性差的问题. 在对比实验中, FSNet的烟雾交并比为76.55%, 比基线网络提高了4.25%. 可视化分割结果可以看出, FSNet能有效缓解过分割、欠分割, 所得烟雾边界更平滑, 烟雾图像分割的整体性能获得较大提升.     

多注意力机制金字塔池化金手指划痕分割方法

针对传统图像处理方法和基于深度学习的分类模型对金手指表面划痕检测效果不理想的情况,提出了一种多注意力机制金字塔池化方法对金手指表面划痕进行语义分割。采用ResNet50模型获取输入图像的特征图;在金字塔的不同层中将特征图分成大小不同的子区域,然后对每个子区域进行平均池化操作;池化后的特征图加入多种注意力机制来提取关键部分的特征信息,并使用边界细化模块对边缘区域进一步精细化,提高分割准确度。通过上采样,将四种不同尺寸的特征图采用级联的方式对划痕区域进行特征融合;与带有整体信息的特征图拼接后经过卷积操作得到最后的预测结果。实验结果表明,本文采用的方法较其他常用分割模型在MIOU和MPA指标上具有明显提升,分别达到86.03%和94.35%,具有一定的应用价值。     

轻型金字塔池化注意力机制网络实现图像超分

在基于深度学习的图像超分辨率重建领域,通过扩大网络规模以提高性能将导致计算资源损耗增加。为此,提出了一种轻量级的基于金字塔池化注意力机制网络（light-weighted pyramid pooling-based attention network,LiPAN）,该算法模型由融合注意力机制的信息蒸馏块、多层金字塔池化结构和反向注意力融合模块组成。注意力机制确保了网络对重要特征的提取,金字塔池化结构可获取更多的上下文信息,得到更准确的重建结果,蒸馏结构的引入可有效地提高网络性能并减少网络参数。与目前主流的轻量级网络模型相比,提出的LiPAN模型在Set5、Set14、BSD100及Urban100四个公共数据集分别进行2倍、3倍和4倍下采样重建并定量评估,获得最优峰值信噪比和结构相似度。由此表明,提出的LiPAN在网络模型参数与当前主流的轻量级网络相当的情况下,具有更优的超分辨率重建性能。     

SA-CapsNet:自注意力胶囊网络

胶囊网络(CapsNet)强调对图像特征的空间关系进行编码,但是其特征提取模块难以应对复杂分类场景.为了提升CapsNet的性能,提出了一种具有自注意力(self-attention)特征提取模块的胶囊网络(self-attention capsule network,SA-CapsNet).首先通过降低胶囊维度,并增加一个中间层来改进CapsNet;然后将SA模块映射到胶囊网络的特征提取层,增加特征提取能力.在MNIST、Fashion MNIST和CIFAR10数据集上进行实验,分类准确率分别为99.67％、92.21％和82.51％.实验结果验证了改进网络的有效性,整体性能有较大提升.     

基于双线性池化的实蝇分类注意力网络

实蝇是国内外备受关注的检疫害虫,种类繁多。不同种类的实蝇外形大小相似,不易鉴别。此外,在实际应用中,鉴别实蝇的可用信息会受遮挡、视角、光影变幻等因素影响,导致实蝇自动识别工作难以进行。提出基于双线性池化的实蝇分类注意力网络,用于学习有效的实蝇鉴别特征。该网络由显著性特征模块和跨层双线性模块两个部分组成：显著性特征模块通过对不同卷积层进行滤波增强处理,实现特征增强;跨层双线性模块基于双线性池化融合特征,确定注意部位,挖掘判别特征。在具有自然环境背景的实蝇数据集上进行的实验表明,该方法效果较好,具有良好的实际应用前景。     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题，提出一种基于神经网络的轻量级交通标志识别方法。首先，利用图像归一化、仿射变换和限制对比度自适应直方图均衡化（CLAHE）方法进行图像预处理，以提高图像质量；其次，基于卷积神经网络（CNN），融合空间金字塔结构和批量归一化（BN）方法构建改进空间金字塔池化卷积神经网络（SPPN-CNN）模型，并利用Softmax分类器实现交通标志分类；最后，选用德国交通标志识别数据集（GTSRB），对比不同图像预处理方法、模型参数和模型结构的训练效果，并验证和测试所提模型。实验结果表明，SPPN-CNN模型的识别精度达到98.04%，损失小于0.1，在低配GPU条件下识别速率大于3 000 frame/s，验证了模型精度高、泛化性强、实时性好的特点。     

衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割

工业烟尘图像分割是基于烟尘图像监测污染等级判定的重要环节.针对工业烟尘分割时存在的小目标烟尘漏检、大目标烟尘误检以及分割结果精度低等问题,提出了一种结合衔接注意力机制和残差空洞空间金字塔池化(ASPP)的W-Net网络.使用衔接注意力机制将两个U-Net网络组合成W-Net, W-Net能充分利用烟尘的轮廓、位置信息进行烟尘粗分割和细分割操作,两次分割能达到更精细的分割效果;此外,针对W-Net中的普通卷积功能过于简单而不能更好地提取烟尘特征的问题,提出一种兼具残差块和ASPP功能的残差ASPP结构,同时还能根据大小目标烟尘的特点进行针对性分割,分割结果更全面完整.实验结果表明,结合衔接注意力机制与残差ASPP的W-Net以较小的分割效率损失为代价获得了较高的分割精度, Recall, IoU与F-score指标提高了4%～5%,解决了大小目标烟尘存在的分割问题,烟尘的分割效果也优于其他语义分割网络.     

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题,提出一种基于神经网络的轻量级交通标志识别方法。首先,利用图像归一化、仿射变换和限制对比度自适应直方图均衡化（CLAHE）方法进行图像预处理,以提高图像质量;其次,基于卷积神经网络（CNN）,融合空间金字塔结构和批量归一化（BN）方法构建改进空间金字塔池化卷积神经网络（SPPN-CNN）模型,并利用Softmax分类器实现交通标志分类;最后,选用德国交通标志识别数据集（GTSRB）,对比不同图像预处理方法、模型参数和模型结构的训练效果,并验证和测试所提模型。实验结果表明,SPPN-CNN模型的识别精度达到98.04%,损失小于0.1,在低配GPU条件下识别速率大于3 000 frame/s,验证了模型精度高、泛化性强、实时性好的特点。     

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。     

基于空间分频的超声图像分割注意力网络

针对医学超声影像噪点多、边界模糊,器官轮廓很难界定的问题,提出了一种基于空间分频的超声图像分割注意力网络（SFDA-Net）。首先,借助Octave卷积在整个网络中对图像实现了高、低频并行处理,从而获得更加多元的信息。然后,加入卷积块注意模块（CBAM）,使图像特征恢复时更加关注有效信息,以减小分割目标整体区域的缺失。最后,使用Focal Tversky Loss作为目标函数,从而降低简单样本的权重并加强对困难样本的关注,以及降低各个类别间因像素误判而引入的误差。通过多组对比实验可知,SFDA-Net的参数量低于原UNet++,而分割精度提高了6.2个百分点,Dice得分提高了8.76个百分点,类别平均像素准确率（mPA）提升至84.09%,平均交并比（mIoU）提升至75.79%。SFDA-Net在降低参数量的同时稳步提高了网络性能,实现了更为准确的超声心动图分割。     

基于注意力融合的语义分割网络

为赋予语义分割网络在给定空间位置下选择性强调整体信息或细节信息的能力,提出了一种注意力融合算法,本算法在空洞空间金字塔池化(ASPP)的基础上融合胶囊网络中动态路由算法.首先,以骨干网络输出作为输入,经过多条并行空洞卷积支路得到不同尺度的特征图.然后,在每一条空洞卷积支路的后面增添一条评估支路来评测该条空洞卷积支路单独...     

面向文本分类的多头注意力池化RCNN模型

针对经典循环卷积神经网络(RCNN)在池化层采用的最大池化策略较为单一,会忽略除最突出特征外的其他特征,影响分类精度的问题,提出基于多头注意力池化的循环卷积神经网络(MHAP-RCNN)模型.多头注意力池化可以充分考虑各特征对分类的贡献,且能在训练过程中动态优化,有效缓解最大池化的单一性问题.在三个公开的文本分类数据集...     

基于自注意力机制的脑血肿分割和出血量测量算法

出血量是脑出血疾病分级、治疗方案确定和预后判断的重要指标。但由于大脑结构的复杂性、血肿形态和位置的多样性,在CT影像中准确可靠地分割血肿和测量出血量极为困难。本文提出一种基于自注意力机制深度学习网络的脑血肿分割和出血量测量算法。首先,为克服大脑结构的复杂性,弥补卷积模块只能进行线性运算和提取局部特征的缺点,在分割网络编码器末端引入自注意力模块,通过高阶运算,提取图像全域的特征关联特性,从全局角度提取血肿;然后引入通道和空间注意力模块,通过训练学习得到各个通道和特征区域上的权重,通过该权重突出有用信息,抑制无用信息;最后,根据脑出血患者多层CT影像切片的血肿分割结果,计算出血量。在真实脑出血CT影像数据集上的实验结果表明,本文算法在多种情况下的脑血肿分割和出血量测量上均取得了较好的效果,即使在形状不规则或贴近颅骨的情况下,本文算法仍然较为有效。