基于并行卷积网络信息融合的层级多标签文本分类算法

自然语言处理是人工智能与机器学习领域的重要方向,它的目标是利用计算机技术来分析、理解和处理自然语言。自然语言处理的一个重点研究方向是从文本内容中获取信息,并且按照一定的标签体系或标准将文本内容进行自动分类标记。相比于单一标签文本分类而言,多标签文本分类具有一条数据属于多个标签的特点,使得更难从文本信息中获得多类别的数据特征。层级多标签文本分类又是其中的一个特别的类别,它将文本中的信息对应划分到不同的类别标签体系中,各个类别标签体系又具有互相依赖的层级关系。因此,如何利用其内部标签体系中的层级关系更准确地将文本分类到对应的标签中,也就成了解决问题的关键。为此,提出了一种基于并行卷积网络信息融合的层级多标签文本分类算法。首先,该算法利用BERT模型对文本信息进行词嵌入,接着利用自注意力机制增强文本信息的语义特征,然后利用不同卷积核对文本数据特征进行抽取。通过使用阈值控制树形结构建立上下位的节点间关系,更有效地利用了文本的多方位语义信息实现层级多标签文本分类任务。在公开数据集Kanshan-Cup和CI企业信息数据集上的结果表明,该算法在宏准确率、宏召回率与微F1值3种评价指标上均优于主流的...     

用于行人轨迹预测的场景限制时空图卷积网络

目的 针对行人轨迹预测问题,已有的几种结合场景信息的方法基于合并操作通过神经网络隐式学习场景与行人运动的关联,无法直观地解释场景对单个行人运动的调节作用。除此之外,基于图注意力机制的时空图神经网络旨在学习全局模式下行人之间的社会交互,在人群拥挤场景下精度不佳。鉴于此,本文提出一种场景限制时空图卷积神经网络（scene-constrained spatial-temporal graph convolutional neural network,Scene-STGCNN）。方法 Scene-STGCNN由运动模块、基于场景的微调模块、时空卷积和时空外推卷积组成。运动模块以时空图卷积提取局部行人时空特征,避免了时空图神经网络在全局模式下学习交互的局限性。基于场景的微调模块将场景信息嵌入为掩模矩阵,用来调节运动模块生成的中间运动特征,具备实际场景下的物理解释性。通过最小化核密度估计下真实轨迹的负对数似然,增强Scene-STGCNN输出的多模态性,减少预测误差。结果 实验在公开数据集ETH （包含ETH和HOTEL）和UCY （包含UNIV、ZARA1和ZARA2）上与其他7种主流方法进行比较,就平均值而言,相对于性能第2的模型,平均位移误差（average displacement error,ADE）值减少了12%,最终位移误差（final displacement error,FDE）值减少了9%。在同样的数据集上进行了消融实验以验证基于场景的微调模块的有效性,结果表明基于场景的微调模块能有效建模场景对行人轨迹的调节作用,从而减小算法的预测误差。结论 本文提出的场景限制时空图卷积网络能有效融合场景和行人运动,在学习局部模式下行人交互的同时基于场景特征对轨迹特征做实时性调节,相比于其他主流方法,具有更优的性能。     

抑制图像非语义信息的通用后门防御策略

目的 后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法 核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果 实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论 提出的非语义信息抑制防御方法能够在不需要相关先验知识的...     

低密度脑电自适应去噪方法

便携式和可穿戴设备的低密度脑电图更便于实际使用,但会受到多种不可预知的噪声影响,给去噪带来极大的困难。脑活动成分较为相似,在特征空间分布较为紧密,而噪声成分与脑电成分不同,差异性大,在特征空间分布较为分散。本文提出了一种低密度脑电自适应去噪方法,采用小波分解和盲源分离方法提取潜在成分,并基于脑电和噪声成分在特征空间的分布特性,采用单类支持向量机识别并去除远离成分分布中心的异常成分。仿真数据的定量分析结果表明,提出的方法在肌电、眼电和工频等噪声抑制方面均优于现有方法;通过对真实脑电数据的成分簇可视化分析,直观展示了低密度脑电噪声有效去除的原因。结合盲源分离和异常检测的思路进行低密度脑电去噪,不需要设定特定噪声相关的特征参数,能够自适应地去除多种类型噪声同时有效保留脑活动成分,具有优良的性能和实用性。     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

遥感图像全色锐化的卷积神经网络方法研究进展

随着计算机科学、遥感科学和大数据科学等领域的迅速发展,基于卷积神经网络的方法在图像处理、计算机视觉等任务上发挥着越来越重要的作用。而在遥感图像全色锐化领域,卷积神经网络由于其优秀的融合效果,已得到研究学者的广泛关注并有大量的研究成果产生。尽管如此,依然有一些亟待解决的问题,例如缺乏全色锐化数据集的仿真细节描述、公平公开的训练—测试数据集、简单易懂的统一代码编写框架等。对此,本文主要从以下几方面回顾当前遥感图像全色锐化问题在卷积神经网络方面的一些进展,并针对前述问题发布相关数据集和代码编写框架。1)详细介绍7种典型的基于卷积神经网络的全色锐化方法,并在统一数据集上进行公平比较(包括与典型传统方法的比较);2)详细介绍训练—测试数据集的仿真细节,并发布相关卫星(如WorldView-3, QuickBird, GaoFen2,WorldView-2)的全色锐化训练—测试数据集;3)针对本文介绍的7种基于卷积神经网络的方法,发布基于Pytorch深度学习库的Python代码统一编写框架,便于后来初学者入门、开展研究以及公平比较;4)发布统一的全色锐化传统—深度学习方法MATLAB测试软件包,...     

高阶条件随机场引导的多分支极化SAR图像分类

目的 针对极化合成孔径雷达（polarimetric synthetic aperture radar,PolSAR）小样本分类问题,基于充分挖掘有限样本的极化、空间特征考虑,提出一种由高阶条件随机场（conditional random field,CRF）引导的多分支分类网络模型。方法 利用Yamaguchi非相干目标分解方法,构建每个像素的极化特征向量。设计了由高阶CRF能量函数引导的多卷积分支特征提取网络,将像素点极化特征向量作为输入,分别提取像素点的像素特征、邻域特征和位置特征信息。将以上特征进行加和融合,并输入到softmax分类器中得到预分类结果。利用超像素方法对预分类结果图进行进一步修正和调优,平滑相邻像素之间的特异性和相似性。结果 采用1%的采样率对两组真实的极化SAR数据进行测试。同时,为了更好地模拟实际应用中训练样本位置分布不均匀的情况,考虑了空间不相交采样方法作为对比实验。综合两种采样策略的实验结果表明,相较于只利用像素级特征或简单利用空间特征的方法,本文方法总分类精度平均提升7%～10%,不同地物类别的分类精准度均在90%以上,运行速度相比于支持向量机（support vector machine,SVM）提高了2.5倍以上。结论 通过构建高阶CRF引导的卷积神经网络,将像素特征信息、同质区域特征和地理位置信息进行融合,有效建立了像素级和对象级数据之间的尺度关联,进一步扩充了像素点之间的空间依赖性,提取到了更强大更准确的表征特征,显著提高了标记样本数量较少情况下的卷积网络模型的分类性能,进一步保证了地物目标散射机制表征的全面性和可靠性。     

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度（Cross view,CV）精度达到92.5%,平均跨视角（Cross subject,CS）精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。     

边界信息保持的全染色肾脏切片多粒度分割

目的 肾小球图像的准确分割对肾脏病理学的疾病诊断和定量分析起到关键作用,然而全染色肾脏切片图像存在由肾小球个体差异大导致的空间尺度和上下文形状变化大,以及图像分辨率过高的问题,给高精度、高性能分割任务带来挑战。为此,提出一种边界信息保持的全染色肾脏切片多粒度分割方法。方法 使用一种多粒度上下文的空间注意力机制生成多粒度和多形状变化的空间注意力图,以限制上下文特征,减弱背景对目标的影响,强化网络对目标的感知能力,使网络更多地关注小目标特征;将原图像切分为若干小图来解决全染色图像分辨率高的问题,使用增广路径边界补零策略处理卷积核存在的贡献偏移效应,解决了肾小球目标处于图像边界所导致的分割困难问题,保证图像块的信息无损失地向高层传递,提高处于图像块边界的肾小球目标的分割精度;进一步地,针对图像块拼接带来的边缘肾小球容易漏检、计算开销大的问题,采用特征复用的概率累积滑窗策略,同时提高了分割精度和效率。结果 在小鼠肾脏细胞切片和HuBMAP（human biomolecular atlas program）人体肾脏数据上,本文方法提高了分割精度,并使预测速度提高50%左右。结论 对于全染色肾脏切片的肾小球分割问题,多粒度上下文特征和增广路径边界补零策略解决了边界区域肾小球目标分割困难、分割精度低的问题,并通过概率累积滑窗策略提高分割速度,相较传统的分割方法有更优秀的性能。