融合多头注意力机制的新冠肺炎联合诊断与分割

目的 新冠肺炎疫情席卷全球,为快速诊断肺炎患者,确认患者肺部感染区域,大量检测网络相继提出,但现有网络大多只能处理一种任务,即诊断或分割。本文提出了一种融合多头注意力机制的联合诊断与分割网络,能同时完成X线胸片的肺炎诊断分类和新冠感染区分割。方法 整个网络由3部分组成,双路嵌入层通过两种不同的图像嵌入方式分别提取X线胸片的浅层直观特征和深层抽象特征;Transformer模块综合考虑提取到的浅层直观与深层抽象特征;分割解码器扩大特征图以输出分割区域。为响应联合训练,本文使用了一种混合损失函数以动态平衡分类与分割的训练。分类损失定义为分类对比损失与交叉熵损失的和;分割损失是二分类的交叉熵损失。结果 基于6个公开数据集的合并数据实验结果表明,所提网络取得了95.37%的精度、96.28%的召回率、95.95%的F1指标和93.88%的kappa系数,诊断分类性能超过了主流的ResNet50、VGG16(Visual Geometry Group)和Inception＿v3等网络;在新冠病灶分割表现上,相比流行的U-Net及其改进网络,取得最高的精度(95.96%),优异的敏感度(78.89...     

超级计算支撑的新冠肺炎CT影像综合分析辅助系统应用

目的 新冠肺炎（COVID-19）已经成为全球大流行疾病,在全球范围数百万人确诊。基于计算机断层扫描（computed tomography,CT）数据的影像学分析是临床诊断的重要手段。为了实现快速高效高精度地检测,提出了一种超级计算支撑的新冠肺炎CT影像综合分析辅助系统构建方法。方法 系统整个处理流程依次包括输入处理模块、预处理模块、影像学分析子系统和人工智能（artifiaial intelligence,AI）分析子系统4部分。其中影像学分析子系统通过分析肺实变、磨玻璃影和铺路石等影像学典型特征检测是否有肺炎和典型新冠肺炎特征,给出肺炎影像分析结论;AI分析子系统通过构建深度学习模型来区分普通病毒肺炎与新冠肺炎,增加肺炎的筛查甄别能力。结果 系统发布以来,持续稳定地为国内外超过三十家医院与一百多家科研机构提供了新冠肺炎辅助诊断服务和科研支撑,为抗击疫情提供重要支撑。结论 本文提出的超级计算支撑的新冠肺炎CT影像综合分析辅助系统构建方法,取得了应用效果,是一种有效实现快速部署服务、对突发疫情提供高效支撑的服务方式。     

基于重构误差的同构图分类模型

目前深度学习方法应用于图分类模型的重点集中在将卷积神经网络迁移到图数据领域,包括重定义卷积层和池化层。卷积操作泛化到图数据上是有效的方法,但无论是卷积还是池化都存在较大的改进空间,尤其是在提取网络拓扑结构信息方面。提出一种基于重构误差的同构图分类模型,一方面利用改进的同构图卷积网络WaveGIC增强提取拓扑结构信息能力;另一方面利用多重注意力机制表征全图,使得模型能够关注关键节点信息。由于网络加深过程,局部拓扑结构的特征表达越来越不明显。在分类损失基础上添加重构误差损失,使分类器同时考虑图的节点特征和拓扑结构。在基准数据集上的实验结果表明,提出的方法具有较高的图分类准确度。     

嵌入双尺度分离式卷积块注意力模块的口罩人脸姿态分类

目的 针对口罩遮挡的人脸姿态分类新需求,为了提高基于卷积神经网络的人脸姿态分类效率和准确率,提出了一个轻量级卷积神经网络用于口罩人脸姿态分类。方法 本文设计的轻量级卷积神经网络的核心为双尺度可分离注意力卷积单元。该卷积单元由3×3和5×5两个尺度的深度可分离卷积并联而成,并且将卷积块注意力模块(convolutional block attention module,CBAM)的空间注意力模块(spatial attention module,SAM)和通道注意力模块(channel attention module,CAM)分别嵌入深度(depthwise,DW)卷积和点(pointwise,PW)卷积中,针对性地对DW卷积及PW卷积的特征图进行调整。同时对SAM模块补充1×1的点卷积挤压结果增强其对空间信息的利用,形成更加有效的注意力图。在保证模型性能的前提下,控制构建网络的卷积单元通道数和单元数,并丢弃全连接层,采用卷积层替代,进一步轻量化网络模型。结果 实验结果表明,本文模型的准确率较未改进SAM模块分离嵌入CBAM的模型、标准方式嵌入CBAM的模型和未嵌入注意力模块的模型分别提升了2.86%、6.41% 和12.16%。采用双尺度卷积核丰富特征,在有限的卷积单元内增强特征提取能力。与经典卷积神经网络对比,本文设计的模型仅有1.02 MB的参数量和24.18 MB的每秒浮点运算次数(floating-point operations per second,FLOPs),大幅轻量化了模型并能达到98.57%的准确率。结论 本文设计了一个轻量高效的卷积单元构建网络模型,该模型具有较高的准确率和较低的参数量及计算复杂度,提高了口罩人脸姿态分类模型的效率和准确率。     

融合频率域特征的双路网络模型诊断新冠肺炎

CT检查在新冠肺炎诊断中起着重要作用,为了能够在有限的CT胸部图像集中获得更多有关新冠肺炎的特征信息、建立更加敏感通用的诊断模型,提出了融合CT图像频域特征的双路网络模型（Dp-Net）,该模型主干部分采用ResNet网络模型,并将卷积神经网络的训练过程分为两个部分,一部分提取CT图像空间域的特征,另一部分通过傅里叶变换提取频率域上的特征,将两者训练的结果按照一定的权重进行融合,融合后再由Layer4模块进行一次特征提取。在公开的COVID-CT数据集上与ResNet、VGG等传统的CNN模型进行了比较,也与Self-Trans和LA-DNN等一些改进的CNN模型进行了比较,并对不同权重的融合方案进行了比较,实验结果表明提出的Dp-Net模型在各种评价指标上取得了更好的结果。     

基于多关系结构图神经网络的代码漏洞检测

针对常规漏洞检测技术提取漏洞特征困难,存在高误报率和高漏报率的问题,提出了一种基于多关系结构图神经网络以及关系结构图注意力机制的源代码漏洞检测模型。首先通过代码属性图提取代码的语法和语义信息,并按照不同的语义关系划分成不同的关系结构图,实现了代码表示能力的增强。然后使用图神经网络对图结构进行表示学习,在网络模型中引入后向边以及关系结构图注意力机制,达到了更有效的学习漏洞特征的效果。最后为了验证模型的优势,在大型真实数据集上对模型进行了广泛评估,实验结果证明了该方法有效提高了漏洞检测能力。     

迁移学习应用于新型冠状病毒肺炎诊断综述

新型冠状病毒肺炎（COVID-19）疫情爆发以来,由于该病毒具有极强的传染性,所导致的感染人数与死亡人数持续增加。筛查疑似患者和早期诊断COVID-19是防止疫情恶化的重要措施之一。通过核酸检测和人工检查等方法在感染早期诊断出COVID-19是防止其在社会中爆发的最佳途径。然而核酸检测效率低下,仅仅依靠放射科专家诊断X射线图像和CT扫描图像存在耗时长且易出现诊断误差等问题。研究人员相继提出了基于迁移学习的计算机辅助诊断算法,可以最大程度地减少传统诊断方法所产生的问题,但目前关于迁移学习在新冠肺炎成像中的应用综述较少,因此总结和分析了当前国内外基于迁移学习技术诊断COVID-19的研究成果。针对模型类型进行分类讨论,分别从数据集来源、数据预处理方法、基于迁移学习的诊断模型、模型可视化、评价指标以及模型性能6个角度进行分析和比较。并指出了当前所面临的挑战和未来的发展方向,为今后进一步的研究工作奠定了基础。     

新冠肺炎CT影像的DNN对抗攻击研究

在深度学习应用于新型冠状肺炎CT智能识别的研究中,大量研究人员通过构建深度神经网络训练模型,从而理解医学影像数据内容,辅助新冠肺炎诊断。提出AMDRC-Net架构,其中的残差结构,通过恒等映射解决了网络退化问题,与此同时,针对残差结构阻碍新特征探索的新问题,受到注意力机制等最新研究启发,研究了长短注意力引导机制。关注深度学习模型安全性问题,讨论基于梯度上升的对抗攻击方法;为了解决其单一性问题,通过长短注意力机制,增加有效对抗扰动的同时减少冗余扰动,紧接着,提出的对抗攻击算法A-IM-FGSM,将对抗攻击问题转化为自适应约束问题,即可微变换思想用于迭代攻击中,探究注意力引导机制与DNN对抗攻击的相互关系。最后进行的实验中,在新型冠状肺炎CT数据集上,通过AMDRC-Net进行模型训练,设计对比实验、可视化实验、对抗攻击实验。     

图神经网络及其在图像处理领域的研究进展

图神经网络（graph neural network,GNN）是一种基于深度学习的图结构数据处理模型,因良好的可解释性和对图结构数据强大的非线性拟合能力而受到研究者广泛关注。随着GNN的逐步优化,GNN与图像处理技术实现融合发展,在图像分类、人体解析和视觉问答等方面取得重大突破。对图像处理技术和传统神经网络理论进行介绍,并对五类GNN的原理、特点和不足进行分析与总结;同时从数据集和性能评估指标两个角度对文中所述的常用模型进行对比与总结,并补充介绍了九种常见的图像处理领域公共数据集;最后深入分析了GNN在图像处理领域中有待改进的方面,并对其应用前景进行展望。     

面向COVID-19疫情预测的图卷积神经网络时空数据学习

目的 当前的疾病传播研究主要集中于时序数据和传染病模型,缺乏运用空间信息提升预测精度的探索和解释。在处理时空数据时需要分别提取时间特征和空间特征,再进行特征融合得到较为可靠的预测结果。本文提出一种基于图卷积神经网络（graph convolutional neural network,GCN）的时空数据学习方法,能够运用空间模型端对端地学习时空数据,代替此前由多模块单元相集成的模式。方法 依据数据可视化阶段呈现出的地理空间、高铁线路、飞机航线与感染人数之间的正相关关系,将中国各城市之间的空间分布关系和交通连接关系映射成网络图并编码成地理邻接矩阵、高铁线路直达矩阵、飞机航线直达矩阵以及飞机航线或高铁线路直达矩阵。按滑动时间窗口对疫情数据进行切片后形成张量,依次分批输入到图深度学习模型中参与卷积运算,通过信息传递、反向传播和梯度下降更新可训练参数。结果 在新型冠状病毒肺炎疫情数据集上的实验结果显示,采用GCN学习这一时空数据的分布特征相较于循环神经网络模型,在训练过程中表现出了更强的拟合能力,在训练时间层面节约75%以上的运算成本,在两类损失函数下的平均测试集损失能够下降80%左右。结论 本文所采用的时空数据学习方法具有较低的运算成本和较高的预测精度,尤其在空间特征强于时间特征的时空数据中有着更好的性能,并且为流行病传播范围和感染人数的预测提供了新的方法和思路,有助于相关部门在公共卫生事件中制定应对措施和疾病防控决策。     

COVID-19肺部CT图像多尺度编解码分割

目的 新型冠状病毒肺炎(corona virus disease 2019, COVID-19)患者肺部计算机断层扫描(computed tomography, CT)图像具有明显的病变特征,快速而准确地从患者肺部CT图像中分割出病灶部位,对COVID-19患者快速诊断和监护具有重要意义。COVID-19肺炎病灶区域复杂多变,现有方法分割精度不高,且对假阴性的关注不够,导致分割结果往往具有较高的特异度,但灵敏度却很低。方法 本文提出了一个基于深度学习的多尺度编解码网络(MED-Net(multiscale encode decode network)),该网络采用资源利用率高、计算速度快的HarDNet68(harmonic densely connected network)作为主干,它主要由5个harmonic dense block(HDB)组成,首先通过5个空洞空间卷积池化金字塔(atrous spatial pyramid pooling, ASPP)对HarDNet68的第1个卷积层和第1、3、4、5个HDB提取多尺度特征。接着在并行解码器(paralleled parti...     

基于图注意力的高阶网络节点分类方法

为了更好地学习网络中的高阶信息和异质信息,基于单纯复形提出单纯复形—异质图注意力神经网络方法—SC-HGANN。首先,用单纯复形提取网络高阶结构,将单纯复形转换为单纯复形矩阵;其次,使用注意力机制从特征单纯复形中得到异质节点的特征;再次,对同质和异质单纯复形矩阵进行卷积操作后,得到同质特征与异质特征,通过注意力算子进行特征融合;最后,得到目标节点的特征并将其输入到节点分类模块完成分类。与GCN、HGNN、HAN等基线方法相比,提出的方法在三个数据集上的macro-F₁、micro-F₁、precision和recall均有所提升。表明该方法能有效地学习网络中的高阶信息和异质信息,并能提升网络节点分类的准确率。     

基于自适应图卷积注意力神经协同推荐算法

随着互联网的快速发展,推荐系统可以用来处理信息过载的问题。由于传统推荐系统的诸多问题导致其无法处理发掘隐藏信息,提出一种自适应图卷积注意力神经协同推荐算法（ANGCACF）。首先获取用户和项目交互图,通过图卷积神经网络自适应的聚合用户和项目特征信息;其次对用户和项目特征信息添加自适应扩充数据,以解决数据稀疏性,利用注意力机制对用户和项目特征信息及添加的自适应扩充数据重新分配权重;最后将得到的用户和项目特征表示使用基于矩阵分解的协同过滤的算法框架得出最终推荐结果。在MovieLens-1M、MovieLens-100K和 Amazon-baby三个公开数据集上的实验表明,该算法在推荐准确率、召回率、MRR、命中率和 NDCG 五个指标上均优于基线方法。     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

时空图卷积网络与注意机制的视频目标分割

目的 从大量数据中学习时空目标模型对于半监督视频目标分割任务至关重要,现有方法主要依赖第1帧的参考掩膜（通过光流或先前的掩膜进行辅助）估计目标分割掩膜。但由于这些模型在对空间和时域建模方面的局限性,在快速的外观变化或遮挡下很容易失效。因此,提出一种时空部件图卷积网络模型生成鲁棒的时空目标特征。方法 首先,使用孪生编码模型,该模型包括两个分支：一个分支输入历史帧和掩膜捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩膜。其次,构建时空部件图,使用图卷积网络学习时空特征,增强目标的外观和运动模型,并引入通道注意模块,将鲁棒的时空目标模型输出到解码模块。最后,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。结果 在DAVIS（densely annotated video segmentation）-2016和DAVIS-2017两个数据集上与最新的12种方法进行比较,在DAVIS-2016数据集上获得了良好性能,Jacccard相似度平均值（Jaccard similarity-mean,J-M）和F度量平均值（F measure-mean,F-M）得分达到了85.3%,比性能最高的对比方法提高了1.7%;在DAVIS-2017数据集上,J-M和F-M得分达到了68.6%,比性能最高的对比方法提高了1.2%。同时,在DAVIS-2016数据集上,进行了网络输入与后处理的对比实验,结果证明本文方法改善了多帧时空特征的效果。结论 本文方法不需要在线微调和后处理,时空部件图模型可缓解因目标外观变化导致的视觉目标漂移问题,同时平滑精细模块增加了目标边缘细节信息,提高了视频目标分割的性能。     

基于图编码网络的社交网络节点分类方法

针对如何融合节点自身属性以及网络结构信息实现社交网络节点分类的问题,提出了一种基于图编码网络的社交网络节点分类算法。首先,每个节点向邻域节点传播其携带的信息;其次,每个节点通过神经网络挖掘其与邻域节点之间可能隐含的关系,并且将这些关系进行融合;最后,每个节点根据自身信息以及与邻域节点关系的信息提取更高层次的特征,作为节点的表示,并且根据该表示对节点进行分类。在微博数据集上,与经典的深度随机游走模型、逻辑回归算法有以及最近提出的图卷积网络算法相比,所提算法分类准确率均有大于8%的提升;在DBLP数据集上,与多层感知器相比分类准确率提升4.83%,与图卷积网络相比分类准确率提升0.91%。