基于深度学习的手骨X射线图像骨龄评估

骨龄评估是研究儿童内分泌、遗传因子和生长障碍的常用临床手段,传统骨龄评估方法耗时较长,易受评估者主观因素影响产生误差,而现有自动提取临床特征的骨龄评估方法精度低且泛化能力差。提出一种基于深度学习的端到端手骨X射线图像自动骨龄评估方法。去除Inception ResNet V2网络的Softmax层优化结构,在Inception模块中增加非对称卷积核提高特征图分类精度,引入残差连接结构避免梯度消失或爆炸问题,同时采用均方误差损失函数对骨龄评估回归性能进行评价,并使用分层K折交叉验证法保证数据集样本分类均衡。实验结果表明,与采用BoNet网络的骨龄评估方法相比,该方法评估的骨龄与真实骨龄平均绝对误差减少0.4230岁,骨龄预测精度更高。     

面向医学图像分割的多注意力融合网络

在深度医学图像分割领域中,TransUNet是当前先进的分割模型之一。但其编码器未考虑相邻分块之间的局部联系,在解码器上采样过程中缺乏通道间信息的交互。针对以上问题,提出一种多注意力融合网络（MFUNet）模型。首先,在编码器部分引入特征融合模块（FFM）来增强模型对Transformer中相邻分块间的局部联系并且保持图片本身的空间位置关系;其次,在解码器部分引入双通道注意力（DCA）模块来融合多级特征的通道信息,以增强模型对通道间关键信息的敏感度;最后,通过结合交叉熵损失和Dice损失来加强模型对分割结果的约束。在Synapse和ACDC公共数据集上进行实验,可以看出,MFUNet的Dice相似系数（DSC）分别达到了81.06%和90.91%;在Synapse数据集上的Hausdorff距离（HD）与基线模型TransUNet相比减小了11.5%;在ACDC数据集中右心室和心肌两部分的分割精度与基线模型TransUNet相比分别提升了1.43个百分点和3.48个百分点。实验结果表明,MFUNet在医学图像的内部填充和边缘预测方面均能实现更好的分割效果,有助于提升医生在临床实践中的诊...     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%、92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%和92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

基于邻近切片注意力融合的直肠癌分割网络

针对直肠癌目标靶区在磁共振成像（MRI）图像的大小、形状、纹理和边界清晰程度不同等问题,为了克服患者之间的个体差异性并提高分割精度,提出一种基于邻近切片注意力融合的直肠癌分割网络（ASAF-Net）。首先,使用高分辨率网络（HRNet）作为主干网络,并在特征提取过程始终保持高分辨率特征表示,以减少语义信息和空间位置信息的损失;其次,通过邻近切片注意力融合（ASAF）模块融合并增强相邻切片之间的多尺度上下文语义信息,使网络能够学习相邻切片之间的空间特征;最后,在解码网络使用全卷积网络（FCN）和空洞空间金字塔池化（ASPP）分割头协同训练,并通过添加相邻切片间的一致性约束作为辅助损失缓解训练过程中出现的相邻切片差异过大的问题。实验结果表明,与HRNet相比,ASAF-Net在平均交并比（IoU）、平均Dice相似系数（DSC）指标上分别提升了1.68和1.26个百分点,平均95%豪斯多夫距离（HD）降低了0.91 mm。同时,ASAF-Net在直肠癌MRI图像多目标靶区的内部填充和边界预测方面均能实现更好的分割效果,有助于提升医生在临床辅助诊断中的效率。     

面向行人重识别的通道与空间双重注意力网络

针对现实场景下因受到摄像机视角变化、行人姿态变化、物体遮挡、图像低分辨率、行人图片未对齐等因素影响导致行人判别性特征难以获取的问题,设计混合池通道注意模块（HPCAM）和全像素空间注意力模块（FPSAM）,并基于这两种注意力模块提出一种通道与空间双重注意力网络（CSDA-Net）。HPCAM模块能够在通道维度上抑制无用信息的干扰,增强显著性特征的表达,以提取得到判别性强的行人特征。FPSAM模块在空间维度上增强行人特征的判别能力,从而提高行人重识别的准确率。通过在传统行人重识别深度模型框架中分阶段融入HPCAM模块和FPSAM模块,获得由粗糙到细粒度的注意力特征。实验结果表明,CSDA-Net网络在行人重识别主流数据集CUHK03、DukeMTMC-ReID和Market1501上的Rank-1准确率分别为78.3%、91.3%和96.0%,平均精度均值（mAP）分别为80.0%、82.1%和90.4%,与MGN网络相比,Rank-1准确率分别提升14.9、2.6和0.3个百分点,mAP分别提升13.7、3.7和3.5个百分点,能够提取更具鲁棒性和判别性的表达特征。     

基于Transformer和双重注意力融合的分层交互答案选择模型

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征;最后,通过双重注意力融合过滤句子噪声,增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果。     

结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络

合成孔径雷达(synthetic aperture radar, SAR)与光学图像融合旨在利用卫星传感器的成像互补性, 生成更全面的地貌信息. 然而, 由于各单一卫星传感器数据分布的异质性和成像物理机制的差异, 现有网络模型在融合过程中往往存在成像精度低的问题. 为了解决上述问题, 本文提出DNAP-Fusion, 一种新的结合双非局部注意力感知的SAR和光学图像金字塔细节融合网络(dual non-local-aware-based pyramid fusion net). 该方法利用双非局部注意力模块, 在空间尺度逐渐减小的多级图像金字塔中提取SAR图像的结构信息和光学图像的纹理细节. 然后在空间和通道维度上融合它们的互补特征. 然后, 通过图像重构将融合特征注入上采样光学图像中, 得到最终的融合结果. 此外, 在网络训练之前, 采用图像封装决策来增强同一场景中SAR和光学图像中目标之间的共性关系. 定性和定量的实验结果表明, 提出的方法优于现有融合方法, 其中客观评价指标中的相关系数(correlation coefficient, CC)为0.990 6, 峰值信噪比(peak signal to noise ratio, PSNR)为32.156 0 dB. 此外, 所提方法有效地融合了SAR图像和可见光图像的互补特征, 为提高遥感图像融合的精度和有效性提供了一种有价值的思路和方法.     

基于双分支网络的图像修复取证方法

图像修复是一项利用图像已知区域的信息来修复图像中缺失或损坏区域的技术。人们借助以此为基础的图像编辑软件无须任何专业基础就可以轻松地编辑和修改数字图像内容,一旦图像修复技术被用于恶意移除图像的内容,会给真实的图像带来信任危机。目前图像修复取证的研究只能有效地检测某一种类型的图像修复。针对这一问题,提出了一种基于双分支网络的图像修复被动取证方法。双分支中的高通滤波卷积网络先使用一组高通滤波器来削弱图像中的低频分量,然后使用4个残差块提取特征,再进行两次4倍上采样的转置卷积对特征图进行放大,此后使用一个5×5的卷积来减弱转置卷积带来的棋盘伪影,生成图像高频分量上的鉴别特征图。双分支中的双注意力特征融合分支先使用预处理模块为图像增添局部二值模式特征图。然后使用双注意力卷积块自适应地集成图像局部特征和全局依赖,捕获图像修复区域和原始区域在内容及纹理上的差异,再对双注意力卷积块提取的特征进行融合。最后对特征图进行相同的上采样,生成图像内容和纹理上的鉴别特征图。实验结果表明该方法在检测移除对象的修复区域上,针对样本块修复方法上检测的F1分数较排名第二的方法提高了2.05%,交并比上提高了3.53%;...     

集成注意力增强和双重相似性引导的多模态脑部图像配准

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet）,结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块（integrated attention augmentation module,IAAM）,通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息（normalized mutual information,NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration）,在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。     

基于双重最相关注意力网络的协同过滤推荐算法

基于项目的协同过滤从用户的历史交互项目中学习用户偏好，根据用户的偏好推荐相似的新项目。现有的协同过滤方法认为用户所交互的一组历史项目对用户的影响是相同的，并且将所有历史交互项目在对目标项目作预测时的贡献看作是相同的，导致这些推荐方法的准确性受限。针对上述问题，提出了一种基于双重最相关注意力网络的协同过滤推荐算法，该算法包含两层注意力网络。首先，使用项目级注意力网络为不同历史项目分配不同的权重来捕获用户历史交互项目中最相关的项目；然后，使用项目交互级注意力网络感知不同历史项目与目标项目之间的交互关联度；最后，通过两层注意力网络的使用来同时捕获用户在历史交互项目上和目标项目上的细粒度偏好，从而更好地进行下一步推荐工作。在MovieLens和Pinterest两个真实数据集上进行实验，实验结果表明，所提算法在推荐命中率上与基准模型基于深度学习的项目协同过滤（DeepICF）算法相比分别提升了2.3个百分点和1.5个百分点，验证了该算法在为用户进行个性化推荐上的有效性。     

嵌入双注意力机制的Faster R-CNN航拍输电线路螺栓缺陷检测

目的 螺栓是输电线路上最普遍、数量最多的部件,螺栓缺陷检测是输电线路视觉检测任务的一大难点。针对螺栓目标存在背景复杂、目标过小、不同类别之间差异小以及精细特征难以提取的问题,提出一种双注意力机制方法,分别对不同尺度和不同位置的视觉特征进行分析和增强。方法 对于不同尺度的特征,网络使用不同尺度的特征图计算出相应的注意力图,然后将相邻层的注意力图差异性作为正则化项加入网络中,从而增强螺栓区域的精细特征。对于不同位置的特征,先使用特征图计算出图像的空间注意力图,注意力图中每个元素表示两个空间位置的相似程度,然后利用注意力图将局部特征与全局特征融合,从而在全局视野上增强相似的区域,达到增大螺栓与背景的特征差异程度,实现提高螺栓区域的预测效果。结果 本文在航拍输电线路典型螺栓数据集上进行测试,与基线相比,结合双注意力机制的航拍输电线路螺栓检测方法的平均准确率提高了2.21%,其中正常螺栓类提升了0.29%,缺销螺栓类提升了5.23%,螺母缺失螺栓类提升了1.1%。结论 本文提出的基于双注意力机制的航拍输电线路螺栓缺陷检测方法取得了良好的效果,有效避免了螺栓缺陷检测中的误判漏判问题,为进一步对输电线路其他缺陷任务奠定了良好的基础。     

用于图像超分辨的密集跳跃注意连接网络

为解决现有基于深度学习的超分辨算法模型没有充分利用各个层次的特征信息导致重建精度不高、参数量大的问题,提出了一个内外双重密集连接结构——密集跳跃注意连接网络。内层结构中,对原始密集级联结构进行改进,提出了通道可分密集级联块;外层结构采用密集残差连接结合注意力机制将由密集块提取的特征进行融合,从而达到更少卷积层、更高精度的效果。在多个基准数据集上测试,提出的网络较其他网络层数体量相近的算法精度更高、参数量更少。     

基于双重最相关注意力网络的协同过滤推荐算法

基于项目的协同过滤从用户的历史交互项目中学习用户偏好,根据用户的偏好推荐相似的新项目。现有的协同过滤方法认为用户所交互的一组历史项目对用户的影响是相同的,并且将所有历史交互项目在对目标项目作预测时的贡献看作是相同的,导致这些推荐方法的准确性受限。针对上述问题,提出了一种基于双重最相关注意力网络的协同过滤推荐算法,该算法包含两层注意力网络。首先,使用项目级注意力网络为不同历史项目分配不同的权重来捕获用户历史交互项目中最相关的项目;然后,使用项目交互级注意力网络感知不同历史项目与目标项目之间的交互关联度;最后,通过两层注意力网络的使用来同时捕获用户在历史交互项目上和目标项目上的细粒度偏好,从而更好地进行下一步推荐工作。在MovieLens和Pinterest两个真实数据集上进行实验,实验结果表明,所提算法在推荐命中率上与基准模型基于深度学习的项目协同过滤（DeepICF）算法相比分别提升了2.3个百分点和1.5个百分点,验证了该算法在为用户进行个性化推荐上的有效性。     

基于多空间混合注意力的图像描述生成方法

针对近海船舶监测系统中自动化情报生成的空缺,为了构建智能化船舶监测系统,提出基于多空间混合注意力的图像描述生成方法,对近海船舶图像进行描述。图像描述生成方法就是让计算机通过符合语言学的文字描述出图像中的内容。首先使用图像的感兴趣区域的编码特征预训练出多空间混合注意力模型,然后加入策略梯度改造损失函数对预训练好的解码模型继续进行微调,得到最终的模型。在MSCOCO（MicroSoft Common Objects in COntext）图像描述数据集上的实验结果表明,所提模型较以往的注意力模型提升了图像描述生成的评价指标,比如CIDEr分数。使用该模型在自建船舶描述数据集中能够自动描述出船舶图像的主要内容,说明所提方法能为自动化情报生成提供数据支持。     

结合注意力机制的火灾检测算法

鉴于现有的火灾检测手段大多依赖于感温探测器和感烟探测器,但感温探测器和感烟探测器的探测具有一定的滞后性,无法实时准确地检测出初期火灾的问题,因此,构建了一个大规模多场景的火灾图像数据集;同时对图像数据集进行了火焰和烟雾目标标注,并提出了一种具有注意力机制的火灾检测算法,采用颜色分析的方法检测出图像中火焰和烟雾的疑似区域;再对火焰和烟雾目标的疑似区域进行关注,通过结合深度网络的特征提取能力,得到火灾目标的检测模型;实验结果表明,此方法在检测火灾任务上取得了更优的效果,相比于基于YOLOv3的火灾检测模型,mAP(mean average precision)提高了5.9%,同时满足了实时检测的需求。