基于迁移学习和SVM的糖网图像分类

为解决基于卷积神经网络(CNN)的糖尿病视网膜病变(DR)图像分类算法上普遍存在模型参数难以训练、易过拟合的问题,本文提出一种基于迁移学习和支持向量机(SVM)分类器的DR图像分类算法。首先,对DR图像进行预处理和数据扩增;其次,采用迁移学习方法预初始化深度学习分类算法中的经典框架VGGNet-16网络的模型参数,固定浅层网络参数不变,微调深层网络参数;最后,提取VGGNet-16最后一个隐藏层的特征向量训练支持向量机(SVM)分类器判定DR图像是否病变。实验结果表明,在Kaggle-DR公共数据集共35126张DR图像进行实验,在随机抽取的3500张作为测试集,分类准确率为0.931、敏感性为0.933、特异性为0.928,并能加快网络收敛和提高模型的泛化性。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于属性散射中心卷积核调制的SAR目标识别深层网络

卷积神经网络(CNN)的特征提取能力与其参数量有关,一般来说,参数量越多,CNN的特征提取能力越强。但要学好这些参数需要大量的训练数据,而在实际应用中,可用于模型训练的合成孔径雷达(SAR)图像往往是有限的。减少CNN的参数量可以降低对训练样本的需求,但同时也会降低CNN的特征表达能力,影响其目标识别性能。针对此问题,该文提出一种基于属性散射中心(ASC)卷积核调制的SAR目标识别深层网络。由于SAR图像具有电磁散射特性,为了提取更符合SAR目标特性的散射结构和边缘特征,所提网络使用预先设定的具有不同指向和长度的ASC核对少量CNN卷积核进行调制以生成更多卷积核,从而在降低网络参数量的同时保证其特征提取能力。此外,该网络在浅层使用ASC调制卷积核来提取更符合SAR图像特性的散射结构和边缘特征,而在高层使用CNN卷积核来提取SAR图像的语义特征。由于同时使用ASC调制卷积核和CNN卷积核,该网络能够兼顾SAR目标的电磁散射特性和CNN的特征提取优势。使用实测SAR图像进行的实验证明了所提网络可以在降低对训练样本需求的同时保证优秀的SAR目标识别性能。     

基于图卷积的视网膜血管轮廓及高不确定度区域细化框架

针对传统卷积神经网络(convolutional neural network, CNN)受感受野大小的限制,无法直接有效地获取空间结构及全局语义等关键信息,导致宽血管边界及毛细血管区域特征提取困难,造成视网膜血管分割表现不佳的问题,提出一种基于图卷积的视网膜血管分割细化框架。该框架通过轮廓提取及不确定分析方法,选取CNN粗分割结果中潜在的误分割区域,并结合其提取的特征信息构造出合适的图数据,送入残差图卷积网络(residual graph convolutional network, Res-GCN)二次分类,得到视网膜血管细化分割结果。该框架可以作为一个即插即用模块接入任意视网膜血管分割网络的末端,具有高移植性和易用性的特点。实验分别选用U型网络(U-neural network, U-Net)及其代表性改进网络DenseU-Net和AttU-Net作为基准网络,在DRIVE、STARE和CHASEDB1数据集上进行测试,本文框架的Sp分别为98.28%、99.10%和99.04%,Pr分别为87.97%、88.87%和90.25%,证明其具有提升基准网络分割效果的细化能力。     

基于边缘引导和动态可变形Transformer的遥感图像变化检测

卷积神经网络（Convolutional Neural Network,CNN）和Transformer的混合架构能够有效建模图像的局部与全局特征,已成为遥感图像变化检测任务的主流网络.然而这类网络仍面临着一些挑战. CNN分支中的卷积和池化运算通常会抑制遥感图像中的高频信息,降低目标边界的精度;此外,Transformer分支对图像像素进行等同长程依赖关系建模,忽略了变化目标的形状及语义关联信息,导致网络对变化目标特征的表达不足.为解决上述问题,提出了基于边缘引导和动态可变形Transformer的遥感图像变化检测网络.在CNN分支中设计了边缘信息引导模块,利用高频信息增强目标区域的边缘信息,从而改善变化目标的轮廓精度.同时设计了一种新颖的动态可变形Transformer,能够自适应地匹配形状不同的变化目标,选择与变化相关的特征建模长程依赖关系,以提高网络的特征表达能力.实验结果表明,提出的方法在三个公开数据集LEVIR-CD、CDD和DSIFN-CD上显著提高了检测精度,在变化目标的边界精度和内部完整性方面都明显优于当前的主流网络.     

基于生成式对抗网络和多模态注意力机制的扩频与常规调制信号识别方法

针对低信噪比条件下的扩频与常规调制信号分类精度低的问题,该文提出一种基于生成式对抗网络(GAN)、卷积神经网络(CNN)和长短期记忆(LSTM)网络的多模态注意力机制信号调制识别方法。首先生成待识别信号的时频图像(TFIs),并利用GAN实现TFIs降噪处理;然后将信号的同相正交数据(I/Q data)与TFIs作为模型输入,并搭建基于CNN的TFIs识别支路和基于LSTM的I/Q数据识别支路;最后,在模型中添加注意力机制,增强I/Q数据和TFIs中重要特征对分类结果的决定作用。实验结果表明,该文所提方法相较于单模态识别模型以及其它基线模型,整体分类精度有效提升2%～7%,并在低信噪比条件下具备更强的特征表达能力和鲁棒性。     

细粒度鱼类疫病图像识别算法模型

通过肉眼识别鱼类疫病依赖于诊断人员的经验，疫病数据存在类间差距较小与识别效率低等细粒度问题。由于Transformer缺乏卷积神经网络（CNN）的归纳偏差，需要大量的数据进行训练；CNN对全局特征提取不足，泛化性能较差等问题限制模型的分类精度。基于特征图对所有像素的全局交互建立算法模型，提出一种基于CNN与Vision Transformer相结合的鱼类疫病识别模型（CViT-FDRM）。首先，搭建鱼类疫病的数据库FishData01；其次，利用CNN提取鱼类图像细粒度特征，采用Transformer模型自注意力机制获取图像全局信息进行并行训练；然后，采用组归一化层将样本通道分组求均值与标准差；最后，采用404张鱼类疫病图像进行测试，CViT-FDRM达到97.02%的识别准确率。在细粒度图像开源数据库Oxford Flowers上的实验结果表明，CViT-FDRM的分类精度优于主流的细粒度图像分类算法，可达95.42%，提高4.84个百分点。CViT-FDRM在细粒度图像识别方面可达到较好的效果。     

基于Vision Transformer的小儿肺炎辅助诊断

为改善基层医疗机构儿童肺炎诊疗水平，提高基层医生分析临床医学影像的效率和质量，提出了一种基于Vision Transformer(ViT)的小儿肺炎辅助诊断模型。首先利用ResUNet对儿童胸片进行肺区域分割，将左右肺区域从胸片中分割出来以降低其他组织对肺炎诊断的干扰。然后，将分割后的图像输入改进的混合ViT模型进行诊断，该模型使用传统卷积神经网络的特征映射作为Transformer的输入，并在卷积神经网络中引入自注意力机制，增强卷积以加强其获取全局相关性的能力。最后，对卷积神经网络的骨干网络和Transformer模型进行端到端的训练，使模型能够达到良好的图像分类结果。在Chest X-Ray Images肺炎标准数据集上进行了实验，实验结果表明，所提模型的肺炎识别准确率、精确率和召回率分别达到97.27%、97.69%和98.60%。即该模型具有较好的可行性，可使基层儿童肺炎的临床诊断准确率得到很大提升。     

低能量激光血管内照射复合治疗糖尿病性血管病变

糖尿病时存在多种物质代谢紊乱,导致糖尿病性微血管病变(DMA)。低能量激光血管内照射具有抗缺氧、抗脂质过氧化、改善血液流变学性质异常和微循环障碍等作用。对于DMA的预防和治疗有着重要意义。     

基于精调的膨胀编组-交叉CNN的PolSAR地物分类

在极化合成孔径雷达(PolSAR)地物分类研究中,基于实数CNN的分类算法无法充分利用PolSAR图像丰富的通道相位信息,并且在逐像素预测中存在大量冗余计算,导致分类效率较低。针对以上问题,该文采用一种复数域下的像素映射深度模型,实现低采样率下精确且高效的PolSAR地物分类。为充分使用PolSAR数据的通道相位信息,该文基于一种编组-交叉卷积网络(GC-CNN)将分类模型推广到复数域,并利用网络提取的复数特征及其对应的相位和幅度来实现更精确的分类;为加快分类速度,该文还采用了一种精调的膨胀编组-交叉卷积网络(FDGC-CNN)来实现像素到像素的直接映射,并进一步提升了分类精度。在基于AIRSAR平台的16类地物数据和E-SAR平台的4类地物数据的实验中,该文采用的FDGC-CNN模型相较于SVM分类器和实数CNN模型,能够更准确和更高效地实现多类别地物分类,全局分类精度分别为96.94%和90.07%、总耗时4.22 s和4.02 s。      

一种基于集成卷积神经网络的SAR图像目标识别算法

针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像目标识别问题，提出了一种基于集成卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标识别方法。首先对原始数据集进行数据增强的预处理操作，以扩充训练样本；接着通过重采样的方法从训练样本中获取不同的训练子集，并在训练各基分类器时引入Dropout和Padding操作，有效增强了网络泛化能力；然后采用Adadelta算法与Nesterov动量法结合的思想来优化网络，提高了网络的收敛速度和识别精度；最后采用相对多数投票法对基分类器的分类结果进行集成。在MSTAR数据集上进行的实验结果表明，集成后的模型识别准确率达到99.30%,识别性能优于单个卷积神经网络，具有较强的泛化能力和较好的稳健性。     

基于改进Faster R CNN的光伏组件红外热斑检测算法

光伏故障检测对光伏电站智能运维具有重要意义。针对光伏组件红外图像中热斑目标小、难检测的问题,研究了基于改进Faster R CNN的光伏组件红外热斑故障检测模型。将Swin Transformer作为Faster R CNN模型中的特征提取模块,捕获图像的全局信息,建立特征之间的依赖关系,提高模型的建模能力;进一步利用BiFPN进行特征融合,改善了热斑故障由于目标小和特征不明显容易被模型忽略掉的问题;同时为了抑制光伏红外图像中背景和噪声的干扰,加入轻量级注意力模块CBAM,使模型更加关注重要通道和关键区域,提高对热斑故障检测精度。在自建光伏组件图像数据集上进行实验,热斑故障检测精度高达915,验证了本文模型对光伏组件热斑故障检测的有效性。     

注意力引导梯形金字塔融合网络识别新冠肺炎X射线影像

新型冠状病毒肺炎(corona virus disease 2019,COVID-19)严重影响人类社会和经济的发展,威胁人类的健康。如何更准确、快速地排查感染病毒的患者,使用卷积神经网络(convolutional neural network, CNN)的方法识别COVID-19胸部X射线影像,完成计算机自动辅助诊断。但是,由于识别精度不高,难以准确判断是否感染了COVID-19。为了提高网络模型对COVID-19胸部X射线影像的识别性能,首先提出注意力引导梯形金字塔融合网络(attention steered trapezoid pyramid fusion network, ASTPNet),该网络可以附加在不同的CNN上,有效地利用模型中深层与浅层网络的特点;其次提出注意力引导块(attention steered block, AS Block),通过通道和空间注意力,强调通道和空间中的有效语义信息,弱化无效的干扰信息,高效地聚合加权信息。最终实验结果表明：将ASTPNet附加在VGG16/19、ResNet34/50和ResNeXt上,识别精度有了显著提升;应用于自建的C...     

基于全卷积神经网络的SAR图像目标分类

近年来,卷积神经网络(Convolutional Neural Network,CNN)在合成孔径雷达(Synthetic Aperture Radar,SAR)图像目标分类中取得了较好的分类结果。CNN结构中,前面若干层由交替的卷积层、池化层堆叠而成,后面若干层为全连接层。全卷积神经网络（All Convolutional Neural Network, A-CNN）是对CNN结构的一种改进,其中池化层和全连接层都用卷积层代替,该结构已在计算机视觉领域被应用。针对公布的MSTAR数据集,提出了基于A-CNN的SAR图像目标分类方法,并与基于CNN的SAR图像分类方法进行对比。实验结果表明,基于A-CNN的SAR图像目标分类正确率要高于基于CNN的分类正确率。     

融合多元经验模态分解与Hilbert空间填充曲线的sEMG处理方法

基于卷积神经网络(convolutional neural network, CNN)的表面肌电信号(surface electromygraphy, sEMG)手势识别算法通常将一维sEMG转换成二维肌电图作为CNN的输入。针对sEMG瞬时样本量偏少、以及一维sEMG转换成二维肌电图时带来的局部时序特征丢失等问题,提出了将多元经验模态分解(multivariate empirical mode decomposition, MEMD)算法与Hilbert空间填充曲线相结合的方法,以提升手势识别算法的准确率。采用开源数据集NinaPro-DB1作为实验数据集;通过MEMD算法对sEMG进行分解;将分解后的本征模态函数(intrinsic mode functions, IMFs)作为Hilbert曲线的填充域(Hilb-IMFs)映射成二维肌电图;选择DenseNet作为手势识别的基本网络。实验结果表明,提出的方法相对于传统信号升维方法在手势识别准确率上约有4%的性能提升,验证了该方法的有效性。     

多机制合并注意力的多路径神经机器翻译方法

注意力机制是目前神经机器翻译的主流技术,目 前已提出了多种注意力生成机制,各 机制生成的注意力各有优劣,但每种机制都不能充分利用全部已知信息,其结果和理论上的 真实注意力具有一定差距,影响翻译质量。本文提出一种基于民主决策的合并注意力生成方 法,将多种注意力生成机制所产生的注意力进行加权叠加与归一化后,所生成的值作为新的 注意力,用于指导解码器的翻译过程。类似民主决策会比独断专行的决策获得更好的决策准 确度,该机制可以获得相对更为准确的注意力,进而提升翻译质量。基于上述方法,本文在 CNN、Transformer、Tree Transformer三个算法的基础上,生成合并注意力,提出MA-CTT 算 法,在开放德英语料(IWSLT14)上,MA-CTT获得了32.61的BLEU, 翻译准确度明显高于各基础算法。     

基于深度学习的高分辨率食管测压图谱中食管收缩活力分类

高分辨率食管测压技术(HRM)作为检测食管动力障碍性疾病(EMD)的金标准,已广泛应用于临床试验以辅助医生进行诊断治疗.随着患病率的上升,HRM图像的数据量爆炸式增长,加之EMD的诊断流程较为复杂,临床上EMD误诊事件时有发生.为了提高EMD诊断的准确性,希望搭建一个计算机辅助诊断(Computer Aided Dia...     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...