多层级深度特征融合的乳腺癌病理图像分类

针对既有深度学习方法在乳腺癌病理图像全局与局部特征统一表达上的不足,将长距离建模的Transformer和强局部感知的卷积神经网络(convolutional neural network,CNN)相结合,提出一种多层级深度特征融合的乳腺癌病理图像分类方法.该方法以双分支并行的Deit-B和ResNet-18模型作为骨干架构,在双分支网络中间层和末端位置分别引入特征融合操作,有效加强了乳腺癌病理图像全局与局部深度特征的联合学习;此外,在CNN支流的残差模块间引入密集连接操作来提升中间层融合特征的信息传递.通过全局-局部特征提取与支流间-支流内特征交互,可更有效捕获用于乳腺癌病理图像分类的判别特征.在乳腺癌病理图像公共数据集BreakHis上的消融实验与对比实验结果证明所提出方法的有效性,此外可获得99.83％的最优分类结果.     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于人工鱼群优化的自适应脉冲耦合神经网络图像融合

针对传统脉冲耦合神经网络(PCNN)图像融合算法中 最优融合结果无法自适应确定及神经元参数取固定常 数所造成的同步脉冲周期无法随图像特征改变的不足,提出了一种基于人工鱼群寻优的自适 应双通道 PCNN图像融合算法。利用合成空间雷达(SAR)图像的辐射分辨率和可见光图像的清晰度分别 作为双通道PCNN 对应神经元的链接强度值,PCNN的信号衰减常数、阈值放大系数和水平调节因子3个参数 采用人工鱼群 寻优,目标函数由互信息(MI)和结构相似度(SSIM)两种图像质量 评价指标构建,最终获得近似最优的融合图像。实验 结果表明,本文算法图像融合结果优于传统拉普拉斯变换、离散小波变换和参数取固定值的 PCNN图像融合算法及其一些改进算法。     

Curvelet域自适应脉冲耦合神经网络的图像融合方法

为解决传统图像融合准则不能充分利用图像全局特征的问题,将脉冲耦合神经网络(PCNN)模型用于Curvelet变换的图像融合中,提出了由表征子带图像局部特征的支撑值(SPV)作为刺激PCNN模型的外部激励输入,同时考虑Curvelet变换后低频子带信息与高频子带信息间的相关性,设定PCNN模型参数(连接强度和连接范围)随低频子带图像的特征自适应地变化,并且利用PCNN模型中各神经元的首次点火时间构造融合准则中的显著性度量。用PCNN模型模拟人眼视觉神经系统的生物特性,并利用其全局耦合特性对源图像进行智能地分析判断和融合处理,从而提高融合图像的整体效果。实验结果表明,由于PCNN具有全局耦合特性和脉冲同步特性,因此当它用来参与选取细节系数时,能够更好地利用子带图像的全局信息。     

基于自适应加权的超光谱图像分类方法

为了进一步提高已有的加权超光谱图像分类方法的识别性能,以支持向量机(SVM)作为基本框架,结合超光谱图像的谱间与空域信息,提出了一种自适应加权的超光谱图像分类方法.所提方法的自适应权值是由两部分构成,即改进的具有归一化取值的互信息(MI)与一定量的归一化图像标准方差之和,不仅考虑到了超光谱图像的谱间信息对分类会产生的作...     

基于多尺度卷积神经网络的自适应熵加权决策融合船舶图像分类方法

针对单一尺度卷积神经网络(CNN)对船舶图像分类的局限性,该文提出一种多尺度CNN自适应熵加权决策融合方法用于船舶图像分类.首先使用多尺度CNN提取不同尺寸的船舶图像的多尺度特征,并训练得到不同子网络的最优模型;接着利用测试集船舶图像在最优模型上测试,得到多尺度CNN的Softmax函数输出的概率值,并计算得到信息熵,...     

基于多尺度卷积神经网络的自适应熵加权决策融合船舶图像分类方法

针对单一尺度卷积神经网络(CNN)对船舶图像分类的局限性,该文提出一种多尺度CNN自适应熵加权决策融合方法用于船舶图像分类.首先使用多尺度CNN提取不同尺寸的船舶图像的多尺度特征,并训练得到不同子网络的最优模型;接着利用测试集船舶图像在最优模型上测试,得到多尺度CNN的Softmax函数输出的概率值,并计算得到信息熵,进而实现对不同输入船舶图像赋予自适应的融合权重;最后对不同子网络的Softmax函数输出概率值进行自适应熵加权决策融合实现船舶图像的最终分类.在VAIS数据集和自建数据集上分别进行了实验,提出的方法的分类准确率分别达到了95.07%和97.50%,实验结果表明,与单一尺度CNN分类方法以及其他较新方法相比,所提方法具有更优的分类性能.     

神经网络结合NSCT的多源图像融合算法

针对海洋弱目标监测存在因背景、海雾影响而"认不清"、"看不远"的问题,提出非下采样轮廓波变换和神经网络结合的多源图像融合算法。首先使用非下采样塔式结构滤波器组分解其预处理得到的偏振长波红外图像和可见光图像,进而采用神经网络得到初次融合图像与短波红外图像的图像特征,并从这些特征中提取权重,然后将特征图像取相对应的权重,融合得到最后的图像。该算法充分利用了红外图像亮度、强度信息和偏振光穿云透雾的特性,突出了目标轮廓细节,提高图像对比度,从而达到清晰识别海面目标的目的。     

基于多视角融合的细粒度图像分类方法

细粒度图像分类的目标是区分同一个常见类下的不同子类,由于数据集往往存在较大的类内差异和较大的类间相似性,细粒度图像分类相比于传统图像分类具有更大的挑战性。以往工作中,基于组件的方法和基于注意力的方法致力于挖掘图像中的判别力区域,而忽视了用来区分易混淆类别的微弱差异。为了解决以上问题,本文提出了一个基于多视角融合的细粒度图像分类方法,包含两个分支,其中一个分支基于特征图挖掘图像的局部特征,另一个分支则学习图像的全局特征。同时引入一种嵌入损失,与传统多分类交叉熵损失函数结合增强特征的判别性,进而提升模型的分类性能。所提方法仅使用图像级标签,在CUB-200-2011,Stanford Cars和FGVC Aircraft这三个基准数据集上的分类准确率分别达到了88.3%,94.3%和92.4%,实验结果表明所提方法相比其它细粒度图像分类方法具有一定的优越性。      

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

基于全卷积神经网络的SAR图像目标分类

近年来,卷积神经网络(Convolutional Neural Network,CNN)在合成孔径雷达(Synthetic Aperture Radar,SAR)图像目标分类中取得了较好的分类结果。CNN结构中,前面若干层由交替的卷积层、池化层堆叠而成,后面若干层为全连接层。全卷积神经网络（All Convolutional Neural Network, A-CNN）是对CNN结构的一种改进,其中池化层和全连接层都用卷积层代替,该结构已在计算机视觉领域被应用。针对公布的MSTAR数据集,提出了基于A-CNN的SAR图像目标分类方法,并与基于CNN的SAR图像分类方法进行对比。实验结果表明,基于A-CNN的SAR图像目标分类正确率要高于基于CNN的分类正确率。     

基于FMCW雷达的多通道特征融合人体动作识别方法

针对采用单一特征进行人体动作识别准确率不高的问题,提出了一种基于调频连续波(Frequency Modulated Continuous Wave, FMCW)雷达的多通道特征融合人体动作识别方法。通过对FMCW雷达回波数据进行预处理,得到人体动作的距离参数与多普勒参数,构建出距离-时间特征谱图和多普勒-时间特征谱图数据集。为了进行人体动作特征的充分提取与精确识别,改进了单通道输入的传统卷积神经网络结构,把部分残差连接结构和跨阶段部分连接结构进行了优化应用至雷达人体动作识别领域,设计出端到端的CSP-FCNN(Cross Stage Partial-Fusion Convolutional Neural Network)多通道融合卷积神经网络。采用公开数据集进行实验,结果表明所提方法有效解决了单一特征动作识别信息量欠缺以及网络提取特征不充分的问题,识别准确率较单一特征识别方法提高了5%以上。     

基于CNN-win Transformer的分布式超宽带雷达人体动作识别

针对传统雷达人体动作识别方法中特征提取能力不足和上下文建模困难的问题,提出了一种结合卷积神经网络(Convolutional Neural Network,CNN)和Swin Transformer的网络模型,用于有效识别分布式脉冲超宽带雷达数据中的人体动作。通过多分支的CNN对多个雷达的多个谱图、雷达数据的幅度和相位等特征进行提取和融合,利用Swin Transformer模块的多层自注意力机制对生成的特征映射进行上下文建模,提取具有高级语义信息的特征。采用代尔夫特理工大学（Technische Universiteit Delft）公开的数据集进行5折交叉验证,结果表明所提方法能够有效识别9类连续人体动作,识别准确率达到98.2%。     

卷积神经网络在脑疲劳检测中的研究

脑疲劳是由于持续进行脑力劳动导致的一种状态,脑电被认为是脑疲劳状态检测的最佳工具。如何选取合适的脑疲劳特征成为脑疲劳检测的关键问题,传统模式识别中手动提取特征会产生信息损失,针对脑电的时空特性,本文设计了具有时域卷积核、空间域卷积核的深层卷积神经网络和浅层卷积神经网络两种网络结构,将特征提取和状态分类合二为一,对正常态与疲劳态脑电数据进行分类,可视化了卷积神经网络的空间域卷积核。结果表明,浅层卷积神经网络平均分类正确率为98.868%,深层卷积神经网络平均分类正确率为98.217%,均高于传统分类方法,通过空间域卷积核的可视化,能够了解不同导联在网络中的参与程度,验证了该模型在脑疲劳检测任务中具有很高的有效性,同时为脑疲劳检测提供了新思路。     

融合注意力机制与残差网络的人耳识别方法

人耳特征具有良好的唯一性与稳定性等特点,近年来被广泛应用于身份识别领域。针对人耳采集易受头发、耳饰等物品遮挡问题,本文提出了一种基于ERNet的人耳识别方法。该方法在IResNet网络的基础上,引入改进的SE模块,通过融合最大池化与均值池化的统计特性,增强身份相关特征的表示,抑制非相关特征的影响,以此解决在非受控环境下由于遮挡原因造成的识别困难问题。大量实验结果表明,相比较于原网络,改进后的方法识别性能提高较为明显。在同等遮挡条件下,本文所提出的模型具有较好的鲁棒性能。     

数据和模型双驱动的航迹融合算法

针对数据驱动的航迹融合算法精度较低、泛化和适应性差的问题,文中提出了一种数据和模型双驱动的航迹融合算法。该算法主要包含残差提取、残差融合和航迹重建三个部分。残差提取,即模型驱动部分:根据先验知识,建立航迹误差模型,对局部航迹进行近似,并提取其残差作为误差的估计。残差融合,即数据驱动部分:设计了一个多尺度全卷积网络对残差进行融合。航迹重建部分:将网络输出的融合残差还原为融合子航迹,并对连续的多个子航迹进行综合,得到完整的融合航迹。仿真实验表明,该算法不依赖先验信息,融合精度显著优于数据驱动融合算法和传统算法,并具有很好的运动参数和运动模式泛化与适应能力。     

基于多维度特征遥感图像分类方法的研究

为了解决传统高光谱图像分类方法精度低、计算成本高及未能充分利用空-谱信息的问题,本文提出一种基于多维度并行卷积神经网络(multidimensional parallel convolutional neural network,3D-2D-1D PCNN)的高光谱图像分类方法。首先,该算法利用不同维度卷积神经网络(convolutional neural network,CNN)提取高光谱图像信息中的空-谱特征、空间特征及光谱特征;之后,采用相同并行卷积层将组合后的空-谱特征、空间特征及光谱特征进行特征融合;最后,通过线性分类器对高光谱图像信息进行精准分类。本文所提方法不仅可以提取高光谱图像中更深层次的空间特征和光谱特征信息,同时能够将光谱图像不同维度的特征进行融合,减小计算成本。在Indian Pines、Pavia Center和Pavia University数据集上对本文算法和4种传统算法进行对比实验,结果表明,本文算法均得到最优结果,分类精度分别达到了99.210%、99.755%和99.770%。