基于模态相关性学习的细粒度分类

针对单模态细粒度分类方法难以区分图像间细微差异的问题,将多模态融合方法引入到细粒度分类任务中,充分利用多模态数据的相关性和互补性,提出了一种基于模态相关性学习的细粒度分类方法。该方法分为两个阶段,首先考虑到图像和文本数据之间的对应关系,利用它们的匹配程度作为约束来进行模型的预训练;接着,加载上一步得到的网络参数,先提取多模态特征,再利用文本特征指导图像特征的生成;最后,基于融合后的特征进行细粒度分类。该方法在UPMC-Food101、MEP-3M-MEATS和MEP-3M-OUTDOORS数据集上进行训练测试,分别达到91.13%、82.39%和93.17%的准确率。实验结果表明,该方法相对于传统的多模态融合方法具有更好的性能,是一种有效的细粒度分类方法。     

结合迁移学习的轻量级指纹分类模型

目的 目前的指纹分类模型存在操作繁琐、参数较多、所需数据规模大、无法充分利用指纹特征信息等问题,而进行快速准确的指纹分类在大型指纹识别系统中至关重要。方法 传统的机器学习方法大多假设已标注数据与未标注数据的分布是相同的,而迁移学习允许源空间、任务空间在测试集和训练集中的分布是不同的,并且迁移学习仅专注目标任务的训练,使得网络模型根据需求更具个性化。因此,本文提出一种基于迁移学习的轻量级指纹分类模型。该模型结合迁移学习,首先采用梯度估计的方法求取指纹图像的方向场图并且做增强处理;然后将扩展的指纹方向场图数据集用于本文提出的轻量级Finger-SqueezeNet的预训练,使其达到一定的分类效果,从而初步实现网络模型参数的调整;最后保留预训练模型部分的网络参数不变,使用指纹图像数据集NIST-DB4对Finger-SqueezeNet网络进行参数微调（fine tuning）。结果 在使用相同的指纹数据集在本文提出的纯网络模型进行分类训练后发现,未采用迁移学习方法对网络模型进行预训练得到的平均分类结果为93%,而通过预训练后的网络模型可以达到98.45%,最终采用单枚指纹测试的方法得到的测试结果达到95.73%。对比同种类型的方法以及验证标准后可知,本文的指纹分类模型在大幅度减少网络参数的同时仍能达到较高的准确率。结论 采用指纹类内迁移学习方法和轻量级神经网络相结合进行分类,适当利用了指纹特征信息,而且有望使指纹分类模型拓展到移动端。     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

基于卷积神经网络的小样本图像识别方法

为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。     

基于深度稀疏辨别的跨领域图像分类

在图像分类任务中,由于图像背景、光照、拍摄角度等的变化,从源领域上训练的分类模型常常不适用于相关目标领域的图像数据。为此,提出一种基于深度卷积神经网络的迁移学习方法——稀疏辨别迁移模型。该方法通过自适应地学习目标领域辨别性特征分布优化分类函数,同时与特征预处理方法相结合,可获得较好的互补性作用。实验结果表明,与现有的基准与深度迁移方法相比,该方法在Office-Caltech和Office-31 2个标准跨领域分类数据集上均取得了较好的分类性能。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

基于多分支神经网络模型的弱监督细粒度图像分类方法

针对传统基于注意力机制的神经网络不能联合关注局部特征和旋转不变特征的问题,提出一种基于多分支神经网络模型的弱监督细粒度图像分类方法。首先,用轻量级类激活图(CAM)网络定位有潜在语义信息的局部区域,设计可变形卷积的残差网络ResNet-50和旋转不变编码的方向响应网络(ORN);其次,利用预训练模型分别初始化特征网络,并输入原图和以上局部区域分别对模型进行微调;最后,组合三个分支内损失和分支间损失优化整个网络,对测试集进行分类预测。所提方法在CUB-200-2011和FGVC_Aircraft数据集上的分类准确率分别达到87.7%和90.8%,与多注意力卷积神经网络(MA-CNN)方法相比,分别提高了1.2个百分点和0.9个百分点;在Aircraft_2数据集上的分类准确率达到91.8%,比ResNet-50网络提高了4.1个百分点。实验结果表明,所提方法有效提高了弱监督细粒度图像分类的准确率。     

基于迁移学习的加密恶意流量检测方法

现有加密恶意流量检测方法需要利用大量准确标记的样本进行训练,以达到较好的检测效果。但在实际网络环境中,加密流量数据由于其内容不可见而难以进行正确标记。针对上述问题,提出了一种基于迁移学习的加密恶意流量检测方法,首次将基于ImageNet数据集预训练的模型Efficientnet-B0,迁移到加密流量数据集上,保留其卷积层结构和参数,对全连接层进行替换和再训练,利用迁移学习的思想实现小样本条件下的高性能检测。该方法利用端到端的框架设计,能够直接从原始流量数据中提取特征并进行检测和细粒度分类,避免了繁杂的手动特征提取过程。实验结果表明,该方法对正常、恶意流量的二分类准确率能够达到99.87%,加密恶意流量细粒度分类准确率可达到98.88%,并且在训练集中各类流量样本数量减少到100条时,也能够达到96.35%的细粒度分类准确率。     

深度迁移学习在古筝品质分级中的应用

深度学习和迁移学习的兴起为树种识别提供了新方向,然而其在同树种内不同品质间木材识别仍存在挑战。为改善古筝面板品质分级现状,设计了一种深度残差网络模型。首先将数据集进行划分并采用数据增强技术来扩充训练样本,然后将ImageNet上经过预训练的模型迁移到该问题上。为高效提取到板材图像特征,在预训练模型后新增深层特征提取部分,其融合了残差连接和深度可分离卷积,不仅可增强特征重利用率和缓解梯度消失,而且有利于提取到图像深层特征。最后为提升模型在训练过程中的鲁棒性,使用LeakyReLU函数代替ReLU函数避免神经元死亡问题。该方法在泡桐导管图像数据集上测试精度达到了92.8%,对比其他主流方法,该模型可节省古筝品质分级时间,提高识别精度。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

跨层协同注意和通道分组注意的细粒度图像分类

细粒度图像分类的主要挑战在于类间的高度相似性和类内的差异性. 现有的研究多数基于深层的特征而忽略了浅层细节信息, 然而深层的语义特征由于多次卷积和池化操作往往会丢失大量的细节信息. 为了更好地整合浅层和深层的信息, 提出了基于跨层协同注意和通道分组注意的细粒度图像分类方法. 首先, 通过ResNet50加载预训练模型作为骨干网络提取特征, 由最后3个阶段提取的特征以3个分支的形式输出, 每一个分支的特征通过跨层的方式与其余两个分支的特征计算协同注意并交互融合, 其中最后一个阶段的特征经过通道分组注意模块以增强语义特征的学习能力. 模型训练可以高效地以端到端的方式在没有边界框和注释的情况下进行训练, 实验结果表明, 该算法在3个常用细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft上的准确率分别达到了89.5%、94.8%和94.7%.     

基于ECA-Net与多尺度结合的细粒度图像分类方法

针对细粒度图像分类问题提出了一种有效的算法以实现端到端的细粒度图像分类.ECA-Net中ECA(efficient channel attention)模块是一种性能优势显著的通道注意力机制,将其与经典网络ResNet-50进行融合构成新的基础卷积神经网络ResEca;通过物体级图像定位模块与部件级图像生成模块生成物体级图像和部件级图像,并结合原始图像作为网络的输入,构建以ResEca为基础的三支路网络模型Tb-ResEca-Net(three branch of ResEca network).该算法在公有数据集CUB-200-2011、FGVC-aircraft和Stanford cars datasets上进行测试训练,分别取得了89.9％、95.1％和95.3％的准确率.实验结果表明,该算法相较于其他传统的细粒度分类算法具有较高的分类准确率以及较强的鲁棒性,是一种有效的细粒度图像分类方法.     

基于ResNet和迁移学习的古印章文本识别

古印章文本因图像退化与超多分类等特点导致识别难度大,部分字符的标注数据不足造成基于深度学习的模型识别准确率不高,泛化能力差.针对上述问题,提出基于深度残差网络(ResNet)和迁移学习的古印章文本识别方法.使用深度残差网络作为特征提取网络,利用人工合成字符样本作为源域进行预训练.将自建古印章文本识别数据集作为目标域,引...     

基于深度迁移学习的大鼠肝纤维化诊断

针对肝纤维化临床诊断方法具有有创性和传统机器学习方法特征提取的不完全性的缺陷,本文采用深度迁移学习方法利用预训练的ResNet-18和VGGNet-11模型用于肝纤维化分期诊断.使用南方医科大学提供的大鼠肝纤维化核磁共振影像数据集进行不同程度的迁移训练.将两种模型在通过4种不同参数采集的核磁共振影像数据集上,分别使用6种网络迁移配置训练.实验结果表明,使用T1RHO-FA参数采集的核磁共振影像和采用VGGNet-11模型更能提高肝纤维化分期诊断的准确率.同时相对于ResNet-18模型,深度模型迁移学习方法能稳定提升VGGNet-11模型进行肝纤维化分期诊断的准确率和训练速度.     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

基于目标检测算法的FashionAI服装属性识别

随着网络上服装图片数量的快速增长,对于大量的服装进行分类的需求与日俱增.传统的使用手工进行服装图像的语义属性标注并不能完全的表达服装图像中的丰富信息,并且传统的手工设计的特征已经不能满足现实的精度和速度的需求.近年来,深度学习已经应用到计算机视觉方方面面,为基于深度学习的服装分类识别技术奠定了坚实的基础.本文根据已有的数据集DeepFashion构建了三个新的子数据集,进行分类训练的deepfashionkid数据集和进行Faster R-CNN训练的deepfashionVoc数据集和进行Mask R-CNN训练的deepfashionMask数据集.使用deepfashionkid数据集在VGG16上进行预训练得到clothNet模型,进而改进Faster R-CNN的损失函数.并且各自对比了这两种算法使用clothNet预训练的模型与不使用的区别.另外,本文了采用一种新的类似嫁接学习的预训练策略.实验表明,这些训练技巧对于检测精度的提高具有一定的帮助.     

基于迁移学习的水产动物图像识别方法

针对传统水产动物图像识别方法步骤复杂、准确率差、泛化性差,而深度卷积神经网络（DCNN）模型开发难度大等问题,提出一种基于参数迁移策略采用微调方式再训练源模型的方法。首先,对图像进行数据增强等预处理;然后,在修改源模型全连接分类层的基础上,进一步将高层卷积模块的权重设置为可训练以进行自适应调整;最后,以验证集识别率与训练时间作为评估指标,针对不同源模型采用不同的可训练参数占比进行性能实验。实验结果表明,通过再训练得到的图像识别模型准确率可达到97.4%,相比源模型最多可提高20个百分点;在可训练参数占比为75%左右时可得到较理想的性能。通过实验证实了采用微调方法可以在低成本开发条件下得到性能良好的深度神经网络图像识别模型。