基于卷积神经网络的小样本图像识别方法

为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。     

多尺度深层特征加强的CME小样本目标检测模型

针对现有的小样本目标检测模型存在对图像全局语义信息考虑不足、输入图像大小不一而导致检测器性能下降的问题,提出了多尺度深层特征加强的CME小样本目标检测模型。利用大量有标签的基类数据和基于残差跳跃的多层卷积神经网络及多尺度特征增强模块训练一个泛化性良好的模型,经过少量有标签的新类数据和基类数据对模型微调,利用微调后的模型进行目标检测。为验证模型的有效性,使用VOC2007和VOC2012数据集对模型进行训练和评估,相关消融实验证明了引入残差跳跃结构的多层卷积神经网络和多尺度特征增强模块的单独使用和组合使用均可进一步增加模型的准确率。在与6个具有代表性的小样本目标检测模型的对比实验中表明,多尺度深层特征加深的CME比最先进的检测器得分平均提高4.75个百分点。     

基于余弦相似度的边界样本选择方法

卷积神经网络模型的训练通常需要大量的训练样本,导致训练时间过长。针对这一问题,本文提出一种基于余弦相似度的边界样本选择方法,选取边界样本构造训练集。通过该方法分别对MNIST,CIFAR10,SVHN数据集进行样本选择,利用卷积神经网络分类器进行实验研究。实验结果表明：该方法能够保留训练集中的典型样本,剔除冗余样本,从而减少训练样本的数量,缩短网络训练时间,提高网络学习效率。     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于小样本学习的图像分类技术综述

图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模型和图神经网络模型两大类,其中基于卷积神经网络模型的算法包括四种学习范式:迁移学习、元学习、对偶学习...     

基于自适应池化的神经网络的服装图像识别

针对传统池化方式不能提取有效特征值的问题,提出根据池化域的尺寸、池化域内的元素值和网络的训练轮数调整池化结果的自适应池化方法,该算法依据插值原理与最大值池化模型构建函数,以特定函数值作为池化结果,然后利用交叉验证进行模型对比实验。同时提出了小样本调优法以解决目前依靠经验值在全部数据集上验证选取超参数效率较低的问题。在原始数据集上,按照分层抽样的规则抽取小样本,并基于小样本数据集对已编码的超参数组合循环训练并测试,通过对识别率最高的组合解码确定最优超参数。选用DeepFashion数据库进行相关实验,结果显示自适应池化模型的识别率达到83%左右,与最大值池化模型相比提高约2.5%。通过小样本选定超参数,并与随机组合超参数在原始数据集上进行对比实验,结果显示小样本调优法选择的超参数在经验值范围内最优,识别结果为86.98%,与随机组合超参数的平均识别率相比提高了约41.4%。自适应池化方法可以扩展到其他的神经网络中,小样本调优法对高效选取神经网络的超参数提供了依据。     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击。作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击。为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特点,在一次反向传播过程中同时完成样本梯度和参数梯度的计算,可以明显提高训练效率。同时,由于训练用的对抗样本是在目标模型上生成,因此可有效防御白盒攻击;为进一步防御黑盒攻击,克服对抗样本的可转移性,提出增强对抗训练方法。利用多个模型生成样本梯度不一致的对抗样本,增加对抗样本的多样性,提高防御黑盒攻击的能力。通过真实流量数据集USTC-TFC2016上的实验,我们生成对抗样本的网络流量进行模拟攻击,结果表明针对白盒攻击,批次对抗训练可使对抗样本的分类准确率从17.29%提高到75.37%;针对黑盒攻击,增强对抗训练可使对抗样本的分类准确率从26.37%提高到68.39%。由于深度神经网络的黑箱特性,其工作机理和对抗样本产生的原因目前没有一致的认识。下一步工作对CNN的脆弱性机...     

青光眼眼底图像的迁移学习分类方法

针对目前缺少大型公开已标记的青光眼数据集,为了解决小样本学习能力不足、分类精度低等问题,提出一套基于迁移学习的青光眼眼底图像识别系统。对获取的青光眼眼底图像进行去噪、删除多余背景、提取感兴趣区域（ROI）、图像增强等预处理操作。在VGG16网络的基础上,对全连接层进行重新设计,得到一个简化的深度神经网络模型Reduce-VGGNet（R-VGGNet）。R-VGGNet网络在训练过程中,其卷积层与池化层继承VGG16模型在ImageNet数据集上预训练得到权值参数,全连接层的参数则根据青光眼数据集进行自适应调整。针对不同的网络结构和不同的训练策略进行了性能测试以及不同分类方法的对比实验。实验结果表明：基于R-VGGNet网络模型的识别方法提高了判别青光眼患者的准确率,可达91.7%,为临床医生诊断治疗提供了良好的解决方案。     

基于典型样本的卷积神经网络技术

针对传统卷积神经网络训练过程中,对于全量样本直接进行特征提取会带有过多非关键区分特征使得训练存在模型过拟合、训练收敛慢等问题,提出一种基于典型样本的卷积神经网络TSBCNN。通过部分典型样本生成强化因子指导修正CNN训练,在特征提取阶段更加注重关键区分特征部分,有目的地降低网络训练过程中对非关键特征的学习,有效提高网络训练效果。大量实验结果表明,TSBCNN较传统CNN网络收敛速度和分类准确率有所提高,在一定程度上有效减少过拟合。     

基于生成对抗网络的农作物叶片病害识别

当人们使用深度神经网络对图像进行分类时,通常需要大量的训练样本。然而,在实际工作中很难获得足够多的样本来保证神经网络的训练。为了解决这一问题,本文提出一种基于生成式对抗网络的识别方法。其主要思想是通过对现有的GAN网络模型进行改造后训练一个样本生成模型,然后利用神经网络对生成模型生成的数据集进行识别,最后利用迁移学习方法对具有真实数据的神经网络进行微调。为了验证该方法的有效性,本文使用5种作物的叶片进行验证(每个样本500片),其对植物叶片的有无病害识别精度可达90%以上。实验结果表明该方法能在少量样本时提高叶片的识别精度,具有很强的通用性。     

基于卷积神经网络的自适应样本加权脑机接口建模

针对脑机接口系统手动提取特征而产生的信息丢失与过拟合问题,建立了一个纯数据驱动的端到端的卷积神经网络模型.同时,为了解决卷积神经网络（convolutional neural network,CNN）需要大量数据而单人脑电数据量小的问题,建立了一套使用多人数据来建立目标用户模型的方法.通过分析其他人数据对目标个体模型的适应程度,清除那些对于目标模型贡献为负的样本.然后,在CNN网络的训练过程中,使用了一种元学习技术,赋予每一个训练数据一个权值.在训练CNN网络时,每一步网络参数更新之后,元学习器会根据训练集中数据样本对于最终模型的影响,自适应的调整每个样本数据的权值.实验结果表明,所提方法得到了比传统方法更好的分类精度,验证了所提方法的有效性.     

粗糙集-神经网络在作战效能评估中的应用

为了提高作战效能评估的准确度,将粗糙集理论和神经网络引入到作战效能评估研究中,提出了粗糙集与神经网络相结合的作战效能评估方法.应用粗糙集简化神经网络训练样本数据集,在保留重要信息的前提下消除冗余的数据,仿真实验表明评估精度提高了,并且能获得更好的效果.以坦克作战效能为例,构建了坦克的效能评估模型,给出了基于粗糙集和神经...     

Learning from imperfect data

For a supervised learning method, the quality of the training data or the training supervisor is very important in generating reliable neural networks. However, for real world problems, it is not always easy to obtain high quality training data sets. In this research, we propose a learning method for a neural network ensemble model that can be trained with an imperfect training data set, which is a data set containing erroneous training samples. With a competitive training mechanism, the ensemble is able to exclude erroneous samples from the training process, thus generating a reliable neural network. Through the experiment, we show that the proposed model is able to tolerate the existence of erroneous training samples in generating a reliable neural network.The ability of the neural network to tolerate the existence of erroneous samples in the training data lessens the costly task of analyzing and arranging the training data, thus increasing the usability of the neural networks for real world problems.     

基于特征选择的概率神经网络胃癌计算机辅助诊断

应用信噪比和概率神经网络的方法,结合实验数据,提出胃癌分类模型。它是利用已知信息对胃癌样本进行分析和判别。其方法是首先对数据进行分类信息指数信噪比分析,根据分类信息指数信噪比大小排序,然后采用特征向量递增的方法,将特征向量输入概率神经网络进行分析,采用留一法对PNN训练和检测,找出训练效果最好的特征向量子集。这种模型用MATLAB软件实现,具有可操作性,可推广到其它相应的疾病辅助诊断中去。     

面向样本不平衡的网络安全态势要素获取

针对传统的网络安全态势要素获取模型中,当样本分布不平衡时,占比很少的样本（统称小样本）不能被有效检测,准确识别到每一类攻击样本成为研究热点之一。利用深度学习提出了一种面向样本不平衡的要素获取模型,利用卷积神经网络作为基分类器提取网络数据的深层特征,其次使用GAN生成对抗网络扩充小样本的方法,解决样本分布不均衡问题。在扩充后的平衡数据集上采用迁移学习,加快基分类器到适应于小样本的新分类的训练时间。在NSL-KDD数据集上的实验表明,经过生成对抗网络扩充后的数据集,结合迁移学习有效加快了模型训练收敛速度,并有效提高网络安全态势要素获取的分类精度。     

基于卷积神经网络与迁移学习的碳钢石墨化自动评级研究

为实现碳钢石墨化的智能化评级,基于卷积神经网络与迁移学习的方法构建了碳钢金相图像的自动分类模型;首先通过几何变换和像素调整的数据增强方法建立了碳钢石墨化图像数据集;然后采用统一扩展网络宽度、深度和分辨率方式来协调精度与效率的轻量级EfficientNet网络作为主干特征提取网络,构建碳钢石墨化图像评级模型,并在训练阶段利用迁移学习与参数微调的方法来提高模型的训练效率;最后使用测试数据集对模型的分类精度与复杂度进行了验证实验,结果表明该模型能快速准确地对碳钢石墨化程度进行自动评级,在仅需12 MB内存的情况下,便可实现97.01%的评级准确率,单幅金相图像的平均检测时间也仅需10.27 ms,满足现场检测的精度与实时性要求。