基于计算机DCGAN数据增强的YOLOv5光伏电池板热斑检测方法

针对光伏电站巡检过程中,光伏电池板热斑样本少,现有目标识别算法检测精度低的问题,提出一种将深度卷积对抗生成网络DCGAN与YOLOv5目标识别算法相结合的光伏电池板热斑检测方法。该方法通过搭建DCGAN网络进行数据增强,改进YOLOv5网络的数据增强模块,获得数量更充足、特征更丰富的训练数据。对原始图像、常规数据增强和DCGAN数据增强的数据集在YOLOv5网络中进行训练,并对检测模型的精度进行对比。实验结果表明,与常规YOLOv5目标识别模型相比,本文采用DCGAN网络提高了数据集的图像质量,减少因样本过少而引起的训练不充分和热斑检测精度低的问题,平均精度较常规模型提高1.72%。该方法有助于提高光伏电站巡检效率,保障太阳能电池组件正常运行。     

基于GAN的遥感图像协同数据增强方法

针对基于深度学习的分类模型在少样本训练时所遭受的梯度消失、过拟合问题，结合DCGAN和SRGAN特性，提出一种抑制过拟合、提升图像生成质量的DS-GAN协同数据增强算法。通过改进DCGAN生成新的图像，使用改进SRGAN对其进行超分辨率重构，二者协同得到新的超分辨率图像。首先，提出一种软标签函数，代替DCGAN原始固定标签；其次，引入空洞卷积残差块作为SRGAN判别器主结构，同时加入CBAM注意力机制实现权重的再分配；最后，在SRGAN判别器中引入自适应平均池化，降低网络参数量。实验结果表明，使用标准数据集AID和RSOD,经MobileNet V2分类网络进行测验，DS-GAN数据增强方法相较于常规增强和DCGAN增强方法有明显提高。在AID数据集上，准确率分别提升8.01%、9.49%。在RSOD数据集上，准确率分别提升4.76%、1.4%。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

小样本问题下培训弱教师网络的模型蒸馏模型

针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型。首先通过集成学习算法中的引导聚集（Bagging）算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练。实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39%的相对改进;比较自适应增强（AdaBoost）算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍。可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率。     

边缘智能背景下的手写数字识别

随着边缘智能的快速发展,现有手写数字识别卷积网络模型的发展已越来越不适应边缘部署、算力下降的要求,且存在小样本泛化能力较差和网络训练成本较高等问题。借鉴卷积神经网络（CNN）经典结构、Leaky_ReLU算法、dropout算法和遗传算法及自适应和混合池化思想构建了基于LeNet-DL改进网络的手写数字识别模型,分别在大样本数据集MNIST和小样本真实数据集REAL上与LeNet、LeNet+sigmoid、AlexNet等算法进行对比实验。改进网络的大样本识别精度可达99.34%,性能提升约0.83%;小样本识别精度可达78.89%,性能提升约8.34%。实验结果表明,LeNet-DL网络相较于传统CNN在大样本和小样本数据集上的训练成本更低、性能更优且模型泛化能力更强。     

基于GAN-AdaBoost-DT不平衡分类算法的信用卡欺诈分类

针对传统单个分类器在不平衡数据上分类效果有限的问题，基于对抗生成网络（GAN）和集成学习方法，提出一种新的针对二类不平衡数据集的分类方法——对抗生成网络-自适应增强-决策树（GAN-AdaBoost-DT）算法。首先，利用GAN训练得到生成模型，生成模型生成少数类样本，降低数据的不平衡性；其次，将生成的少数类样本代入自适应增强（AdaBoost）模型框架，更改权重，改进AdaBoost模型，提升以决策树（DT）为基分类器的AdaBoost模型的分类性能。使用受测者工作特征曲线下面积（AUC）作为分类评价指标，在信用卡诈骗数据集上的实验分析表明，该算法与合成少数类样本集成学习相比，准确率提高了4.5%，受测者工作特征曲线下面积提高了6.5%；对比改进的合成少数类样本集成学习，准确率提高了4.9%，AUC值提高了5.9%；对比随机欠采样集成学习，准确率提高了4.5%，受测者工作特征曲线下面积提高了5.4%。在UCI和KEEL的其他数据集上的实验结果表明，该算法在不平衡二分类问题上能提高总体的准确率，优化分类器性能。     

结合MAML和Dirichlet过程的小样本点云分类

点云被广泛使用在各种三维应用场景中,但是实际应用中通常存在扫描、标注费时费力等局限性,因此基于小样本数据集的点云分类网络更加符合应用需求.为了有效地提高深度学习分类算法在小样本点云数据集上的分类效果,提出一种针对小样本数据集的点云分类方法.针对训练数据集不平衡问题,首先采用基于相似度依赖的Dirichlet中餐馆过程对数据集进行预处理,在无需人工指定聚类个数的前提下对样本进行重新聚类,以提升分类网络在小样本数据集上的性能;然后在重新聚类后的样本上使用模型无关(model agnostic meta learning, MAML)算法训练PointNet++,达到用少量点云样本就能快速适应新任务的能力.所提方法不但降低了模型对数据量的依赖,提高了模型泛化能力,而且成功地把MAML算法从二维图像分类拓展到三维点云分类中;在Modelnet40数据集上的实验结果表明,与PointNet++相比,该方法的训练时间减少了一半,分类准确率平均提高6.67%,验证了该方法在小样本数据集上的有效性.     

基于自适应池化的神经网络的服装图像识别

针对传统池化方式不能提取有效特征值的问题,提出根据池化域的尺寸、池化域内的元素值和网络的训练轮数调整池化结果的自适应池化方法,该算法依据插值原理与最大值池化模型构建函数,以特定函数值作为池化结果,然后利用交叉验证进行模型对比实验。同时提出了小样本调优法以解决目前依靠经验值在全部数据集上验证选取超参数效率较低的问题。在原始数据集上,按照分层抽样的规则抽取小样本,并基于小样本数据集对已编码的超参数组合循环训练并测试,通过对识别率最高的组合解码确定最优超参数。选用DeepFashion数据库进行相关实验,结果显示自适应池化模型的识别率达到83%左右,与最大值池化模型相比提高约2.5%。通过小样本选定超参数,并与随机组合超参数在原始数据集上进行对比实验,结果显示小样本调优法选择的超参数在经验值范围内最优,识别结果为86.98%,与随机组合超参数的平均识别率相比提高了约41.4%。自适应池化方法可以扩展到其他的神经网络中,小样本调优法对高效选取神经网络的超参数提供了依据。     

基于元学习的小样本数据生成算法

小样本数据存在信息不充足、不完备等问题,缺乏对总体的代表性,导致数据驱动的相关算法精度下降.本文针对小样本问题,提出基于元学习的生成式对抗网络算法进行小样本数据的数据生成.该算法目标是在各种数据生成任务上训练,确定模型最优初始化参数,从而仅使用较少的训练样本解决新的数据生成任务.本文利用水冷磁悬浮机组数据进行数据生成,实验表明,本算法能够在样本不足的条件下确定最优初始化参数,降低了对数据集大小的要求.本文同时进行了真实数据与生成数据混合的故障分类实验,验证了生成数据具有较好的真实性,对故障诊断分析具有较大的帮助.     

基于深度残差生成式对抗网络的样本生成方法

作为样本生成的重要方法之一,生成式对抗网络(GAN)可以根据任意给定数据集中的数据分布生成样本,但它在实际的训练过程中存在生成样本纹理模糊、训练过程不稳定以及模式坍塌等问题.针对以上问题,在深度卷积生成式对抗网络(DCGAN)的基础上,结合残差网络,设计一种基于深度残差生成式对抗网络的样本生成方法RGAN.该样本生成方法利用残差网络和卷积网络分别构建生成模型和判别模型,并结合正负样本融合训练的学习优化策略进行优化训练.其中:深度残差网络可以恢复出丰富的图像纹理;正负样本融合训练的方式可以增加对抗网络的鲁棒性,有效缓解对抗网络训练不稳定和模式坍塌现象的发生.在102 Category Flower Dataset数据集上设计多个仿真实验,实验结果表明RGAN能有效提高生成样本的质量.     

面向中文命名实体识别任务的数据增强

In low-resource natural language processing (NLP) tasks, the existing data is not enough to train an ideal deep learning model. Text data augmentation is an effective method to improve the training effect of such tasks. This paper proposes a group of data augmentation methods based on instance substitution for the task of Chinese named entity recognition. A named entity in the training sample can be replaced by another entity of the same kind without changing the label. The specific algorithms include: 1) crossover substitution between existing entities; 2) synonymous replacement of entity components; 3) automatic generation of Chinese names. These methods are applied to PeopleDailyNER and CLUENER2020 datasets respectively, and the augmentation data is used to train the BERT+CRF model. The experimental results show that the F1 value of the model can be improved by about 10% and 7% respectively on the two datasets with only adding the same amount of augmentation data as the original data under the condition of small samples, and it also has a significant improvement when the training samples increase.     

面向视觉分类模型的投毒攻击

数据投毒攻击中的后门攻击方式的攻击者通过将带有隐藏触发器的样本插入训练集中来操纵训练数据的分布,从而使测试样本错误分类以达到改变模型行为和降低模型性能的目的。而现有触发器的弊端是样本无关性,即无论采用什么触发模式,不同有毒样本都包含相同触发器。因此将图像隐写技术与深度卷积对抗网络（DCGAN）结合,提出一种基于样本的攻击方法来根据灰度共生矩阵生成图像纹理特征图,利用图像隐写技术将目标标签字符嵌入纹理特征图中作为触发器,并将带有触发器的纹理特征图和干净样本拼接成中毒样本,再通过DCGAN生成大量带有触发器的假图。在训练集样本中将原中毒样本以及DCGAN生成的假图混合起来,最终达到投毒者注入少量的中毒样本后,在拥有较高的攻击率同时,保证触发器的有效性、可持续性和隐藏性的效果。实验结果表明,该方法避免了样本无关性的弊端,并且模型精确度达到93.78%,在30%的中毒样本比例下,数据预处理、剪枝防御以及AUROR防御方法对攻击成功率的影响达到最小,攻击成功率可达到56%左右。     

一种基于生成式对抗网络的图像数据扩充方法

针对卷积神经网络(CNN)在数据集(训练集)较小时,易发生过度拟合的现象,提出并实现了一种引入Selu激活函数并结合带参数归一化的Dropout方法的深度卷积生成式对抗网络用于图像增强,生成图像实现数据集扩充,从而解决深度学习图像分类研究中因图像数据不足造成的模型表达能力差、训练时易过度拟合的问题。通过裁剪、旋转、插值、畸变变换等扩充图像集的传统图像增强方法往往只能扩充样式单一甚至信噪比较低的图像,与传统图像增强方法扩充图像集不同,使用生成式对抗网络生成的图像明显区别于原始图像,不仅可以得到数量更多,内容更丰富的高质量图像,数据集扩充效率也得以提升。仿真实验表明,该生成式对抗网络得到了质量相对较高的图像,有效地扩充了数据集。     

基于生成对抗网络的基因数据生成方法

在深度学习中,随着卷积神经网络(CNN)的深度不断增加,进行神经网络训练所需的数据会越来越多,但基因结构变异在大规模基因数据中属于小样本事件,导致变异基因的图像数据十分匮乏,严重影响了CNN的训练效果,造成了基因结构变异检测精度差、假阳性率高等问题.为增加基因结构变异样本数量,提高CNN识别基因结构变异的精度,提出了一...     

基于条件生成式对抗网络的数据增强方法

深度卷积神经网络（CNN）在大规模带有标签的数据集训练下,训练后模型能够取得高的识别率或好的分类效果,而利用较小规模数据集训练CNN模型则通常出现过拟合现象。针对这一问题,提出了一种集成高斯混合模型（GMM）及条件生成式对抗网络（CGAN）的数据增强方法并记作GMM-CGAN。首先,通过围绕核心区域随机滑动采样的方法增加数据集样本数量;其次,假定噪声随机向量服从GMM描述的分布,将它作为CGAN生成器的初始输入,图像标签作为CGAN条件,训练CGAN以及GMM模型的参数;最后,利用已训练CGAN生成符合样本真实分布的新数据集。对包含12种雾型386个样本的天气形势图基准集利用GMM-CGAN方法进行数据增强,增强后的数据集样本数多达38600个,将该数据集训练的CNN模型与仅使用仿射变换增强的数据集及CGAN方法增强的数据集训练的CNN模型相比,实验结果表明,前者的平均分类正确率相较于后两个模型分别提高了18.2%及14.1%,达到89.1%。     

基于深度哈希网络的车型识别方法

针对车型识别任务的特点,设计了一种基于深度哈希网络的车型识别方法,实现了在类间差异不明显、样本量较少的情况下进行车型检索和分类。对数据增广方法进行研究,针对车型数据集的特点,提出了适用于车型识别的数据增广方法,有效提升了小样本车型识别的准确率。深度哈希网络采用改进的HashNet网络来快速学习车辆的二值特征表达,针对深度哈希网络使用全连接层导致参数过多的问题,提出了HashNet-GAP网络,以全局平均池化层替换了HashNet中的部分全连接层。相对于HashNet网络,大幅度减少了参数数量,提升了前向计算速度和网络性能。实验结果表明,该车型识别方法能够对类间差距很小的不同车型进行有效识别,在小样本数据集上取得80.0%的Top1准确率,并且能够显著降低模型的存储消耗和内存消耗。     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.