基于改进DCGAN的数据增强方法

生成对抗网络(generative adversarial network,GAN)往往需要大量的训练数据才能生成高质量图像,而制造业工件训练数据严重匮乏,难以利用传统GAN模型进行数据增广。为此,提出一种能够以小规模工件数据集训练生成高质量工件图像的GAN模型,作为少样本工件数据集的增广方法。对生成器和鉴别器融入自注意力机制,依据工件孔洞分布特点创建注意力掩码与注意力映射进行加权,以提高工件孔洞区域与周围像素点的相关性,在一定程度上减少对大规模训练数据的依赖。重新设计残差结构并应用于生成器,利用上采样和卷积组合的方式改善生成图像的“棋盘格伪影”现象,以提高生成图像的逼真度。损失函数采用Wasserstein距离和特征匹配损失加权相结合的形式。与传统GAN对比,所提模型生成工件图像的FID分数降低至100. 91,SSIM分数提升至0. 906。经所提GAN模型数据增广后,基于YOLOv8算法的工件缺陷检测模型的mAP值提升至92. 7%,可为工业检测训练样本不足提供解决方案。

     

基于注意力引导数据增强的车型识别

车型识别在智能交通系统中发挥着重要作用。受车辆数据不足、车辆类间差异小等因素的影响,传统车型识别方法未充分利用车辆鉴别性区域的特征,导致识别准确率降低。提出一种基于注意力模块引导数据增强的车型识别方法。将ResNet-50作为骨干网络提取车辆特征,同时在网络的每个残差块后均嵌入坐标注意力模块,编码成一对方向感知和位置敏感的注意力图,以增强车辆鉴别性区域的特征表达。在此基础上,利用双线性注意力汇集操作生成增强特征图,通过对增强特征图进行注意力裁剪和注意力擦除,获取具有强鉴别性的增强数据。在Stanford Cars车辆数据集上的实验结果验证了该方法的有效性,结果表明,该方法的车型识别准确率达到94.86%,与RA-CNN、MA-CNN、WS-DAN+Inception-v3等方法相比,能够有效提高车型识别准确率和数据增强效率。     

基于EfficientDet网络的细粒度吸烟行为识别

在实际场景中,因香烟目标过于微小且特征不明显,现有的目标检测算法难以区分类烟物与香烟,导致吸烟行为识别效果差。提出一种基于弱监督细粒度结构与EfficientDet网络的吸烟行为识别算法。采用Edge Boxes算法检测图像块的特征边缘,通过非极大值抑制对边缘进行筛选,形成候选区域块。构建包含物体级筛选器和局部级筛选器的细粒度两级注意力模型,其中物体级筛选器使用改进的EfficientDet网络滤除候选区域的背景噪声,以分类前景物体及特征较强的候选区域,并在局部级筛选器中使用通道注意力卷积块对候选区域进行聚类,筛选出得分最高的像素块。通过融合物体级筛选器与局部级筛选器得到的结果,以准确识别吸烟行为。在BUU-Smoke数据集上的实验结果表明,该算法的吸烟行为识别准确率为93.10%,误检率为3.6%,并且具有较优的鲁棒性和泛化能力。     

基于生成对抗网络的情绪识别数据增强方法

使用深度学习方法构建高准确率的情绪识别模型需要大量的情绪脑电数据。生成对抗网络(GAN)最近在生成逼真的数据方面取得了巨大成功,但一直没有客观的评价指标衡量生成的数据质量,无法保证生成的样本总是有助于分类。针对此问题,提出了一种将带条件和梯度惩罚的生成对抗网络(Conditional Wasserstein GAN-Gradient Penalty, CWGAN-GP)与序列后向选择(Sequential Backword Selection, SBS)相结合的数据增强方法。利用SBS自动从CWGAN-GP生成的人工样本中选择高质量的人工样本加入到训练集中,在DEAP数据集中评估提出的CWGAN-GP-SBS方法。实验结果表明,使用CWGAN-GP-SBS方法得到样本的测试分类准确率相比传统SBS方法平均高出5.86%,说明CWGAN-GP-SBS生成的人工样本可以显著提高情绪识别模型的准确性。     

基于生成对抗网络的人脸表情数据增强方法

基于深度学习的方法已经在人脸表情识别中取得了重大进展,然而人脸表情数据库的规模普遍不大.为了解决数据量不足的问题,提出了一种静态图像数据增强方法.在StarGAN的基础上修改重构误差实现多风格人脸表情图像转换,利用生成器由某一表情下的面部图像生成同一人其他表情的面部图像.在CK+表情库上的实验表明,该方法有利于提高人脸...     

基于FR-ResNet的车辆型号精细识别研究

车辆型号精细识别的关键是提取有区分性的细节特征. 以\"特征重用\"为核心, 以有效提取车辆图像细节特征并进行高效利用为目的, 提出了一种基于残差网络特征重用的深度卷积神经网络模型FR-ResNet (Improved ResNet focusing on feature reuse). 该网络以ResNet残差结构为基础, 分别采用多尺度输入、低层特征在高层中重用和特征图权重学习策略来实现特征重用. 多尺度输入可以防止网络过深导致性能退化以及陷入局部最优; 对各层网络部分加以不同程度的特征重用, 可以加强特征传递, 高效利用特征并降低参数规模; 在中低层网络部分采用特征图权重学习策略, 可以有效抑制冗余特征的比重. 在公开车辆数据集CompCars和StanfordCars上进行实验, 并与其他的网络模型进行比较, 实验结果表明FR-ResNet在车辆型号精细识别任务中对车辆姿态变化和复杂背景干扰等具有鲁棒性, 获得了较高的识别准确率.     

基于语义DCNN特征融合的细粒度车型识别模型

针对深度卷积神经网络模型缺乏对语义信息的表征能力,而细粒度视觉识别中种类间视觉差异微小且多集中在关键的语义部位的问题,提出基于语义信息融合的深度卷积神经网络模型及细粒度车型识别模型.该模型由定位网络和识别网络组成,通过定位网络FasterRCNN获取车辆目标及各语义部件的具体位置;借助识别网络提取目标车辆及各语义部件的特征,再使用小核卷积实现特征拼接和融合;最后经过深层神经网络得到最终识别结果.实验结果表明,文中模型在斯坦福BMW-10数据集的识别准确率为78.74%,高于VGG网络13.39%;在斯坦福cars-197数据集的识别准确率为85.94%,其迁移学习模型在BMVC car-types数据集的识别准确率为98.27%,比该数据集目前最好的识别效果提高3.77%;该模型避免了细粒度车型识别对于车辆目标及语义部件位置的依赖,并具有较高的识别准确率及通用性.     

生成对抗网络辅助学习的舰船目标精细识别

针对近岸舰船目标细粒度识别的难题,提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船目标识别框架.通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本,来辅助分类子网络学习样本空间的流形分布,从而增强细粒度的类别间判别能力.在细粒度类别的近岸舰船数据集上,引入生成对抗网络后的算法识别准确率得到较大提升,平...     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

基于深度强化学习的监控视频车辆型号精细识别研究

为了解决传统监控视频车辆型号精细识别存在误差较大的问题,提出了一种新的基于深度强化学习的监控视频车辆型号精细识别方法。通过聚类分析方法提取监控视频关键帧图像,并对关键帧图像进行最临近插值处理,对插值后图像做一次开运算与一次闭运算,即可获得图像中车辆的大致轮廓,得到车辆识别数据集。通过深度强化学习构建一个深度可分离卷积模型,输入待识别数据集进行模型的训练学习,完成监控视频车辆型号精细识别。实验结果表明,设计方法识别不同车辆型号的准确率高达95.16%,说明该方法具备较高的识别精度,对于交通管理和城市交通发展具有积极的推动作用。     

使用孪生注意力机制的生成对抗网络的研究

生成对抗网络(GAN)能够生成逼真的图像,已成为生成模型中的一个研究热点。针对生成对抗网络无法有效提取图像局部与全局特征间依赖关系以及各类别间的依赖关系,提出一种用于生成对抗网络的孪生注意力模型(TAGAN)。以孪生注意力机制为驱动,通过模拟局部与全局特征间的依赖关系以及各类别间依赖关系,对真实自然图像建模,创建逼真的非真实图像。孪生注意力机制包含特征注意力模型和通道注意力模型,特征注意力模型通过有选择地聚合特征,学习相似特征间的关联性,通道注意力模型通过整合各通道维度的相关特征,学习各通道的内部依赖关系。在MNIST、CIFAR10和CelebA64数据集上验证了所提出模型的有效性。     

融合对抗学习的因果关系抽取

因果关系抽取在事件预测、情景生成、问答以及文本蕴涵等任务上都有重要的应用价值.但多数现有的因果关系抽取方法都需要人工定义模式和约束,且严重依赖知识库.为此,本文利用生成式对抗网络（Generative adversarial networks,GAN）的对抗学习特性,将带注意力机制的双向门控循环单元神经网络（Bidirectional gated recurrent units networks,BGRU）与对抗学习相融合,通过重定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果表明,与当前用于因果关系抽取的方法相比较,该方法表现出更优的抽取效果.     

基于半监督编码生成对抗网络的图像分类模型

在实际应用中,为分类模型提供大量的人工标签越来越困难,因此,近几年基于半监督的图像分类问题获得了越来越多的关注.而大量实验表明,在生成对抗网络(Generative adversarial network, GANs)的训练过程中,引入少量的标签数据能获得更好的分类效果,但在该类模型的框架中并没有考虑用于提取图像特征的结构,为了进一步利用其模型的学习能力,本文提出一种新的半监督分类模型.该模型在原生成对抗网络模型中添加了一个编码器结构,用于直接提取图像特征,并构造了一种新的半监督训练方式,获得了突出的分类效果.本模型分别在标准的手写体识别数据库MNIST、街牌号数据库SVHN和自然图像数据库CIFAR-10上完成了数值实验,并与其他半监督模型进行了对比,结果表明本文所提模型在使用少量带标数据情况下得到了更高的分类精度.     

基于SAU-NetDCGAN的天气云图生成方法

天文台天气监测系统对天气云图存在巨大需求。为解决传统的生成对抗网络在扩充天气云图数据集时模型不稳定以及图像特征丢失等问题,提出一种基于SAU-NetDCGAN的双层嵌入式对抗网络天气云图生成方法,该方法由两层网络相互嵌套组成。首先,第一层嵌入式网络是将U型网络添加到生成对抗式网络的生成器中,该网络作为基础架构,利用编码器与解码器之间的跳跃连接增强图像的边缘特征恢复能力;接着,第二层嵌入式网络是将简化参数注意力机制（simplify-attention,SA）添加到U型网络中,该注意力机制通过简化参数降低了模型复杂度,有效地改善了图像暗部特征丢失的问题;最后设计了一种新的权重计算方式,加强了各特征之间的联系,增加了对图像细节纹理特征的提取。实验结果表明,该方法生成的图像在清晰度、色彩饱和度上与传统的生成对抗网络相比图像质量更好,在峰值信噪比、结构相似性的评价指标下分别提高了27.06 dB和 0.606 5。     

判别增强的生成对抗模型在文本至图像生成中的研究与应用

目前大部分基于生成对抗网络GAN的文本至图像生成算法着眼于设计不同模式的注意力生成模型,以提高图像细节的刻画与表达,但忽略了判别模型对局部关键语义的感知,以至于生成模型可能生成较差的图像细节“欺骗“判别模型。提出了判别语义增强的生成对抗网络DE-GAN模型,试图在判别模型中设计词汇-图像判别注意力模块,增强判别模型对关键语义的感知和捕捉能力,驱动生成模型生成高质量图像细节。实验结果显示,在CUB-Bird数据集上,DE-GAN在IS指标上达到了4.70,相比基准模型提升了4.2%,达到了较高的性能表现。     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

基于改进生成对抗网络的谣言检测方法

传统谣言检测算法存在提取文本语义、关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。为解决上述问题,该文提出一种改进的生成对抗网络模型(TGBiA)用于谣言检测,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力。训练过程中的生成器通过Transformer结构代替单一的RNN网络,实现语义的提取和特征的学习,同时,在训练过程中的判别器采用基于双向长短期记忆单元的深度网络分类模型,并引入注意力机制来提升对较长时间序列谣言的判断能力。在公开的微博和Twitter数据集上的实验结果表明,该文提出的方法比其他现有方法检测效果更好,鲁棒性更强。     

基于生成对抗网络与特征融合的多尺度音频序列生成方法

音频数据规模不足是语音识别过程中的一个常见问题,通过较少的训练数据训练得到的语音识别模型效果难以得到保证。因此,提出一种基于生成对抗网络与特征融合的多尺度音频序列生成方法(multi-scale audio sequence GAN,MAS-GAN),包含多尺度音频序列生成器和真伪—类别判别器。生成器通过3个上采样子网络学习音频序列不同时域和频域的特征,再将不同尺度的特征融合成伪音频序列;判别器通过辅助分类器将生成的伪数据和真实数据区分开,同时指导生成器生成各类别的数据。实验表明,与目前主流的音频序列生成方法相比,所提方法的IS和FID分数分别提高了6.78%和3.75%,可以生成更高质量的音频序列;同时通过在SC09数据集上进行分类实验来评估生成音频序列的质量,所提方法的分类准确率比其他方法高2.3%。     

基于注意力机制的高容量通用图像隐写模型

随着深度学习与隐写技术的发展,深度神经网络在图像隐写领域的应用越发广泛,尤其是图像嵌入图像这一新兴的研究方向.主流的基于深度神经网络的图像嵌入图像隐写方法需要将载体图像和秘密图像一起输入隐写模型生成含密图像,而最近的研究表明,隐写模型仅需要秘密图像作为输入,然后将模型输出的含密扰动添加到载体图像上,即可完成秘密图像的嵌入过程.这种不依赖载体图像的嵌入方式极大地扩展了隐写的应用场景,实现了隐写的通用性.但这种嵌入方式目前仅验证了秘密图像嵌入和恢复的可行性,而对隐写更重要的评价标准,即隐蔽性,未进行考虑和验证.提出一种基于注意力机制的高容量通用图像隐写模型USGAN,利用注意力模块, USGAN的编码器可以在通道维度上对秘密图像中像素位置的扰动强度分布进行调整,从而减小含密扰动对载体图像的影响.此外,利用基于CNN的隐写分析模型作为USGAN的目标模型,通过与目标模型进行对抗训练促使编码器学习生成含密对抗扰动,从而使含密图像同时成为攻击隐写分析模型的对抗样本.实验结果表明,所提模型不仅可以实现不依赖载体图像的通用嵌入方式,还进一步提高了隐写的隐蔽性.     

基于注意力及生成对抗网络的遥感影像目标检测

针对传统目标检测算法在环境多变、背景复杂、目标聚集、小目标过多的航空遥感影像目标检测上效果不理想的问题, 本文提出了一种基于注意力机制及生成对抗网络的遥感影像目标检测模型Attention-GAN-Mask R-CNN. 该模型将注意力、生成对抗网络和Mask R-CNN结合起来, 用以解决遥感影像目标检测中存在的问题. 实验结果表明, 在复杂的遥感影像数据集中, 该方法提升了目标检测的效率和准确率.