基于注意力引导数据增强的车型识别

车型识别在智能交通系统中发挥着重要作用。受车辆数据不足、车辆类间差异小等因素的影响,传统车型识别方法未充分利用车辆鉴别性区域的特征,导致识别准确率降低。提出一种基于注意力模块引导数据增强的车型识别方法。将ResNet-50作为骨干网络提取车辆特征,同时在网络的每个残差块后均嵌入坐标注意力模块,编码成一对方向感知和位置敏感的注意力图,以增强车辆鉴别性区域的特征表达。在此基础上,利用双线性注意力汇集操作生成增强特征图,通过对增强特征图进行注意力裁剪和注意力擦除,获取具有强鉴别性的增强数据。在Stanford Cars车辆数据集上的实验结果验证了该方法的有效性,结果表明,该方法的车型识别准确率达到94.86%,与RA-CNN、MA-CNN、WS-DAN+Inception-v3等方法相比,能够有效提高车型识别准确率和数据增强效率。     

基于EfficientDet网络的细粒度吸烟行为识别

在实际场景中,因香烟目标过于微小且特征不明显,现有的目标检测算法难以区分类烟物与香烟,导致吸烟行为识别效果差。提出一种基于弱监督细粒度结构与EfficientDet网络的吸烟行为识别算法。采用Edge Boxes算法检测图像块的特征边缘,通过非极大值抑制对边缘进行筛选,形成候选区域块。构建包含物体级筛选器和局部级筛选器的细粒度两级注意力模型,其中物体级筛选器使用改进的EfficientDet网络滤除候选区域的背景噪声,以分类前景物体及特征较强的候选区域,并在局部级筛选器中使用通道注意力卷积块对候选区域进行聚类,筛选出得分最高的像素块。通过融合物体级筛选器与局部级筛选器得到的结果,以准确识别吸烟行为。在BUU-Smoke数据集上的实验结果表明,该算法的吸烟行为识别准确率为93.10%,误检率为3.6%,并且具有较优的鲁棒性和泛化能力。     

基于生成对抗网络的情绪识别数据增强方法

使用深度学习方法构建高准确率的情绪识别模型需要大量的情绪脑电数据。生成对抗网络(GAN)最近在生成逼真的数据方面取得了巨大成功,但一直没有客观的评价指标衡量生成的数据质量,无法保证生成的样本总是有助于分类。针对此问题,提出了一种将带条件和梯度惩罚的生成对抗网络(Conditional Wasserstein GAN-Gradient Penalty, CWGAN-GP)与序列后向选择(Sequential Backword Selection, SBS)相结合的数据增强方法。利用SBS自动从CWGAN-GP生成的人工样本中选择高质量的人工样本加入到训练集中,在DEAP数据集中评估提出的CWGAN-GP-SBS方法。实验结果表明,使用CWGAN-GP-SBS方法得到样本的测试分类准确率相比传统SBS方法平均高出5.86%,说明CWGAN-GP-SBS生成的人工样本可以显著提高情绪识别模型的准确性。     

基于FR-ResNet的车辆型号精细识别研究

车辆型号精细识别的关键是提取有区分性的细节特征. 以"特征重用"为核心, 以有效提取车辆图像细节特征并进行高效利用为目的, 提出了一种基于残差网络特征重用的深度卷积神经网络模型FR-ResNet (Improved ResNet focusing on feature reuse). 该网络以ResNet残差结构为基础, 分别采用多尺度输入、低层特征在高层中重用和特征图权重学习策略来实现特征重用. 多尺度输入可以防止网络过深导致性能退化以及陷入局部最优; 对各层网络部分加以不同程度的特征重用, 可以加强特征传递, 高效利用特征并降低参数规模; 在中低层网络部分采用特征图权重学习策略, 可以有效抑制冗余特征的比重. 在公开车辆数据集CompCars和StanfordCars上进行实验, 并与其他的网络模型进行比较, 实验结果表明FR-ResNet在车辆型号精细识别任务中对车辆姿态变化和复杂背景干扰等具有鲁棒性, 获得了较高的识别准确率.     

基于语义DCNN特征融合的细粒度车型识别模型

针对深度卷积神经网络模型缺乏对语义信息的表征能力,而细粒度视觉识别中种类间视觉差异微小且多集中在关键的语义部位的问题,提出基于语义信息融合的深度卷积神经网络模型及细粒度车型识别模型.该模型由定位网络和识别网络组成,通过定位网络FasterRCNN获取车辆目标及各语义部件的具体位置;借助识别网络提取目标车辆及各语义部件的特征,再使用小核卷积实现特征拼接和融合;最后经过深层神经网络得到最终识别结果.实验结果表明,文中模型在斯坦福BMW-10数据集的识别准确率为78.74%,高于VGG网络13.39%;在斯坦福cars-197数据集的识别准确率为85.94%,其迁移学习模型在BMVC car-types数据集的识别准确率为98.27%,比该数据集目前最好的识别效果提高3.77%;该模型避免了细粒度车型识别对于车辆目标及语义部件位置的依赖,并具有较高的识别准确率及通用性.     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

基于生成对抗网络的人脸表情数据增强方法

基于深度学习的方法已经在人脸表情识别中取得了重大进展,然而人脸表情数据库的规模普遍不大。为了解决数据量不足的问题,提出了一种静态图像数据增强方法。在StarGAN的基础上修改重构误差实现多风格人脸表情图像转换,利用生成器由某一表情下的面部图像生成同一人其他表情的面部图像。在CK+表情库上的实验表明,该方法有利于提高人脸表情识别模型的识别率和泛化能力,同时对解决数据量不平衡的问题也有借鉴作用。     

生成对抗网络辅助学习的舰船目标精细识别

针对近岸舰船目标细粒度识别的难题,提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船目标识别框架。通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本,来辅助分类子网络学习样本空间的流形分布,从而增强细粒度的类别间判别能力。在细粒度类别的近岸舰船数据集上,引入生成对抗网络后的算法识别准确率得到较大提升,平均识别精度提升了2%。消融实验结果表明,利用生成样本辅助训练分类子网络可以有效地提升舰船目标的细粒度识别精度。     

基于深度强化学习的监控视频车辆型号精细识别研究

为了解决传统监控视频车辆型号精细识别存在误差较大的问题,提出了一种新的基于深度强化学习的监控视频车辆型号精细识别方法。通过聚类分析方法提取监控视频关键帧图像,并对关键帧图像进行最临近插值处理,对插值后图像做一次开运算与一次闭运算,即可获得图像中车辆的大致轮廓,得到车辆识别数据集。通过深度强化学习构建一个深度可分离卷积模型,输入待识别数据集进行模型的训练学习,完成监控视频车辆型号精细识别。实验结果表明,设计方法识别不同车辆型号的准确率高达95.16%,说明该方法具备较高的识别精度,对于交通管理和城市交通发展具有积极的推动作用。     

基于三维注意力机制的车辆重识别算法

为解决套牌车识别难度大的问题,通过深度学习的技术,基于ResNet-50,结合通道注意力机制和位置注意力机制,设计了一种三维注意力机制对近似车辆进行精确识别;解决了当前大部分注意力算法都关注于一维的通道注意力和二维的位置注意力,而处理的图像数据是三维的,不能将注意力集中在所有需要关注的区域,造成部分关键信息遗失的问题;该三维注意力机制在多种视觉任务下均有很好的效果,在Cifar100数据集上,相比SENet有1.12%的提升,在PKU VehicleID数据集上,相比SENet平均有2%的提升。     

基于SAU-NetDCGAN的天气云图生成方法

天文台天气监测系统对天气云图存在巨大需求。为解决传统的生成对抗网络在扩充天气云图数据集时模型不稳定以及图像特征丢失等问题,提出一种基于SAU-NetDCGAN的双层嵌入式对抗网络天气云图生成方法,该方法由两层网络相互嵌套组成。首先,第一层嵌入式网络是将U型网络添加到生成对抗式网络的生成器中,该网络作为基础架构,利用编码器与解码器之间的跳跃连接增强图像的边缘特征恢复能力;接着,第二层嵌入式网络是将简化参数注意力机制（simplify-attention,SA）添加到U型网络中,该注意力机制通过简化参数降低了模型复杂度,有效地改善了图像暗部特征丢失的问题;最后设计了一种新的权重计算方式,加强了各特征之间的联系,增加了对图像细节纹理特征的提取。实验结果表明,该方法生成的图像在清晰度、色彩饱和度上与传统的生成对抗网络相比图像质量更好,在峰值信噪比、结构相似性的评价指标下分别提高了27.06 dB和 0.606 5。     

基于特征融合卷积神经网络的车型精细识别

为解决现有车型精细识别方法中存在识别精度低、模型参数规模大等问题,提出一种基于特征融合卷积神经网络的车型精细识别方法。设计两个独立网络(UpNet、DownNet)分别用于提取车辆正面图像的上部和下部特征,在融合网络(FusionNet)中进行特征融合,实现车型的精细识别。相较于现有的车型精细识别方法,该方法在提高识别精度的同时,有效压缩了模型参数规模。在基准数据集CompCars下进行大量实验的结果表明,该方法的识别精度可达98.94%,模型参数大小仅为4.9MB。     

使用孪生注意力机制的生成对抗网络的研究

生成对抗网络(GAN)能够生成逼真的图像,已成为生成模型中的一个研究热点。针对生成对抗网络无法有效提取图像局部与全局特征间依赖关系以及各类别间的依赖关系,提出一种用于生成对抗网络的孪生注意力模型(TAGAN)。以孪生注意力机制为驱动,通过模拟局部与全局特征间的依赖关系以及各类别间依赖关系,对真实自然图像建模,创建逼真的非真实图像。孪生注意力机制包含特征注意力模型和通道注意力模型,特征注意力模型通过有选择地聚合特征,学习相似特征间的关联性,通道注意力模型通过整合各通道维度的相关特征,学习各通道的内部依赖关系。在MNIST、CIFAR10和CelebA64数据集上验证了所提出模型的有效性。     

基于改进YOLOv5s的离线手写数学符号识别

离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别,对离线表达式识别的其他环节未有任何帮助,反而会限制表达式识别,提出一种改进YOLOv5s的离线符号识别方法。首先,根据符号图像小的特点,用生成对抗网络(GAN)进行数据增强;其次,从符号类别的角度分析,在YOLOv5s模型中引入空间注意力机制,利用全局最大值和全局平均值池化,扩大类别间的差异特征;最后,从符号自身角度分析,引入双向长短期记忆网络(BiLSTM)对符号特征矩阵进行处理,使符号特征具有上下相关联的信息。实验结果表明：改进后的YOLOv5s取得较好离线符号识别效果,有92.47%的识别率,与其他方法进行对比,证明了其有效性和稳健性。同时,能有效避免离线数学表达式识别中错误累积的问题,且能为表达式的结构分析提供有效依据。     

基于多任务卷积神经网络的车辆多属性识别

细粒度车辆识别极具挑战性,尤其在两辆车的外型差异及其细微的时候。通过车辆的附加属性能够提高车辆识别效果,但一般的神经网络模型忽略了附加属性间的联系,提出一种基于改进的triplet loss作为损失函数的车辆多属性学习的卷积神经网络,用于实现细粒度车辆多属性识别。具体而言,通过对传统神经网络结构的改变,将车辆识别问题转化为多属性学习问题。对三元组损失函数进行改进用于训练网络以实现细粒度车辆识别。同时,创建了一个车辆多属性数据集并完成训练工作,结果显示了该方法的潜力。     

面向类内差距表情的深度学习识别

目的 为解决真实环境中由类内差距引起的面部表情识别率低及室内外复杂环境对类内差距较大的面部表情识别难度大等问题,提出一种利用生成对抗网络（generative adversarial network,GAN）识别面部表情的方法。方法 在GAN生成对抗的思想下,构建一种IC-GAN（intra-class gap GAN）网络结构,使用卷积组建编码器、解码器对自制混合表情图像进行更深层次的特征提取,使用基于动量的Adam（adaptive moment estimation）优化算法进行网络权重更新,重点针对真实环境面部表情识别过程中的类内差距较大的表情进行识别,使其更好地适应类内差异较大的任务。结果 基于Pytorch环境,在自制的面部表情数据集上进行训练,在面部表情验证集上进行测试,并与深度置信网络（deep belief network,DBN）和GoogLeNet网络进行对比实验,最终IC-GAN网络的识别结果比DBN网络和GoogLeNet网络分别提高11%和8.3%。结论 实验验证了IC-GAN在类内差距较大的面部表情识别中的精度,降低了面部表情在类内差距较大情况下的误识率,提高了系统鲁棒性,为面部表情的生成工作打下了坚实的基础。     

基于边缘学习的低分辨率图像识别算法

由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生成对抗网络生成低分辨率图像的幻想边缘,该边缘与高分辨率图像边缘相近;再将该低分辨图像的生成边缘信息作为先验信息融合到识别网络中对低分辨率图像进行识别。在MNIST、EMNIST和Fashion-mnist三个数据集上分别进行实验,结果表明,将低分辨图像的幻想边缘信息融合到识别网络中可以提高低分辨率图像的识别率。     

基于注意力机制的3D车辆检测算法

3D车辆检测是自动驾驶场景中的一个关键问题,涉及到3D目标检测与目标分类。目前的3D检测与分类网络对于所有输入的点云数据一视同仁,但在实际检测过程中,点云中不同点对于检测的重要程度可能并不相同。为了得到更好的检测结果,通过引入注意力机制来得到不同点的特征的权重,从而在回归时让部分点的特征得到更多的重视。实验表明,该算法在保证实时效率的前提下,与现有算法相比,具有更高的准确度。     

融合注意力机制的模糊图像多尺度复原

目的 去模糊任务通常难以进行对图像纹理细节的学习,所复原图像的细节信息不丰富,图像边缘不够清晰,并且需要耗费大量时间。本文通过对图像去模糊方法进行分析,同时结合深度学习和对抗学习的方法,提出一种新型的基于生成对抗网络(generative adversarial network, GAN)的模糊图像多尺度复原方法。方法 使用多尺度级联网络结构,采用由粗到细的策略对模糊图像进行复原,增强去模糊图像的纹理细节;同时采用改进的残差卷积结构,在不增加计算量的同时,加入并行空洞卷积模块,增加了感受野,获得更大范围的特征信息;并且加入通道注意力模块,通过对通道之间的相关性进行建模,加强有效特征权重,并抑制无效特征;在损失函数方面,结合感知损失(perceptual loss)以及最小均方差(mean squared error, MSE)损失,保证生成图像和清晰图像内容一致性。结果 通过全参考图像质量评价指标峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity,SSIM)以及复原时间来评价算法优劣。与其他方法的对比结...