结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

构建并行卷积神经网络的表情识别算法

目的 表情识别在商业、安全、医学等领域有着广泛的应用前景,能够快速准确地识别出面部表情对其研究与应用具有重要意义。传统的机器学习方法需要手工提取特征且准确率难以保证。近年来,卷积神经网络因其良好的自学习和泛化能力得到广泛应用,但还存在表情特征提取困难、网络训练时间过长等问题,针对以上问题,提出一种基于并行卷积神经网络的表情识别方法。方法 首先对面部表情图像进行人脸定位、灰度统一以及角度调整等预处理,去除了复杂的背景、光照、角度等影响,得到了精确的人脸部分。然后针对表情图像设计一个具有两个并行卷积池化单元的卷积神经网络,可以提取细微的表情部分。该并行结构具有3个不同的通道,分别提取不同的图像特征并进行融合,最后送入SoftMax层进行分类。结果 实验使用提出的并行卷积神经网络在CK+、FER2013两个表情数据集上进行了10倍交叉验证,最终的结果取10次验证的平均值,在CK+及FER2013上取得了94.03%与65.6%的准确率。迭代一次的时间分别为0.185 s和0.101 s。结论 为卷积神经网络的设计提供了一种新思路,可以在控制深度的同时扩展广度,提取更多的表情特征。实验结果表明,针对数量、分辨率、大小等差异较大的表情数据集,该网络模型均能够获得较高的识别率并缩短训练时间。     

SAR图像目标识别的卷积神经网模型

目的 合成孔径雷达图像目标识别可以有效提高合成孔径雷达数据的利用效率。针对合成孔径雷达图像目标识别滤波处理耗时长、识别精度不高的问题,本文提出一种卷积神经网络模型应用于合成孔径雷达图像目标识别。方法 首先,针对合成孔径雷达图像特点设计特征提取部分的网络结构;其次,代价函数中引入L2范数提高模型的抗噪性能和泛化性;再次,全连接层使用Dropout减小网络的运算量并提高泛化性;最后研究了滤波对于网络模型的收敛速度和准确率的影响。结果 实验使用美国运动和静止目标获取与识别数据库,10类目标识别的实验结果表明改进后的卷积神经网络整体识别率（包含变体）由93.76%提升至98.10%。通过设置4组对比实验说明网络结构的改进和优化的有效性。卷积神经网络噪声抑制实验验证了卷积神经网络的特征提取过程对于SAR图像相干斑噪声有抑制作用,可以省去耗时的滤波处理。结论 本文提出的卷积神经网络模型提高了网络的准确率、泛化性,无需耗时的滤波处理,是一种合成孔径雷达图像目标识别的有效方法。     

嵌入双尺度分离式卷积块注意力模块的口罩人脸姿态分类

目的 针对口罩遮挡的人脸姿态分类新需求,为了提高基于卷积神经网络的人脸姿态分类效率和准确率,提出了一个轻量级卷积神经网络用于口罩人脸姿态分类。方法 本文设计的轻量级卷积神经网络的核心为双尺度可分离注意力卷积单元。该卷积单元由3×3和5×5两个尺度的深度可分离卷积并联而成,并且将卷积块注意力模块(convolutional block attention module,CBAM)的空间注意力模块(spatial attention module,SAM)和通道注意力模块(channel attention module,CAM)分别嵌入深度(depthwise,DW)卷积和点(pointwise,PW)卷积中,针对性地对DW卷积及PW卷积的特征图进行调整。同时对SAM模块补充1×1的点卷积挤压结果增强其对空间信息的利用,形成更加有效的注意力图。在保证模型性能的前提下,控制构建网络的卷积单元通道数和单元数,并丢弃全连接层,采用卷积层替代,进一步轻量化网络模型。结果 实验结果表明,本文模型的准确率较未改进SAM模块分离嵌入CBAM的模型、标准方式嵌入CBAM的模型和未嵌入注意力模块的模型分别提升了2.86%、6.41% 和12.16%。采用双尺度卷积核丰富特征,在有限的卷积单元内增强特征提取能力。与经典卷积神经网络对比,本文设计的模型仅有1.02 MB的参数量和24.18 MB的每秒浮点运算次数(floating-point operations per second,FLOPs),大幅轻量化了模型并能达到98.57%的准确率。结论 本文设计了一个轻量高效的卷积单元构建网络模型,该模型具有较高的准确率和较低的参数量及计算复杂度,提高了口罩人脸姿态分类模型的效率和准确率。     

复杂背景下的手势识别

目的 手势识别是人机交互领域的热点问题。针对传统手势识别方法在复杂背景下识别率低,以及现有基于深度学习的手势识别方法检测时间长等问题,提出了一种基于改进TinyYOLOv3算法的手势识别方法。方法 对TinyYOLOv3主干网络重新进行设计,增加网络层数,从而确保网络提取到更丰富的语义信息。使用深度可分离卷积代替传统卷积,并对不同网络层的特征进行融合,在保证识别准确率的同时,减小网络模型的大小。采用CIoU（complete intersection over union）损失对原始的边界框坐标预测损失进行改进,将通道注意力模块融合到特征提取网络中,提高了定位精度和识别准确率。使用数据增强方法避免训练过拟合,并通过超参数优化和先验框聚类等方法加快网络收敛速度。结果 改进后的网络识别准确率达到99.1%,网络模型大小为27.6 MB,相比原网络（TinyYOLOv3）准确率提升了8.5%,网络模型降低了5.6 MB,相比于YOLO（you only look once）v3和SSD（single shot multibox detector）300算法,准确率略有降低,但网络模型分别减小到原来的1/8和1/3左右,相比于YOLO-lite和MobileNet-SSD等轻量级网络,准确率分别提升61.12%和3.11%。同时在自制的复杂背景下的手势数据集对改进后的网络模型进行验证,准确率达到97.3%,充分证明了本文算法的可行性。结论 本文提出的改进Tiny-YOLOv3手势识别方法,对于复杂背景下的手势具有较高的识别准确率,同时在检测速度和模型大小方面都优于其他算法,可以较好地满足在嵌入式设备中的使用要求。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

卷积神经网络在掌纹识别中的性能评估

目的 掌纹识别技术作为一种新兴的生物特征识别技术越来越受到广泛重视。深度学习是近10年来人工智能领域取得的重要突破。但是,基于深度学习的掌纹识别相关研究还比较初步,尤其缺乏深入的分析和讨论,且已有的工作使用的都是比较简单的神经网络模型。为此,本文使用多种卷积神经网络对掌纹识别进行性能评估。方法 选取比较典型的8种卷积神经网络模型,在5个掌纹数据库上针对不同网络模型、学习率、网络层数、训练数据量等进行性能评估,展开实验,并与经典的传统掌纹识别方法进行比较。结果 在不同卷积神经网络识别性能评估方面,ResNet和DenseNet超越了其他网络,并在PolyU M_B库上实现了100%的识别率。针对不同学习率、网络层数、训练数据量的实验发现,5×10^-5为比较合适的识别率;网络层数并非越深越好,VGG-16与VGG-19的识别率相当,ResNet层数由18层逐渐增加到50层,识别率则逐渐降低;参与网络训练的数据量总体来说越多越好。对比传统的非深度学习方法,卷积神经网络在识别效果方面还存在一定差距。结论 实验结果表明,对于掌纹识别,卷积神经网络也能获得较好的识别效果,但由于训练数据量不充分等原因,与传统算法的识别性能还有差距。基于卷积神经网络的掌纹识别研究还需要进一步深入开展。     

不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

新型雷达辐射源识别

目的 雷达辐射源识别是指先提取雷达辐射源信号特征,再将特征输入分类器进行识别。随着电子科技水平的提高,各种干扰技术应用于雷达辐射源信号中,使得信号个体特征差异越来越不明显,仅靠传统的模板匹配、分类器设计、决策匹配等辐射源识别技术难以提取信号可辨性特征。针对这一问题,利用深度学习良好的数据解析能力,提出了一种基于卷积神经网络的辐射源识别方法。方法 根据雷达辐射源信号的特点,对未知辐射源信号提取频域、功率谱、信号包络、模糊函数代表性切片等传统域特征,从中获得有效的训练样本特征集合,利用卷积神经网络自动获取训练样本深层个体特征得到辐射源识别模型,将其用于所有测试样本中,获得辐射源识别结果。结果 在不同域特征下对卷积神经网络的识别性能进行测试实验,并将本文方法与基于机器学习和基于深度强化学习的深度Q网络模型（depth Q network,DQN）识别算法进行对比,结果表明,当卷积神经网络的输入为频域特征时,本文方法的识别准确率达100%,相比支持向量机（support vector machine,SVM）提高了0.9%,当输入为模糊函数切片特征和频域时,本文方法的平均识别准确率与SVM模型、极限学习机（extreme learning machine,ELM）分类器和DQN算法相比,分别提高了16.13%、1.87%和0.15%。结论 实验结果表明本文方法能有效提高雷达辐射源信号的识别准确率。     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

增强可分离卷积通道特征的表情识别研究

针对目前人脸表情识别准确率不高、网络模型参数复杂等问题,提出一种增强可分离卷积通道特征的人脸表情识别研究方法。设计了一种轻量型卷积神经网络结构提取表情特征,在卷积层中采用深度可分离卷积减少网络参数;引入了压缩激发模块,对不同通道的特征进行权重分配,在不同的卷积层采用不同的压缩率来增强网络对人脸表情的特征提取能力;将提取到的特征送入分类器实现人脸表情分类,在CK+和FER2013数据集上进行实验并分析。实验结果表明：与现有方法相比,提出的网络结构在CK+和FER2013数据集上,识别率分别提高了0.15个百分点和3.29个百分点,且网络模型参数量降低了75%。所提方法在降低网络参数的同时,提高了表情识别准确率。     

基于改进MobileNet网络的人脸表情识别

针对轻量级卷积神经网络MobileNet应用于人脸表情识别实时性较差、最小输入尺寸较大、准确率不高等问题,提出一种改进的MobileNet网络模型——M-MobileNet(Modified MobileNet)。M-MobileNet具有比原网络更好的轻量级特性。该网络模型基于一种改进的深度可分离卷积层,不仅具有MobileNet模型中深度可分离卷积减少卷积计算量的特点,还解决了在深度卷积层后可能会导致信息丢失的问题。在分类器选择上,M-MobileNet使用线性支持向量机(SVM)进行人脸表情分类,参数量较MobileNet网络大大减少。在CK+、KDEF数据集及移动端上的实验证明,改进后的MobileNet网络模型具有更好的识别性能。     

基于跨连接LeNet-5网络的面部表情识别

为避免人为因素对表情特征提取产生的影响,本文选择卷积神经网络进行人脸表情识别的研究.相较于传统的表情识别方法需要进行复杂的人工特征提取,卷积神经网络可以省略人为提取特征的过程.经典的LeNet-5卷积神经网络在手写数字库上取得了很好的识别效果,但在表情识别中识别率不高.本文提出了一种改进的LeNet-5卷积神经网络来进行面部表情识别,将网络结构中提取的低层次特征与高层次特征相结合构造分类器,该方法在JAFFE表情公开库和CK+数据库上取得了较好的结果.     

TP-FER：基于优化卷积神经网络的三通道人脸表情识别方法

针对人脸五官在表达不同情绪时所起的作用不同,利用单一的卷积神经网络对人脸面部特征进行特征提取和表情识别可能会导致提取表情关键特征信息时聚焦性不够,而仅对眼部或者嘴部等重点部位进行特征提取,又有可能造成特征提取不够充分的问题,提出了一种基于优化卷积神经网络的三通道人脸表情识别方法TP-FER(tri-path networks for facial expression recognition).该方法基于构建的卷积神经网络训练,采用三个输入渠道,分别聚焦面部、眼部和嘴部区域进行特征提取和表情判别,最后采用基于决策层的融合技术将三个渠道的识别结果进行相对多数投票决策,获取整体最优识别率.将此方法应用于JCK+数据集和自建数据集上进行了实验判别分析,结果表明该方法在两个数据集上均提高了整体表情识别率.该方法既考虑了脸部整体特征的提取,又兼顾了某些表情主要聚焦在眼部、嘴部表达的特性,相互辅助,整体提高了表情的识别率;该方法也能对神经心理学研究提供数据支持.     

Facial expression recognition based on dual-feature fusion and improved random forest classifier

Facial expression recognition (FER) is an important means for machines to understand the changes in the facial expression of human beings. Expression recognition using single-modal facial images, such as gray scale, may suffer from illumination changes and the lack of detailed expression-related information. In this study, multi-modal facial images, such as facial gray scale, depth, and local binary pattern (LBP), are used to recognize six basic facial expressions, namely, happiness, sadness, anger, disgust, fear, and surprise. Facial depth images are used for robust face detection initially. The deep geometric feature is represented by point displacement and angle variation in facial landmark points with the help of depth information. The local appearance feature, which is obtained by concatenating LBP histograms of expression-prominent patches, is utilized to recognize those expression changes that are difficult to capture by only the geometric changes. Thereafter, an improved random forest classifier based on feature selection is used to recognize different facial expressions. Results of comparative evaluations in benchmarking datasets show that the proposed method outperforms several state-of-the-art FER approaches that are based on hand-crafted features. The capability of the proposed method is comparable to that of the popular convolutional neural-network-based FER approach but with fewer demands for training data and a high-performance hardware platform.     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。