基于DCN-SERes-YOLOv3的人脸佩戴口罩检测算法

2020年新冠疫情爆发,佩戴口罩是有效抑制疫情反弹的重要措施之一,研究利用机器视觉技术检测人脸是否佩戴口罩有重要的现实意义。本文针对视频图像中人脸佩戴口罩时存在遮挡、检测目标较小、特征信息不明显、目标靠近群体不易识别等问题,提出一种基于DCN-SERes-YOLOv3的人脸佩戴口罩检测算法。首先,采用ResNet50与YOLOv3相结合的方式,将主干网络替换为ResNet50残差网络,为了平衡模型的精度与速度,对残差块中的卷积层改进并加入平均池化层,降低模型的损失与复杂度,提高检测速度;其次,将ResNet50残差网络中第4个残差块的常规卷积替换为DCN可变形卷积,提高模型适应人脸佩戴口罩时发生几何形变的能力;最后,引入SENet通道注意力机制,增强特征信息的表达能力。实验结果表明,本文算法的平均精度值高达95.36%,比传统YOLOv3算法提高了约4.1个百分点,且检测速度提高了11.7 fps,本文算法提高了检测人脸佩戴口罩任务的精度与速度,有较好的应用前景。     

增强可分离卷积通道特征的表情识别研究

针对目前人脸表情识别准确率不高、网络模型参数复杂等问题,提出一种增强可分离卷积通道特征的人脸表情识别研究方法。设计了一种轻量型卷积神经网络结构提取表情特征,在卷积层中采用深度可分离卷积减少网络参数;引入了压缩激发模块,对不同通道的特征进行权重分配,在不同的卷积层采用不同的压缩率来增强网络对人脸表情的特征提取能力;将提取到的特征送入分类器实现人脸表情分类,在CK+和FER2013数据集上进行实验并分析。实验结果表明：与现有方法相比,提出的网络结构在CK+和FER2013数据集上,识别率分别提高了0.15个百分点和3.29个百分点,且网络模型参数量降低了75%。所提方法在降低网络参数的同时,提高了表情识别准确率。     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于ResNet34＿D改进YOLOv3模型的行人检测算法

针对自动驾驶场景下行人检测任务中对中、小尺寸目标和被遮挡目标的检测需求,以及现有深度学习模型的不足,提出基于ResNet34＿D的改进YOLOv3模型:通过改进残差网络的卷积块结构提出ResNet34＿D,并作为YOLOv3的主干网络以降低模型尺寸和训练难度;在ResNet34＿D的3个尺度卷积特征图之后,增加SPP层和DropBlock模块以提高模型的泛化能力;基于K-means聚类算法确定自适应的多尺度锚框尺寸,提高对大、中、小3种尺寸行人目标的检测能力;引入DIoU损失函数,提高对被遮挡目标的识别能力.所提出模型的消融实验验证了各个改进部分在提高模型检测准确率上的有效性.实验结果表明,所提出的基于ResNet34＿D的改进YOLOv3模型具有较好的准确率和实时性,在BDD100K-Person数据集上的AP50达到69.8%,检测速度达到130 FPS.由所提出方法与现有目标检测方法的对比实验可知,所提出方法对小目标和遮挡目标的误检率更低,速度更快,具有一定的实际应用价值.     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

基于多尺度卷积神经网络的人脸润饰检测算法

针对目前人脸润饰检测算法特征提取复杂、识别率低的问题,提出了一种基于多尺度卷积神经网络的人脸润饰检测算法.不同于传统的卷积神经网络,本文的网络增加了图像预处理,利用基于方向梯度直方图（Histograms of Oriented Gradient,HOG）特征的人脸提取算法从原始图像中提取出人脸部分;在第一个池化层后连接局部归一化（Local Response Normalization,LRN）层,加速模型的收敛;提出了多尺度卷积层,将大小为1×1,3×3和5×5的卷积核进行级联,提高模型分类效果.实验结果表明,本文算法的检测精度在人脸润饰数据集LFW和ND-ⅢTD分别达到99.5%和92.9%,相比于主流网络结构和最新人脸润饰检测算法,检测精度有显著提高.     

基于改进卷积及分类器的轻量级人脸表情识别

目前深度学习的表情识别方法存在参数量大、实时性差的问题,提出基于改进卷积与分类器的轻量级人脸表情识别方法。在深度可分离卷积的基础上设计出浅层特征提取模块和轻量化卷积残差模块提取特征信息,然后改进分类器去替换全连接层进行表情分类。最终模型的参数量由11、171、271下降至5、925、288;同时在FER2013数据集和CK+数据集上保持了高达73.76%和97.74%的识别率,性能优于目前流行的ResNet18网络。     

基于深度学习的纹理布匹瑕疵检测方法

布匹瑕疵检测是纺织工业中产品质量评估的关键环节,实现快速、准确、高效的布匹瑕疵检测对于提升纺织工业的产能具有重要意义.在实际布匹生产过程中,布匹瑕疵在形状、大小及数量分布上存在不平衡问题,且纹理布匹复杂的纹理信息会掩盖瑕疵的特征,加大布匹瑕疵检测难度.本文提出基于深度卷积神经网络的分类不平衡纹理布匹瑕疵检测方法(Detecting defects in imbalanced texture fabric based on deep convolutional neural network, ITF-DCNN),首先建立一种基于通道叠加的ResNet50卷积神经网络模型(ResNet50+)对布匹瑕疵特征进行优化提取;其次提出一种冗余特征过滤的特征金字塔网络(Filter-feature pyramid network, F-FPN)对特征图中的背景特征进行过滤,增强其中瑕疵特征的语义信息;最后构造针对瑕疵数量进行加权的MFL (Multi focal loss)损失函数,减轻数据集不平衡对模型的影响,降低模型对于少数类瑕疵的不敏感性.通过实验对比,提出的方法能有效提升布匹瑕疵检测的准确...