人脸口罩佩戴检测研究综述

人脸口罩佩戴检测是近两年在全球新冠疫情背景下快速发展的一个新兴研究课题。疫情常态下,佩戴口罩是有效防疫的重要手段,因此公共场所下对人员是否佩戴口罩的检查与提醒必不可少。利用人工智能完成口罩佩戴检测工作可以达到实时监督的目的,节省人力资源,有效避免误检、漏检等问题。对当前口罩佩戴检测研究所使用的网络模型和相关算法进行了详细梳理。针对口罩佩戴检测任务及其应用背景进行了简要说明;重点总结和分析了基于深度神经网络和基于目标检测模型两种思路的检测算法,主要讨论了不同研究方案的优缺点、改进方法和适用场景;介绍了常用的相关数据集,对比展现了各算法检测性能;对仍然存在的问题以及未来发展的方向进行了探讨和展望。     

改进RetinaFace的自然场景口罩佩戴检测算法

新型冠状病毒可以通过空气中的飞沫、气溶胶等载体进行传播，在公共场所下正确佩戴口罩可以有效地防止病毒的传播。提出了一种自然场景下人脸口罩佩戴检测方法，对RetinaFace算法进行了改进，增加了人脸口罩佩戴检测任务，优化了损失函数。在特征金字塔网络中引入了一种改进的自注意力机制，增强了特征图的表达能力。建立了包含3 000张图片的数据集，并进行手工标注，用于网络训练。实验结果表明该算法可以有效进行口罩佩戴检测，在自然场景视频中也取得了不错的检测效果。     

基于改进SSD的口罩佩戴检测算法

新冠疫情近年来在全球肆虐,新冠病毒具有极强的传染性,在公共场所佩戴口罩可以阻断病毒的传播途径,有效遏止疫情的蔓延。利用计算机视觉技术对公共场合佩戴口罩行为进行检测具有重要意义,在疫情防控常态化条件下,需要对人脸口罩佩戴进行正确识别,同时要识别口罩佩戴是否正确。在实际检测环境中,口罩佩戴检测任务中的场景复杂多样,佩戴口罩的人脸目标尺度不一,正确与错误佩戴口罩特征差异小,难以检测。提出一种改进SSD算法的口罩佩戴检测算法。以SSD检测算法为基础,引入特征融合网络及协调注意力机制,重构特征提取网络,增强对细节信息的学习和处理能力。同时,将算法的分类预测分数和IoU分数进行合并表示,使用Quality Focal Loss函数调节正负样本的权重。在自制口罩佩戴检测数据集上的实验结果表明,该算法的平均精度均值达到96.28%,与原始算法相比提高了5.62%,对口罩佩戴检测具有良好的准确性和实用性,可满足疫情防控下的实际需求。     

多尺度融合的YOLOv3人群口罩佩戴检测方法

在新型冠状病毒疫情防控要求下,商场、车站等公共场所人群环境下佩戴口罩成为人们出行的必要条件。由于在人群环境下往往存在人员密集,容易相互遮挡,且目标尺度较小等影响,口罩佩戴检测容易出现误检、漏检等问题。针对这些问题,在YOLOv3算法的基础上,提出一种基于改进YOLOv3的人群口罩佩戴检测算法。添加浅层特征图,在原来的3尺度检测结构上增加浅层检测尺度形成4尺度检测结构,提高检测准确率;引入自上而下和自下而上的多尺度融合结构,进一步利用特征信息,实现特征增强;选用CIoU损失函数进行边框回归,提高定位精度。实验结果表明,改进的YOLOv3算法的平均精度均值达到了93.66%,相比于原YOLOv3算法提高了5.61个百分点。相比于其他主流算法,该算法在口罩佩戴检测任务中有更高的检测精度,具有很好的实用性。     

基于改进的YOLOv3口罩佩戴检测和识别

新冠疫情仍在全球肆虐,佩戴口罩可以有效阻断新冠病毒传播,口罩佩戴检测系统能及时提醒公共场所活动的人佩戴口罩。针对该问题及小尺度目标检测困难的问题,提出了一种基于YOLOv3改进的网络模型Face＿mask Net用于口罩佩戴检测。由于YOLOv3算法训练的网络模型对小目标检测率低,IoU值相同时不能反映预测框和目标框是否相交,以及传统NMS对于遮挡经常产生错误抑制情况,Face＿mask Net改进了残差块和神经网络结构,引入SPP模块和CSPNet网络模块,并采用DIoU作为损失函数,DIoU-NMS算法作为分类器。实验结果表明,Face＿mask Net可以有效提高目标检测准确率,AP75下的平均准确率为58.05%,相比由YOLOv3算法训练的网络模型提高了4.11%。     

基于动态加权类别平衡损失的多类别口罩佩戴检测

公共场合佩戴口罩已经成为重要的防疫措施。现有口罩检测方法通常只检测是否佩戴口罩,忽略检测未规范佩戴口罩这一极易发生交叉感染的场景,目前的口罩数据集缺少未规范佩戴口罩数据。针对以上问题,在现有口罩数据集的基础上,通过线下采集和从互联网收集更多未规范佩戴口罩图像,并根据佩戴口罩的人脸图像特点,改进 Mosaic 数据增强算法扩充数据,改进后 Mosaic 数据增强算法能够将基准网络 YOLOv4的平均精度均值(mAP)提升 2.08%;针对扩增后数据集出现的类别不平衡问题,提出动态加权平衡损失函数,在重加权二分类交叉熵损失(weight binary cross entropy loss)基础上,以有效样本数量的倒数作为辅助类别权重,并对训练的每一个批次进行动态调整,解决直接使用重加权方法稳定性弱、检测精度震荡和效果不理想的问题。实验表明,改进后模型 mAP 达到 91.25%,未规范佩戴口罩平均精度(AP)达到 91.69%,与单阶段方法 RetinaNet,Centernet,Effcientdet 和两阶段方法 YOLOv3-MobileNetV2,YOLOv4-MobileNetV2 相比,改进后算法具有更高的检测精度和速度。     

An optimal feature enriched region of interest (ROI) extraction for periocular biometric system

With the onset of COVID-19 pandemic, wearing of face mask became essential and the face occlusion created by the masks deteriorated the performance of the face biometric systems. In this situation, the use of periocular region (region around the eye) as a biometric trait for authentication is gaining attention since it is the most visible region when masks are used. One important issue in periocular biometrics is the identification of an optimal size periocular ROI which contains enough features for authentication. The state of the art ROI extraction algorithms use fixed size rectangular ROI calculated based on some reference points like center of the iris or centre of the eye without considering the shape of the periocular region of an individual. This paper proposes a novel approach to extract optimum size periocular ROIs of two different shapes (polygon and rectangular) by using five reference points (inner and outer canthus points, two end points and the midpoint of eyebrow) in order to accommodate the complete shape of the periocular region of an individual. The performance analysis on UBIPr database using CNN models validated the fact that both the proposed ROIs contain enough information to identify a person wearing face mask.

     

Image Recognition Based on Deep Learning with Thermal Camera Sensing

As the COVID-19 epidemic spread across the globe, people around the world were advised or mandated to wear masks in public places to prevent its spreading further. In some cases, not wearing a mask could result in a fine. To monitor mask wearing, and to prevent the spread of future epidemics, this study proposes an image recognition system consisting of a camera, an infrared thermal array sensor, and a convolutional neural network trained in mask recognition. The infrared sensor monitors body temperature and displays the results in real-time on a liquid crystal display screen. The proposed system reduces the inefficiency of traditional object detection by providing training data according to the specific needs of the user and by applying You Only Look Once Version 4 (YOLOv4) object detection technology, which experiments show has more efficient training parameters and a higher level of accuracy in object recognition. All datasets are uploaded to the cloud for storage using Google Colaboratory, saving human resources and achieving a high level of efficiency at a low cost.     

自然环境下实时人脸口罩检测与规范佩戴识别

新冠状病毒具有很强的传染性,规范佩戴口罩可以阻隔病毒通过空气中的飞沫、气溶胶等载体传播,然而在公共场合时有公民不佩戴口罩或不规范佩戴口罩的现象,不利于疫情防控工作的开展。为解决这一问题,提出了一种自然环境下的实时人脸口罩检测与规范佩戴识别方法,采用YOLOv4算法,在自然环境下对公民口罩佩戴情况进行检测。针对模型参数量大,难以部署应用的难题,引入轻量级骨干网络L-CSPDarkNet（LightCSPDarkNet）以提高模型的检测速度,同时提出轻量级特征增强模块Light-FEB（Light Feature Enhancement Black）和多尺度注意力机制Multi-Scale-Sam（MultiScaleSam）增强轻量级主干网络的特征提取能力。实验结果表明,该算法精度可达91.94%,相比于原始YOLOv4算法提高了3.55个百分点,检测速度达到75?frame/s,高于原始YOLOv4的35?frame/s,可满足实际应用的需求。     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

Deep Learning Based Face Mask Detection in Religious Mass Gathering During COVID-19 Pandemic

Notwithstanding the religious intention of billions of devotees, the religious mass gathering increased major public health concerns since it likely became a huge super spreading event for the severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2). Most attendees ignored preventive measures, namely maintaining physical distance, practising hand hygiene, and wearing facemasks. Wearing a face mask in public areas protects people from spreading COVID-19. Artificial intelligence (AI) based on deep learning (DL) and machine learning (ML) could assist in fighting covid-19 in several ways. This study introduces a new deep learning-based Face Mask Detection in Religious Mass Gathering (DLFMD-RMG) technique during the COVID-19 pandemic. The DLFMD-RMG technique focuses mainly on detecting face masks in a religious mass gathering. To accomplish this, the presented DLFMD-RMG technique undergoes two pre-processing levels: Bilateral Filtering (BF) and Contrast Enhancement. For face detection, the DLFMD-RMG technique uses YOLOv5 with a ResNet-50 detector. In addition, the face detection performance can be improved by the seeker optimization algorithm (SOA) for tuning the hyperparameter of the ResNet-50 module, showing the novelty of the work. At last, the faces with and without masks are classified using the Fuzzy Neural Network (FNN) model. The stimulation study of the DLFMD-RMG algorithm is examined on a benchmark dataset. The results highlighted the remarkable performance of the DLFMD-RMG model algorithm in other recent approaches.     

基于DCN-SERes-YOLOv3的人脸佩戴口罩检测算法

2020年新冠疫情爆发,佩戴口罩是有效抑制疫情反弹的重要措施之一,研究利用机器视觉技术检测人脸是否佩戴口罩有重要的现实意义。本文针对视频图像中人脸佩戴口罩时存在遮挡、检测目标较小、特征信息不明显、目标靠近群体不易识别等问题,提出一种基于DCN-SERes-YOLOv3的人脸佩戴口罩检测算法。首先,采用ResNet50与YOLOv3相结合的方式,将主干网络替换为ResNet50残差网络,为了平衡模型的精度与速度,对残差块中的卷积层改进并加入平均池化层,降低模型的损失与复杂度,提高检测速度;其次,将ResNet50残差网络中第4个残差块的常规卷积替换为DCN可变形卷积,提高模型适应人脸佩戴口罩时发生几何形变的能力;最后,引入SENet通道注意力机制,增强特征信息的表达能力。实验结果表明,本文算法的平均精度值高达95.36%,比传统YOLOv3算法提高了约4.1个百分点,且检测速度提高了11.7 fps,本文算法提高了检测人脸佩戴口罩任务的精度与速度,有较好的应用前景。     

基于YOLOv5增强模型的口罩佩戴检测方法研究

人脸口罩佩戴检测是公共场所疫情防控中极为重要的措施,智能、高效地检测口罩佩戴情况对实现疫情防控的自动化和数字化具有重要意义。使用卷积类深度神经网络实现端到端的人脸口罩佩戴检测具有可行性,但卷积类神经网络具有结构复杂、参数量和浮点计算量庞大的特点,从而产生较高的计算开销和内存需求,极大地限制了其在资源有限的终端设备上的应用。为了使人脸口罩佩戴监督功能更易获取,并实现多尺度条件下的模型压缩和加速检测,提出一种基于改进YOLOv5的轻量化增强网络模型。设计参数量和计算量更小的GhostBottleneckCSP和ShuffleConv模块并替换原YOLOv5网络中的C3及部分Conv模块,以降低特征通道融合过程中的计算量并增强特征表达能力。实验结果表明,该模型的识别精度达95%以上,模型在精度近乎无损失的前提下,参数量和计算量分别仅为原YOLOv5网络的34.24%和33.54%,且在GPU和CPU上的运行速度分别提升13.64%和28.25%,降低了模型对内存存储及计算能力的要求,更适用于在资源有限的移动端部署。     

新冠肺炎疫情背景下聚集性传染风险智能监测模型

新型冠状病毒肺炎疫情严重威胁人们的生命安全,对于聚集性人群密度及口罩佩戴情况的监管是控制病毒扩散的重要途经。公共场所具有人流密集且流动性大的特点,人工监测易增加感染风险,而现有基于深度学习的口罩检测算法存在功能及场景单一的问题,不能在多场景下实现多类别检测,同时精度也有待提升。提出Cascade-Attention R-CNN目标检测算法,实现对聚集区域、行人和口罩佩戴情况的自动检测。针对任务中目标尺度变化过大的问题,选取高精度两阶段Cascade R-CNN目标检测算法作为基础检测框架。通过设计多个级联的候选分类-回归网络并加入空间注意力机制,突出候选区域特征中的重要特征并抑制噪声特征,从而提高检测精度。在此基础上,构建聚集性传染风险智能监测模型,结合Cascade-Attention R-CNN算法的输出结果确定传染风险等级。实验结果表明,该模型对于不同场景和视角的多类别目标图片具有较高的准确性和鲁棒性,Cascade-Attention R-CNN算法平均精度均值达到89.4%,较原始Cascade RCNN算法提升2.6个百分点,较经典的两阶段目标检测算法Faster R-CNN和单阶段目标检测框架RetinaNet分别提升10.1和8.4个百分点。     

基于多尺度优化感知网络的口罩检测方法

佩戴口罩是全球医学专家公认最有效的预防新冠肺炎感染的方法之一。基于视觉的智能口罩检测技术对于督促人们在公共场合佩戴口罩具有重要的作用。然而,目前专用口罩检测算法较为缺乏,通用目标检测算法对于多尺度、多角度和外观多样的戴口罩人脸目标识别仍然无法满足检测精度的要求。针对该问题,提出了一种基于多尺度优化感知网络的口罩检测方法——PyramidMask。首先,PyramidMask从骨干网络的不同尺度获取图像的多层特征;然后设计尺度感知分支进行不同层的高密度先验框独立预测,以端到端的方式对图像中多尺度的人脸进行精准定位和佩戴口罩检测。此外,为了提高模型对复杂环境的鲁棒性,在训练阶段以图像拼接的方式对训练样本进行数据增强。实验结果表明,在公开的口罩检测数据集上,PyramidMask优于当前主流方法。相较于基准方法,PyramidMask在检测戴与未戴口罩的召回率上分别有5.4%和12.5%的提升,精确率上分别有6.0%和4.1%的提升。     

Masked Face Recognition Using MobileNet V2 with Transfer Learning

Corona virus (COVID-19) is once in a life time calamity that has resulted in thousands of deaths and security concerns. People are using face masks on a regular basis to protect themselves and to help reduce corona virus transmission. During the on-going coronavirus outbreak, one of the major priorities for researchers is to discover effective solution. As important parts of the face are obscured, face identification and verification becomes exceedingly difficult. The suggested method is a transfer learning using MobileNet V2 based technology that uses deep feature such as feature extraction and deep learning model, to identify the problem of face masked identification. In the first stage, we are applying face mask detector to identify the face mask. Then, the proposed approach is applying to the datasets from Canadian Institute for Advanced Research10 (CIFAR10), Modified National Institute of Standards and Technology Database (MNIST), Real World Masked Face Recognition Database (RMFRD), and Stimulated Masked Face Recognition Database (SMFRD). The proposed model is achieving recognition accuracy 99.82% with proposed dataset. This article employs the four pre-programmed models VGG16, VGG19, ResNet50 and ResNet101. To extract the deep features of faces with VGG16 is achieving 99.30% accuracy, VGG19 is achieving 99.54% accuracy, ResNet50 is achieving 78.70% accuracy and ResNet101 is achieving 98.64% accuracy with own dataset. The comparative analysis shows, that our proposed model performs better result in all four previous existing models. The fundamental contribution of this study is to monitor with face mask and without face mask to decreases the pace of corona virus and to detect persons using wearing face masks.     

融合注意力机制的轻量级戴口罩人脸识别算法

COVID-19的全球化大流行使得佩戴口罩出行成为人们生活中的常态,这种防疫措施给人脸识别算法带来了新的挑战。针对这一问题,提出了一种口罩遮挡下的轻量级人脸识别算法,该算法改进GhostNet为主干特征提取网络;提出了融合空间注意力机制的FocusNet特征加强提取网络,使模型聚焦于未被口罩遮挡的上半脸区域;针对当前口罩遮挡人脸数据集不充分的问题,提出了一种采用三维人脸网络生成添加口罩遮挡的数据增强方法。实验表明,所提出的改进模型与基准模型相比,模型参数量降低84%的同时,戴口罩人脸的识别率提升4.29个百分点,较好地平衡了速度与精度。     

基于生成对抗网络的人脸口罩图像合成

为了解决现阶段缺乏被口罩遮挡的人脸数据集的问题,本文提出了基于生成对抗网络与空间变换网络相结合生成戴口罩的人脸图像的方法。本文的方法以生成对抗网络为基础,结合了多尺度卷积核对图像进行不同尺度的特征提取,并引入了沃瑟斯坦散度作为度量真实样本和合成样本之间的距离,并以此来优化生成器的性能。实验表明,所提方法能够在没有对原始图像进行任何标注的情况下有效地对人脸图像进行口罩佩戴,且合成的图像具有较高的真实性。     

基于改进YOLOv4的口罩佩戴检测算法

为解决YOLOv4在目标检测任务中检测速度低、模型参数多等问题,提出一种改进YOLOv4的目标检测算法。将YOLOv4主干网络中的CSPDarknet53替换成Mobilenet用以增强YOLOv4的特征提取网络,PANet原有的3×3标准卷积被深度可分离卷积取代,以降低计算负荷,从而提高识别速度,减少模型参数。然后使用K-means+〖KG-*3〗+算法对由8565张图像组成的数据集进行anchor维度聚类,以提升算法精度。同时,搭建行人口罩佩戴及人体测温拍摄系统用以在人群密集场所中执行疫情防控任务。在保证YOLOv4-Mobilenet网络精度的前提下,相较于原算法FPS提升200%、模型参数减少82%。改进后的模型平均每秒可检测67张图片,可以胜任实际应用中的口罩佩戴检测任务,结果表明该模型检测效果好、鲁棒性较强。     

融合注意力机制的 YOLOv5 口罩检测算法

新冠疫情期间正确佩戴口罩可以有效防止病毒的传播,针对公共场所存在的人员密集、检测目 标较小等加大检测难度的问题,提出一种以 YOLOv5s 模型为基础并引入注意力机制融合多尺度注意力权重的 口罩佩戴检测算法。在 YOLOv5s 模型的骨干网络中分别引入 4 种注意力机制,抑制无关信息,增强特征图的 信息表达能力,提高模型对小尺度目标的检测能力。实验结果表明,引入 CBAM 模块后较原网络 mAP 值提升 了 6.9 个百分点,在 4 种注意力机制中提升幅度最明显,而引入 NAM 模块后在损失少量 mAP 的情况下使参 数量最少,最后通过对比实验选用 GIoU 损失函数计算边界框回归损失,进一步提升定位精度,最终结果较 原网络 mAP 值提升了 8.5 个百分点。改进模型在不同场景下的检测结果证明了该算法对小目标检测的准确 率和实用性。