采用自适应信号恢复算法的非接触式心率检测

目的 心率是反映人体心血管状况和心理状态的重要生理参数。最近的研究表明,光电容积成像技术可以在不接触人体的情况下,利用消费级的摄像机捕获面部表皮颜色的变化进而估计心率。然而,在实际环境中,面部运动带来的干扰会导致心率检测的准确性下降。近年来,国内外学者已经提出了一些方法来去除运动噪声,但是效果均不理想。为了解决上述问题,提出一种可以抗面部运动干扰的新方法。方法 首先检测和跟踪受试者的脸部。然后将脸部区域分块,并提取各块的色度特征建立原始血液容积脉冲矩阵,利用自适应信号恢复算法从原始血液容积脉冲矩阵中分离出低秩矩阵并构建期望血液容积脉冲信号。最后通过功率谱密度估计心率。结果 在环境光作为光源的条件下,利用网络摄像头采集30名受试者的人脸视频进行实验分析。结果显示,提出的方法测得的心率与参考值具有很强的相关性：在静态场景中皮尔森相关系数r=0.990 2,在动态场景中r=0.960 5。并且与最新方法相比,动态场景中的误差率降低了53.90%,相关性提高了7.46%。此外,在10 min的心率检测实验中,方法的测量值与参考值保持着良好的一致性。结论 本文方法优于现有的非接触式心率检测技术,能有效地消除面部运动带来的干扰,长期稳定地检测心率。     

非接触式胎儿心率检测

胎儿心率检测是围产期常规检测,是评估孕妇和胎儿健康的主要生理指标.相对现有的接触式胎心检测技术,本文提出一种更为便捷,成本低廉的非接触式胎儿心率提取算法.首先基于欧拉视频颜色放大技术,对视频中颜色信号放大.其次,利用光电容积脉搏波描记法提取血液容积脉冲信号,并对母体噪声进行分离,计算功率谱密度提取.将采集到的胎心率,与医院专用胎心设备检测的结果进行定量分析,数据表明可以达到96%的准确度.     

现实场景中非接触式心率检测方法研究

现有的非接触式心冲击描记术（ballistocardiography,BCG）利用运动追踪捕捉头部微弱运动,存在着光照干扰、运动干扰等问题。针对该问题,提出了一种基于方向可调滤波器的头部微小振动检测方法（steerable filters schematic detection BCG,SD-BCG）,以实现非接触式心率检测。对输入视频进行人脸检测,并框选出目标检测区域;设计一种基于方向可调滤波器的振动信号提取方法,提取目标区域的相位差信号,并针对相位差信号进行带通滤波和主成分分析,滤除干扰噪声并建立BCG信号;通过傅里叶变化将BCG信号转化至频域,从频谱密度函数中提取心率值。实验结果表明该方法能够适应不同光照和不同运动干扰情况,其心率检测准确率优于现有的运动追踪捕捉BCG信号提取方法。     

多特征区域FastICA的非接触式心率检测

人脸视频单特征区域的非接触式心率检测方法,提取的脉搏波信号在视频采集过程中易受运动和光照的影响.为了减弱运动伪差和光照不均对脉搏波信号的干扰,本文提出了一种多特征区域结合快速独立成分分析的非接触式心率信号提取方法.通过人脸特征点算法结合区域中心定位的方法选择多特征区域,保证了视频图像特征区域的稳定性;使用快速独立成分分析实现多特征区域中图像绿色通道血容量变化脉冲信号之间的相互补偿,降低了光照不均匀的影响.在国外公开数据集DEAP上进行实验,实验结果表明,本文方法优于已有基于独立成分分析,独立矢量分析的方法.     

多关键帧特征交互的人脸篡改视频检测

目的 深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法 从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果 所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论 本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积神经网络将每帧的人脸图像映射到特征空间,并利用基于自注意力的帧间交互学习机制,使得每帧特征之间可以相互关注,学习到有判别性的信息,使得检测结果更加准确,整体检测过程更高效。     

面向远程光体积描记的人脸检测与跟踪

目的 远程光体积描记（remote photoplethysmograph,rPPG）是一种基于视频的非接触心率测量方法,通过跟踪人脸皮肤区域并从中提取周期性微弱变化的颜色信号估计出心率。目前基于级联回归树的人脸地标方法训练的Dlib库,由于能快速准确定位人脸轮廓,正逐渐被研究者用于跟踪皮肤感兴趣区域（region of interest,ROI）。由于实际应用中存在地标无规则抖动,且现有研究没有考虑目标晃动的影响,因此颜色信号提取不准确,心率估计精度不佳。为了克服以上缺陷,提出一种基于Dlib的抗地标抖动和运动晃动的跟踪方法。方法 本文方法主要包含两个步骤：首先,通过阈值判断两帧间地标的区别,若近似则沿用地标,反之使用当前帧地标以解决抖动问题。其次,针对运动晃动,通过左右眼地标中点计算旋转角度,矫正晃动的人脸,保证ROI在运动中也能保持一致。结果 通过信噪比（signal-to-noise,SNR）、平均绝对误差（mean absolute error,MAE）和均方根误差（root mean squared error,RMSE）来评价跟踪方法在rPPG中的测量表现。经在UBFC-RPPG（stands for Univ.Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy）和PURE（Pulse Rate Detection Dataset）数据集测试,与Dlib相比,本文方法rPPG测量结果在UBFC-RPPG中SNR提高了约0.425 dB,MAE提高0.291 5 bpm,RMSE降低0.645 3 bpm;在PURE中SNR降低了0.041 1 dB,MAE降低0.065 2 bpm,RMSE降低0.271 8 bpm。结论 本文方法相比于Dlib有效提高跟踪框稳定性,在静止和运动中都能跟踪相同ROI,适合rPPG应用。     

自适应人脸多区域分析的视频心率检测

心率是衡量人体心血管健康状况和情绪压力的重要生理参数. 然而, 基于视频的非接触式心率检测技术在真实场景中, 会由于人脸运动和光照变化等导致检测准确性的降低. 为了解决上述问题, 考虑到心率检测算法中感兴趣区域(region of interest, ROI)的选取与检测准确度高度相关. 故提出一种自适应超像素分割多区域综合分析的心率检测新方法. 首先利用人脸检测和追踪算法, 裁切获得人脸图像; 之后采用自适应超像素分割算法将ROI划分成互不重叠的子块; 再通过色度特征提取构建各子块原始血液容积脉搏矩阵; 最后对脉搏矩阵使用多指标综合分析并挑选出最佳区域进行心率估计. 实验结果表明, 通过自适应超像素分割和多区域分析优选可以有效提升心率检测准确性. 在静止状态下和运动干扰条件下准确性分别达到99.1%和95.6%, 光照干扰条件下准确性相对传统方法最高提升8.2%. 增强了真实场景下心率检测的鲁棒性.     

基于振动相位信号分解的非接触式心率检测

心率是反映人体心血管系统状态的重要依据.基于视频的非接触式心率检测凭借其场景适应能力强、成本低等优势,得到了广泛应用.然而,这种检测方法容易受到光照变化、目标运动等噪声干扰.针对该问题,本文提出了一种基于振动相位信号分解的腕部表皮视频心率提取方法,其核心思想是设计方向选择的复可控金字塔搜索出脉搏信号的带通范围,使用信噪比进行脉搏信号的感兴趣选择,使用鲁棒主成分分析从混合信号中分离出脉搏信号,从而最终实现脉搏信号抗噪的心率检测.本文自行采集了心率检测数据集,并使用脉搏检测仪作为真值进行方法验证.在干扰场景下准确率为97.80％,与3种主流方法对比准确率提升均大于5％.     

两层级联卷积神经网络的人脸检测

目的 传统人脸检测方法因人脸多姿态变化和人脸面部特征不完整等问题,导致检测效果不佳。为解决上述问题,提出一种两层级联卷积神经网络（TC_CNN）人脸检测方法。方法 首先,构建两层卷积神经网络模型,利用前端卷积神经网络模型对人脸图像进行特征粗略提取,再利用最大值池化方法对粗提取得到的人脸特征进行降维操作,输出多个疑似人脸窗口;其次,将前端粗提取得到的人脸窗口作为后端卷积神经网络模型的输入进行特征精细提取,并通过池化操作得到新的特征图;最后,通过全连接层判别输出最佳检测窗口,完成人脸检测全过程。结果 实验选取FDDB人脸检测数据集中包含人脸多姿态变化以及人脸面部特征信息不完整等情况的图像进行测试,TC_CNN方法人脸检测率达到96.39%,误检率低至3.78%,相比当前流行方法在保证算法效率的同时检测率均有提高。结论 两层级联卷积神经网络人脸检测方法能够在人脸多姿态变化和面部特征信息不完整等情况下实现精准检测,保证较高的检测率,有效降低误检率,方法具有较好的鲁棒性和泛化能力。     

适用于昼夜环境的呼吸率视频检测

目的 呼吸率是呼吸疾病检测的敏感指标,基于视频的呼吸率检测方法因成本低、使用限制少等特点成为近年医疗健康领域的研究热点。针对现有方法在噪声抑制及夜间信号获取方面存在的问题,提出一种适用于昼夜环境且抗噪性能高的呼吸率视频检测方法。方法 该方法只需使用夜视功能的摄像头即可实现昼夜呼吸率检测。首先,采用人脸检测确定人脸区域,并结合人体几何关系规范呼吸区域;然后,结合空间尺度及相位差异,采用基于相位的视频处理方法对呼吸区域进行时空相位处理,在突出呼吸区域的同时有效抑制了噪声干扰。采用最大似然法进行呼吸初估计,并结合初估计频率对原信号平滑滤波以优化波形;最后应用峰值检测完成呼吸率的二次估计。结果 通过室内有无光源两种环境的实验可知,稳定光源下呼吸率平均误差为0.54次/min,无光源下平均误差为0.62次/min。本文方法与真实呼吸率有良好一致性,与传统呼吸率检测方法相比,鲁棒性更好。结论 提出一种适用于昼夜环境的呼吸率视频检测方法。采用红外摄像机实现夜间视频采集,并通过胸部定位、基于相位的视频放大技术进行时空相位处理,在拓展空间分辨率的同时有效抑制噪声放大,提高呼吸检测的精度与鲁棒性。     

基于低秩稀疏矩阵分解的非接触心率估计

心率检测作为一项重要的生理检测指标,在医学健康、刑侦检测、信息安全等方 面具有重要应用。计算机视觉领域近期的研究表明,心率信号可以通过摄像头捕捉的视频予以 获取。现有的研究方法在理想的实验环境下已取得较好的效果,然而在自然状态面部旋转以及 出现各种噪声(阴影、遮挡)时鲁棒性较弱。通过检测人脸的关键点,获得面部区域的感兴趣, 避免因面部旋转引入检测误差,在现有模型的基础上提出一种基于低秩稀疏矩阵分解的非接触 式心率估计模型,对频域血液体积脉冲(BVP)信号矩阵实现去噪处理,解决使用摄像头非接触 式获取心率信号时存在的问题。实验显示,该模型在MAHNOB-HCI 数据集上实现了3.25%的 误差比均值,优于现有的模型。     

融合表情和BVP生理信号的双模态视频情感识别

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80%和63.75%,而融合后的情感识别结果为83.33%,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

人类面部重演方法综述

随着计算机视觉领域图像生成研究的发展,面部重演引起广泛关注,这项技术旨在根据源人脸图像的身份以及驱动信息提供的嘴型、表情和姿态等信息合成新的说话人图像或视频。面部重演具有十分广泛的应用,例如虚拟主播生成、线上授课、游戏形象定制、配音视频中的口型配准以及视频会议压缩等,该项技术发展时间较短,但是涌现了大量研究。然而目前国内外几乎没有重点关注面部重演的综述,面部重演的研究概述只是在深度伪造检测综述中以深度伪造的内容出现。鉴于此,本文对面部重演领域的发展进行梳理和总结。本文从面部重演模型入手,对面部重演存在的问题、模型的分类以及驱动人脸特征表达进行阐述,列举并介绍了训练面部重演模型常用的数据集及评估模型的评价指标,对面部重演近年研究工作进行归纳、分析与比较,最后对面部重演的演化趋势、当前挑战、未来发展方向、危害及应对策略进行了总结和展望。     

融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

基于深度学习的双流程短视频分类方法

随着智能手机和5G网络的普及,短视频已经成为人们碎片时间获取知识的主要途径。针对现实生活场景短视频数据集不足及分类精度较低等问题,提出融合深度学习技术的双流程短视频分类方法。在主流程中,构建A-VGG-3D网络模型,利用带有注意力机制的VGG网络提取特征,采用优化的3D卷积神经网络进行短视频分类,提升短视频在时间维度上的连续性、平衡性和鲁棒性。在辅助流程中,使用帧差法判断镜头切换抽取出短视频中的若干帧,通过滑动窗口机制与级联分类器融合的方式对其进行多尺度人脸检测,进一步提高短视频分类准确性。实验结果表明,该方法在UCF101数据集和自建的生活场景短视频数据集上对于非剧情类与非访谈类短视频的查准率和查全率最高达到98.9%和98.6%,并且相比基于C3D网络的短视频分类方法,在UCF101数据集上的分类准确率提升了9.7个百分点,具有更强的普适性。