基于人脸视频的逻辑多任务非接触心率估计

为提高远程光体积描记术（remote photoplethysmography,rPPG）在自然场景中心率（heart rate,HR）估计的精度，提出一种基于多头自注意力的多任务心率估计模型。设计一种特征表示方法将视频转换为时空表示，抑制非皮肤区域和背景引入的噪声；使用改进的多头自注意力模型学习长距离帧之间的依赖关系，解决rPPG对光照变化和头部运动鲁棒性不足的问题；将学习到的特征用于估计rPPG信号和HR两个任务，通过rPPG信号的频域约束HR，提高心率估计精度。实验结果表明，提出方法在UBFC-RPPG和PURE两个公开数据集上的心率估计准确度优于对比方法，验证了其有效性。     

非接触式胎儿心率检测

胎儿心率检测是围产期常规检测,是评估孕妇和胎儿健康的主要生理指标.相对现有的接触式胎心检测技术,本文提出一种更为便捷,成本低廉的非接触式胎儿心率提取算法.首先基于欧拉视频颜色放大技术,对视频中颜色信号放大.其次,利用光电容积脉搏波描记法提取血液容积脉冲信号,并对母体噪声进行分离,计算功率谱密度提取.将采集到的胎心率,与医院专用胎心设备检测的结果进行定量分析,数据表明可以达到96%的准确度.     

基于振动相位信号分解的非接触式心率检测

心率是反映人体心血管系统状态的重要依据.基于视频的非接触式心率检测凭借其场景适应能力强、成本低等优势,得到了广泛应用.然而,这种检测方法容易受到光照变化、目标运动等噪声干扰.针对该问题,本文提出了一种基于振动相位信号分解的腕部表皮视频心率提取方法,其核心思想是设计方向选择的复可控金字塔搜索出脉搏信号的带通范围,使用信噪比进行脉搏信号的感兴趣选择,使用鲁棒主成分分析从混合信号中分离出脉搏信号,从而最终实现脉搏信号抗噪的心率检测.本文自行采集了心率检测数据集,并使用脉搏检测仪作为真值进行方法验证.在干扰场景下准确率为97.80％,与3种主流方法对比准确率提升均大于5％.     

旋翼结冰数字相关检测方法的研究

通过对数字式多点平均算法的原理介绍,针对直升机红外非接触式结冰探测技术以及红外传感器输出信号的特点,介绍了基于旋翼结冰的数字相关检测方法,用数字式多点平均算法恢复被噪声淹没的有用周期信号.并将此方法用于测试,检测结果与模拟同步积分器检测的结果基本一致     

自适应人脸多区域分析的视频心率检测

心率是衡量人体心血管健康状况和情绪压力的重要生理参数. 然而, 基于视频的非接触式心率检测技术在真实场景中, 会由于人脸运动和光照变化等导致检测准确性的降低. 为了解决上述问题, 考虑到心率检测算法中感兴趣区域(region of interest, ROI)的选取与检测准确度高度相关. 故提出一种自适应超像素分割多区域综合分析的心率检测新方法. 首先利用人脸检测和追踪算法, 裁切获得人脸图像; 之后采用自适应超像素分割算法将ROI划分成互不重叠的子块; 再通过色度特征提取构建各子块原始血液容积脉搏矩阵; 最后对脉搏矩阵使用多指标综合分析并挑选出最佳区域进行心率估计. 实验结果表明, 通过自适应超像素分割和多区域分析优选可以有效提升心率检测准确性. 在静止状态下和运动干扰条件下准确性分别达到99.1%和95.6%, 光照干扰条件下准确性相对传统方法最高提升8.2%. 增强了真实场景下心率检测的鲁棒性.     

基于移动端的非接触心率检测系统研究与设计

心率的检测对人体健康监护有重要的意义，目前主流心率检测设备需与皮肤直接接触，容易引起传染性疾病的传播风险并给用户带来负担；为了解决这些问题，开发了一款基于安卓移动端设备的心率检测应用，可实现非接触式的心率检测并将检测结果展示在主界面上，完成用户自主的心率检测功能；根据远程光电容积描记法，可从人体皮肤的图像数据中提取出心率信息，因此应用中封装了欧拉视频放大算法来实现非接触式心率信号检测，可通过采集面部图像数据来进行人体心率的估计；该应用操作简便，使用场景也不受限制，在真实环境中的实验结果表明，其检测结果与真实心率间的均方根误差为2.93，误差较小且与真实心率具有较高一致性，其检测精度能够满足用户使用需求。     

基于欧拉影像放大的非接触式心率测量方法

针对目前非接触式心率测量存在操作不便、心率同频段噪声干扰大和受环境温度影响较大等问题,提出一种基于欧拉影像放大技术的非接触式心率测量方法。首先,运用欧拉影像放大技术实现手腕处桡动脉微小跳动的动作放大;然后,对脉搏跳动视频帧的像素点亮度值在时域上进行亮度方差统计,同时在YCrCb颜色空间中分割出皮肤区域;其次,根据亮度方差统计和皮肤分割结果,结合图像形态学处理方法提取视频中桡动脉跳动区域;最后,对所提取桡动脉部位时域上亮度信号采用傅里叶变换进行时频分析,实现心率非接触式测量。实验结果表明该方法与独立成分分析法（ICA）和脉搏交流信号分析法相比,均方根误差（RMSE）分别下降50.5%和32.6%;与小波滤波法相比,平均绝对误差下降12%。非接触式心率测量方法测量结果与脉搏血氧仪测量法具有很好一致性,满足中国医药行业标准,可用于日常保健和远程医疗的心率监测。     

基于77GHz毫米波雷达的非接触式精确心跳检测

基于多普勒雷达的非接触式心跳检测对于一些特殊场合有着重大的实用价值.然而,准确且快速的心率检测仍面临两大挑战:呼吸的强干扰以及心跳频谱分辨率不足.本文提出了一种基于77 GHz毫米波雷达的心跳检测方法,用于估计心率(HR)和心率奇异性(HRV).首先,提出了一种基于自适应变分模态分解(AVMD)的方法,在呼吸强干扰下精...     

TMS320C6701在弱信号检测中的应用

为检测被强噪声淹没的微弱信号，以同步互相关数字锁定原理，基于高速浮点数字信号处理芯片TMS320C6701，设计出数字锁定放大(DLIA)。实验证明该方法可检测出被强噪声淹没的微弱周期信号，极大改善信噪比(SNR)。     

面向远程光体积描记的人脸检测与跟踪

目的 远程光体积描记（remote photoplethysmograph,rPPG）是一种基于视频的非接触心率测量方法,通过跟踪人脸皮肤区域并从中提取周期性微弱变化的颜色信号估计出心率。目前基于级联回归树的人脸地标方法训练的Dlib库,由于能快速准确定位人脸轮廓,正逐渐被研究者用于跟踪皮肤感兴趣区域（region of interest,ROI）。由于实际应用中存在地标无规则抖动,且现有研究没有考虑目标晃动的影响,因此颜色信号提取不准确,心率估计精度不佳。为了克服以上缺陷,提出一种基于Dlib的抗地标抖动和运动晃动的跟踪方法。方法 本文方法主要包含两个步骤：首先,通过阈值判断两帧间地标的区别,若近似则沿用地标,反之使用当前帧地标以解决抖动问题。其次,针对运动晃动,通过左右眼地标中点计算旋转角度,矫正晃动的人脸,保证ROI在运动中也能保持一致。结果 通过信噪比（signal-to-noise,SNR）、平均绝对误差（mean absolute error,MAE）和均方根误差（root mean squared error,RMSE）来评价跟踪方法在rPPG中的测量表现。经在UBFC-RPPG（stands for Univ.Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy）和PURE（Pulse Rate Detection Dataset）数据集测试,与Dlib相比,本文方法rPPG测量结果在UBFC-RPPG中SNR提高了约0.425 dB,MAE提高0.291 5 bpm,RMSE降低0.645 3 bpm;在PURE中SNR降低了0.041 1 dB,MAE降低0.065 2 bpm,RMSE降低0.271 8 bpm。结论 本文方法相比于Dlib有效提高跟踪框稳定性,在静止和运动中都能跟踪相同ROI,适合rPPG应用。     

多视角神经网络非接触式脉搏信号提取

目的 远程光体积描记（remote photoplethysmography,rPPG）是一种基于视频的非接触式心率测量技术,受到学者的广泛关注。从视频数据中提取脉搏信号需要同时考虑时间和空间信息,然而现有方法往往将空间处理与时间处理割裂开,从而造成建模不准确、测量精度不高等问题。本文提出一种基于多视角2维卷积的神经网络模型,对帧内和帧间相关性进行建模,从而提高测量精度。方法 所提网络包括普通2维卷积块和多视角卷积块。普通2维卷积块将输入数据在空间维度做初步抽象。多视角卷积块包括3个通道,分别从输入数据的高—宽、高—时间、宽—时间3个视角进行2维卷积操作,再将3个视角的互补时空特征进行融合得到最终的脉搏信号。所提多视角2维卷积是对传统单视角2维卷积网络在时间维度的扩展。该方法不破坏视频原有结构,通过3个视角的卷积操作挖掘时空互补特征,从而提高脉搏测量精度。结果 在公共数据集PURE（pulse rate detection dataset）和自建数据集Self-rPPG（self-built rPPG dataset）上的实验结果表明,所提网络提取脉搏信号的信噪比相比于传统方法在两个数据集上分别提高了3.92 dB和1.92 dB,平均绝对误差分别降低了3.81 bpm和2.91 bpm;信噪比相比于单视角网络分别提高了2.93 dB和3.20 dB,平均绝对误差分别降低了2.20 bpm和3.61 bpm。结论 所提网络能够在复杂环境中以较高精度估计出受试者的脉搏信号,表明了多视角2维卷积在rPPG脉搏提取的有效性。与基于单视角2维神经网络的rPPG算法相比,本文方法提取的脉搏信号噪声、低频分量更少,泛化能力更强。     

Block-based adaptive ROI for remote photoplethysmography

Remote photoplethysmography (rPPG) can achieve contactless human vital signs monitoring, but its signal quality is limited by the remote operation nature. In practical applications, improving the rPPG signal quality becomes an essential task. As a remote imaging technique, rPPG utilizes a camera to capture a video of a skin area, especially the facial area, then focuses on a particular sub-area as the region of interest (ROI). In this paper, we investigated a novel adaptive ROI (AROI) approach for improving the rPPG signal quality. In this approach, block-based spatial-temporal division is performed on a captured face video. Based on these segmented video pipelines, the spatial-temporal quality distribution of the rPPG signals is estimated using a signal-to-noise ratio (SNR) feature. Afterwards, AROIs are calculated through mean-shift clustering and adaptive thresholding in SNR maps. As the AROI can be dynamically adjusted according to the spatial-temporal quality distribution of rPPG signals on the face, the quality of the final recovered rPPG signal is improved. The performance of the proposed AROI approach was evaluated with both still and moving subjects. Compared to conventional ROI methods for rPPG, the proposed AROI obtained a higher accuracy in heart rate measurement. And the state-of-the-art motion-resistant rPPG techniques can be effectively enhanced through being integrated with the AROI.     

基于视频的生理参数测量技术及研究进展

生理体征参数的临床监测对于个体的健康管理、疾病的预防与跟踪具有重要的意义.远程光电容积描计法(remote photoplethysmography,rPPG)是一项新兴的、基于摄像头的、无接触方便快捷的生理体征参数测量技术.血管内部血液的流动造成人体表皮颜色的微弱变化,通过计算机对这一周期性变化的信息进行放大提取,便...     

基于信噪比估计的波段选择与高光谱异常检测

有效的波段选择方法可以极大地提高高光谱图像处理速度的同时改善处理效果。为了自动判断低信噪比波段,提出了一种基于小波变换的图像信噪比估计(SNR estimation,SNRE)方法,利用小波变换后对角方向上的高频成分估计噪声方差并计算信噪比。将该方法分别结合基于方差和相关系数(V_COR)的最优索引指数、最大信息量(MI)、高阶矩(偏度或峰度)结合信息散度(K3_KL)等3种基于信息量的波段选择方法后选择波段。将这些改进后的波段选择方法应用于高光谱异常检测。实验结果表明SNRE预选波段结合MI和K3_KL选择波段用于异常检测能进一步提高检测精度。     

适用于昼夜环境的呼吸率视频检测

目的 呼吸率是呼吸疾病检测的敏感指标,基于视频的呼吸率检测方法因成本低、使用限制少等特点成为近年医疗健康领域的研究热点。针对现有方法在噪声抑制及夜间信号获取方面存在的问题,提出一种适用于昼夜环境且抗噪性能高的呼吸率视频检测方法。方法 该方法只需使用夜视功能的摄像头即可实现昼夜呼吸率检测。首先,采用人脸检测确定人脸区域,并结合人体几何关系规范呼吸区域;然后,结合空间尺度及相位差异,采用基于相位的视频处理方法对呼吸区域进行时空相位处理,在突出呼吸区域的同时有效抑制了噪声干扰。采用最大似然法进行呼吸初估计,并结合初估计频率对原信号平滑滤波以优化波形;最后应用峰值检测完成呼吸率的二次估计。结果 通过室内有无光源两种环境的实验可知,稳定光源下呼吸率平均误差为0.54次/min,无光源下平均误差为0.62次/min。本文方法与真实呼吸率有良好一致性,与传统呼吸率检测方法相比,鲁棒性更好。结论 提出一种适用于昼夜环境的呼吸率视频检测方法。采用红外摄像机实现夜间视频采集,并通过胸部定位、基于相位的视频放大技术进行时空相位处理,在拓展空间分辨率的同时有效抑制噪声放大,提高呼吸检测的精度与鲁棒性。     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

Estimation of Parameters and Arrival Instants of a Signal in a Color Noise Background

Algorithms for detecting and estimating arrival instants and parameters of a signal under noise are designed. The algorithms for detecting signal arrival instants are modifications of cumulative sum algorithms. Signal arrival instant can be detected, as is shown, by the instant of change in the maximal eigenvalue of the covariance matrix of observations. The estimation and detection algorithms are applicable to estimate the parameters of the direction vector and arrival instants of P- and S-waves at automatic seismic stations.     

各向同性同质区域选取的高光谱遥感图像噪声估计方法

在现有高光谱遥感图像噪声估计方法中,同质区域的选取通常是最关键的步骤,有效的同质区域选取方法能够提高图像的噪声估计精度。本文充分利用了高光谱遥感图像中丰富的空间信息和光谱信息,提出了一种各向同性同质区域选取算法,其中,为了更好地区分同质区域内像元相似度,构造了一种新的兰氏-光谱角度量;结合基于多元线性回归的去相关法,通过最优区域评估高光谱遥感图像噪声水平。利用不同结构及信噪比的模拟图像和真实高光谱遥感图像进行实验,通过与现有的多种噪声估计方法比较,验证了本文方法在针对不同噪声水平、不同复杂程度的图像时更加准确和稳定。     

基于rPPG的生理指标测量方法综述

远程光电容积脉搏波描记法（remote photoplethysmography,rPPG）是指通过摄像头等传感器来捕捉由心动周期造成的皮肤颜色周期性变化的技术。利用rPPG技术可以提取血液体积脉冲信号,进而测量心率、呼吸率和心跳变异性等心动周期相关的生理指标。近年基于rPPG的生理指标测量方法取得了飞速发展,准确性和鲁棒性已得到了大幅提高。该类技术的算法流程主要包括图像/视频的获取和感兴趣区域提取、血液体积脉冲信号提取和生理指标测量等步骤。基于这一算法流程,本文从算法所依据的假设或先验知识出发,对相关文献进行了总结和讨论。此外,还从评测任务、评测数据、评测指标及评测协议等4个方面系统整理针对基于rPPG的生理指标测量方法的评价体系。最后,本文讨论了该领域当前所面临的挑战并展望了可能的技术路线。