结合级联卷积目标检测和跟踪的快速人头检测

针对图像序列中遮挡和角度变化等因素易造成人头漏检的情况,提出一种结合级联卷积目标检测模型MTCNN和核相关滤波(KCF)跟踪模型的快速人头检测方法,即MT-KCF人头检测模型。利用批次归一化改进MTCNN网络,采用级联的方式检测人头;将检测到的人头位置信息输入到KCF跟踪模型中,对人头目标进行快速稳定的跟踪;为确保持续稳定地检测到人头,在跟踪多帧后,再次利用检测模型重新对人头进行检测。实验结果表明:MT-KCF模型在图像序列中具有较高的检测精度和较快的检测速度,平均准确率为94. 85%,在640×480大小的图像序列中平均速度为108帧/s。     

基于Level Set方法的人脸轮廓提取与跟踪

提出一种基于level set方法的图像序列中人脸轮廓提取与跟踪算法，首先利用图像帧间差分快速检测出运动区域，并根据人脸图像的投影映射规则确定人脸所在的外接矩形，然后以此矩形作为初始曲线，采用一种改进的1evelset模型精确提取出入脸轮廓。由于图像序列中人脸是一直运动的，该文引入一阶线性Kalman滤波模型对人脸运动进行估计，从而较好地跟踪了运动中的人脸轮廓，实验结果表明该方法是有效的。     

基于ELM和核相关滤波器的自适应目标跟踪算法

针对传统的核相关滤波器(KCF)跟踪算法在目标快速运动、尺度变化和遮挡情况下通常会导致跟踪失败的问题,在传统的KCF算法的基础上引入极限学习机(ELM),提出一种基于ELM和KCF的自适应目标跟踪方法。根据过去时刻的目标位置信息,利用ELM预测出当前帧目标的可能位置;在该位置上以目标区域为基础进行多尺度目标图像特征采样,通过KCF确定目标的最终位置和最佳尺度;通过计算目标位置响应图的振荡程度来自适应地改变模型的更新速率。在36组公开视频序列上对所提算法与6种当前主流的相关滤波跟踪算法进行了实验,所提算法取得了最好的跟踪精度和成功率,能够有效处理目标遮挡、快速运动和尺度变化等问题,具有较为重要的理论研究和应用价值。     

基于遮挡检测和时空上下文信息的目标跟踪算法*

基于时空上下文信息的目标跟踪算法利用目标与背景之间的时空关系,在一定程度上解决静态遮挡问题,但当目标出现较大遮挡或快速运动目标被背景中物体遮挡(动态遮挡)时,仍然会出现跟踪不准确或跟丢的情况.基于此种情况,文中提出基于遮挡检测和时空上下文信息的目标跟踪算法.首先利用首帧图像中压缩后的光照不变颜色特征构造并初始化时空上下文模型.然后利用双向轨迹误差对输入的视频帧进行遮挡情况判断.如果相邻帧间目标区域特征点的双向匹配误差小于给定阈值,说明目标未出现严重遮挡或动态遮挡,可以利用时空上下文模型进行准确跟踪.否则利用文中提出的组合分类器对后续帧进行目标检测,直至重新检测到目标,同时对上下文模型和分类器进行在线更新.在多个视频帧序列上的测试表明,文中算法可以较好地解决复杂场景下较严重的静态遮挡和动态遮挡问题.     

基于多子块联合估计的相关滤波跟踪

针对遮挡情况下相关滤波算法跟踪精度下降的问题,提出了一种基于多子块联合估计的核相关滤波跟踪方法。首先依据初始帧跟踪框的几何特征对目标自适应分块,并采用KCF方法对各子块独立跟踪得到联合置信图;然后以上帧目标的位置及尺度作为先验信息对搜索区域采样,同时将样本框中置信图的权值密度作为观测值,利用粒子滤波算法实现候选目标的最优估计;最后对置信度较低的子块反向投影至上帧图像进行遮挡检测,防止模板错误更新。定性和定量实验结果表明,该方法与原始KCF算法相比跟踪精度提升约10%,具有良好的抗遮挡性,并对目标尺度变化具有一定的估计能力。     

基于三维模型和深度灰度约束加权的人脸姿态跟踪

提出种基于人脸三维模型和深度灰度约束加权对单目视频图像序列中的人脸空间姿态进行跟踪的方法．首先用仿射变换的方法得到初始帧的人脸姿态参数并作为姿态跟踪的起点;然后用三维几何信息对线性灰度和深度约束方程加权得到更精确的帧间运动参数,为了消除光照变化和遮蔽的影响,在跟踪过程中逐帧自动进行特征点更新．对模特头像和真实人脸的实验结果表明：该方法能实现精确而可靠的姿态跟踪,特别对深度方向变化较大的运动,效果更为明显．     

采用异常值检测及重定位改进的KCF跟踪算法

针对传统核相关滤波器（KCF）跟踪算法受光照变化、严重遮挡和出视野等因素影响,出现目标丢失现象时,跟踪器会将背景信息作为目标继续进行跟踪而不能重新定位目标的问题,在KCF的基础上,引入异常值检测方法作为目标丢失预警机制,同时,提出了目标丢失重检测定位机制。方法对每帧的峰值进行检测,发现异常峰值,则判定目标丢失或即将丢失,预警机制发出警告,停止目标模板更新,启动目标丢失重检测定位机制,在全帧搜索定位目标。实验结果表明,改进的算法精确度为0.751,成功率为0.579,较之传统KCF跟踪算法分别提高了5.77%和12.43%。解决KCF跟踪器在目标丢失后不能重新找回目标继续跟踪的问题,提升了跟踪算法的性能,实现了长期跟踪。     

彩色视频序列图像中的人脸跟踪方法

针对彩色视频序列图像的人脸检测，提出了一种基于肤色的人脸跟踪方法。该方法首先在Hsu提出的肤色模型基础上，采样一种自肤色分割算法来提取复杂背景下人脸的肤色特征，与传统的采用固定肤色模型的检测算法相比，该方法具有更好的检测效果；然后，在人脸跟踪过程中采用Condensation滤波跟踪算法，并对算法做了两点改进，即在跟踪过程中采用基于Metropolis算法的重采样方法以及自适应的动态模型，实现了复杂背景下的人脸自由运动的跟踪，并从各种影片中截取了彩色视频序列图像进行了测试实验。实验结果表明，该方法有效地解决了复杂背景下人脸自由运动、光照变化及部分遮挡的问题，且精度较高。     

基于改进KCF的跟踪注册方法

针对三维注册易受环境以及目标跟踪检测算法耗时严重、精度低的影响,提出改进KCF(I KCF)的跟踪注册方法。该方法分为4步：（1)利用正则最小二乘分类器的样本训练来获取尺度核相关滤波器和位置信息;（2)搜索尺度核相关滤波器和位置输出响应最大值,完成尺度和目标位置的检测;（3)借鉴MOSSE跟踪器更新方法对模型更新;（4)采用ORB算法对目标位置特征检测并计算出注册矩阵。选取视觉跟踪基准数据集中的6组数据以及拍摄的视频序列仿真实验。仿真结果表明,当目标位置发生旋转、缩放、部分遮挡、光照和运动模糊时,I KCF在精确度、成功率以及效率上总体优于KCF、TLD、Struck和CT算法;且目标位置与OpenGL立方体注册融合度较高;基于I KCF的AR系统具有较好的实时性、稳定性和鲁棒性。     

基于KCF和SIFT特征的抗遮挡目标跟踪算法

为了解决KCF目标跟踪中由于目标遮挡和目标尺度的变化造成跟踪目标丢失的问题,对核相关滤波器(KCF)目标跟踪的框架进行了研究,提出了一种基于KCF和SIFT特征的抗遮挡目标跟踪算法,引入了一种目标跟踪丢失后重新搜索定位目标的策略。利用尺度金字塔估计出目标的尺度,实现跟踪框自适应目标尺度大小,通过核相关滤波器(KCF)跟踪算法对目标进行跟踪。跟踪过程中对目标遮挡情况进行判断,当目标遮挡时,对当前帧跟踪框内的目标提取SIFT特征,生成模板特征。提取下一帧视频图像的SIFT特征并与模板特征进行匹配,框出与模板特征相匹配的目标,对目标继续进行跟踪。通过TB数据库标准视频序列和实际环境拍摄的视频序列进行测试。实验结果表明,跟踪框能适应目标的大小,在目标发生遮挡的情况下,能够重新找到目标并进行准确跟踪。     

一类视频序列中的人脸检测与实时跟踪算法

提出一种新的人脸快速检测与实时跟踪算法,能够对视频序列中的人脸进行快速、准确地检测和跟踪。算法分为开始状态、目标丢失状态的人脸检测和连续状态的目标跟踪。首先预测人脸两眼之间的中心位置,得到人脸的预测位置并对预测位置处的图像进行模板匹配,快速检测出人脸准确位置。然后利用检测出的人脸修正人脸模板,并在检测出的位置、旋转度、缩放比例等条件下,对后面序列图像进行小位置、小角度的快速跟踪。实验采用了多种环境下的大量视频,结果显示该算法能够快速跟踪视频序列中的人脸并具有很高的准确性、鲁棒性。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

基于在线特征选择的实时多姿态人脸跟踪

针对复杂条件下的人脸跟踪问题, 将显著区域跟踪算法和基于 Adaboost 的人脸检测算法相结合, 研发了一个实时多姿态人脸跟踪系统. 系统采用数据关联结果, 自动选择和切换检测器与跟踪器, 并通过引入环境信息增强跟踪算法的稳定性. 实验表明, 系统可在目标姿态变化、摄像机运动等复杂条件下进行自动人脸检测与跟踪, 对 320x240 的图像序列处理速度达到 10-12帧/秒.     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于在线特征选择的实时多姿态人脸跟踪

This paper presents a system that is able to reliably track multiple faces under varying poses(tilted and rotated)in real time.The system consists of two interactive modules.The first module performs the detection of the face that is subject to rotation. The second module carries out online learning-based face tracking.A mechanism that switches between the two modules is embedded into the system to automatically decide the best strategy for reliable tracking.The mechanism enables a smooth transit between the detection and tracking modules when one of them gives either nil or unreliable results.Extensive experiments demonstrate that the system can reliably carry out real time tracking of multiple faces in a complex background under different conditions such as out-of-plane rotation,tilting,fast nonlinear motion,partial occlusion,large scale changes,and camera motion.Moreover,it runs at a high speed of 10～12 frames per second(fps)for an image of 320×240.     

联合YOLOV3和核相关滤波算法的红外视频目标检测及跟踪

红外热成像视频与可见光视频相比噪点较多,细节模糊,缺少颜色特征,传统算法常出现目标检测错误、目标跟踪丢失的情况.对此,将YOLOV3目标检测算法与核相关滤波算法相结合,进行红外视频目标的检测及跟踪任务.加载训练后的YOLOV3网络模型进行第一帧目标检测,完成目标跟踪的初始化目标选取,使用KCF算法对后续视频帧进行目标跟...     

光流估计下的移动端实时人脸检测

为了提高移动设备人脸检测准确率,提出一种应用于移动设备的实时人脸检测算法。通过改进Viola-Jones方法进行人脸区域快速分割,在不损失速度的情况下提高分割精度;同时应用了光流估计方法将卷积神经网络子网络在离散关键帧上的特征提取结果传播至非关键帧,提高神经网络实际检测运行效率。实验使用YouTube视频人脸数据库、自建20人各1 min正位人脸视频数据库和实际检测项目在不同分辨率下进行,实验结果表明运行速度在2.35帧/秒~22.25帧/秒,达到了一般人脸检测水平;人脸检测在10%误检率下召回率由Viola-Jones的65.93%提高到82.5%~90.8%,接近卷积神经网络检测精度,满足了移动设备实时人脸检测的速度和精度要求。     

融合YOLOV5+DSST+KCF的目标检测跟踪算法在激光通信中的应用

在空间激光通信中,两通信设备实现激光通信需要经过粗瞄准与精瞄准的过程,而粗瞄准过程在大部分场景下需借助光学望远镜和信标激光等辅助实现,实施不易;针对在粗瞄准过程中如何快速、准确识别出激光通信设备,并辅助完成激光通信,提出将不同目标检测算法与长时跟踪KCF算法相结合;通过对比发现,YOLOV5+DSST+KCF(YDK)算法的平均帧率为12帧,在帧率满足系统要求情况下,YDK算法的响应峰值要比原KCF算法、HAAR+DSST+KCF(HDK)算法分别提高了43.5%、31.4%,且有效解决目标尺度变化问题。     

基于超球支持向量机的多姿态协同人脸检测

针对多姿态的人脸检测准确度差的问题,提出了一种多姿态的协同人脸检测模型。该模型由一组超球支持向量机组成,它们被分成三层：第一层1个、第二层3个、第三层9个,共13个支持向量机(SVM)。这些SVM按逐层精细化检测设计,协同完成人脸检测任务。因为一幅图像的大部分区域是非人脸,采用三层模型的设计一方面能提高人脸检测速度,另一方面也增强了检测的针对性,使得能逐层履行更精细的局部区域检测。另外,改进了k近邻(kNN)算法,使其能用于超球重叠样本的检测,并提高了人脸检测的准确度。实验结果表明,相对于传统基于SVM的人脸检测,所提算法在人脸检测的准确率上有5%左右的提升,通过逐层过滤,保证了人脸检测的速度。