基于动态贝叶斯网络的音视频联合说话人跟踪

将多传感器信息融合技术用于说话人跟踪问题, 提出了一种基于动态贝叶斯网络的音视频联合说话人跟踪方法. 在动态贝叶斯网络中, 该方法分别采用麦克风阵列声源定位、人脸肤色检测以及音视频互信息最大化三种感知方式获取与说话人位置相关的量测信息; 然后采用粒子滤波对这些信息进行融合, 通过贝叶斯推理实现说话人的有效跟踪; 并运用信息熵理论对三种感知方式进行动态管理, 以提高跟踪系统的整体性能. 实验结果验证了本文方法的有效性.     

音视频信息融合的说话人跟踪算法研究

针对单独的音频和视频信息跟踪的缺陷,提出了一种音视频信息融合的粒子滤波跟踪算法。采用闭环跟踪框架,分为底层跟踪、融合、重要性粒子滤波、跟踪输出和反馈五个环节。底层跟踪环节利用说话人脸部肤色信息进行均值漂移跟踪的同时,利用说话人声音信号到达麦克风阵列的时间延迟进行跟踪定位;融合环节对这两者得到的跟踪信息进行整合,得出基于音视频信息融合的重要性函数和融合似然模型;滤波环节利用重要性粒子滤波算法对融合的数据进行滤波处理;跟踪环节根据滤波结果对说话人进行跟踪;反馈环节将跟踪结果动态反馈给人脸肤色跟踪和声源定位跟踪模块。流程化的闭环处理过程保证了算法的实时性。最后,采用AMI会议语料库对该算法进行测试,结果表明该算法平均误跟率仅为9.32%,比使用单一音频或视频信息的跟踪算法稳定性好、准确性高。     

基于多人遮挡的定位跟踪算法

针对传统视频跟踪算法中存在的问题,提出一种基于多人遮挡问题的定位跟踪算法,该算法采用改进的投影分析方法对运动目标进行定位,并结合Kalman滤波进行匹配跟踪。仿真实验结果表明,该算法能够有效区分、定位、跟踪处于2种不同遮挡状态下的每个人的位置,具有一定应用价值。     

Kalman滤波在井下人员跟踪定位中的应用

针对基于RSSI定位算法在定位过程中不具备连续性问题,提出了一种基于Kalman滤波的连续性井下人员定位方法。采用Kalman滤波对基于RSSI定位算法估算出的井下人员位置坐标进行滤波处理,在此坐标的基础上,建立Kalman滤波模型,利用Kalman滤波实现对井下人员的实时跟踪。实验结果表明,基于Kalman滤波的定位方法对井下人员的跟踪效果较好,提高了系统的实时性和跟踪精度。     

用于增强现实手术导航系统的光学-惯性混合跟踪方法

针对手术导航系统中光学跟踪容易受到遮挡影响的问题,提出一种将光学和惯性跟踪信息进行融合的方法.该方法利用有较高精度的光学跟踪系统对惯性传感器的偏置误差进行估算,使用FIR滤波器对惯性传感器测量噪声进行滤波,该方法通过Kalman滤波器完成数据融合得到目标姿态.当出现部分光学遮挡时,混合跟踪系统将未被遮挡的标志点位置信息与目标的姿态信息进行融合得到完整的6自由度位姿信息.实验结果表明,通过融合光学和惯性跟踪信息,能够在部分遮挡条件下得到准确的位置和姿态信息,并将虚实融合手术导航图像准确地反馈给用户.     

基于模糊熵高斯聚类的弱点状动目标跟踪技术

研究了一种基于最大模糊熵高斯聚类的实时图像目标跟踪算法:在目标初始信息(位置、速度)已知的情况下,应用最大模糊熵高斯聚类的方法进行跟踪窗内测量点融合,将融合后的点输入到Kalman滤波器中进行预测目标点下一个状态的位置,在预测位置继续开一个跟踪窗进行检测、融合,直至所有图像都被跟踪完为止。理论及实验结果表明,在序列图像情况下该算法能够在保持跟踪实时性的同时,提供较高的跟踪精度。     

基于TMS320C6203的实时弱目标跟踪研究

介绍一种基于DSP实现弱目标跟踪的方法,该系统主要是以高速数字信号处理器TMS320C6203作为核心器件,并与FPGA和CPLD相结合跟踪弱目标。首先通过统计像素数的方法粗略计算目标位置,根据获得目标的位置和大小进行局部精确搜索,减少计算量,然后采用重心跟踪结合线性预测的方法对目标进行跟踪,通过串口通讯在显示器上我们可以看到跟踪结果。实验结果表明可以对目标进行准确定位,达到实时跟踪的目的。     

视频图像序列中人体目标的提取与跟踪

针对人体目标运动的非刚体性而难以跟踪问题,提出了一种基于视频图像的人体跟踪方法。首先获取人体目标,选取目标若干子区域作为跟踪模板,用Kalman滤波和最小差值法作为相似性测度的相关跟踪对各子区域进行精确定位,最后将各个子区域跟踪结果进行位置融合得到最终的人体目标位置。实验表明,该方法对人体目标细节性形变和大的形变均能进行有效跟踪。     

基于梯度特征和颜色特征的运动目标跟踪算法

由于在复杂背景下仅针对目标的颜色或梯度特征进行跟踪存在不足,提出一种基于梯度特征和颜色特征相融合的CG_CamShift跟踪算法。该算法充分利用颜色直方图对目标全局的描述及方向梯度图对结构信息的描述,并结合Kalman滤波对运动目标位置进行预测,解决了复杂背景下光照、遮挡等引起的目标跟踪丢失等问题。实验结果表明,该方法在保障跟踪实时性的前提下提高了跟踪精度,并具有较强的鲁棒性。     

分块多特征自适应融合的多目标视觉跟踪

为提高多目标视觉跟踪算法的实时性和稳定性,提出了分块多特征融合的目标跟踪算法.该算法融合底层颜色、纹理和边缘特征信息,以降低单一目标特征算法容易受复杂环境和目标形变的影响.建立分块目标多特征融合直方图模型,引入目标和背景区分度抑制背景分量,并且结合Kalman滤波器进行预测,在发生遮挡时根据置信度最大子块位置获取遮挡目标位置,实现目标稳定可靠的跟踪.实验结果表明:该算法对每帧图像的平均处理时间为36.2 ms,达到实时性的目的,且算法鲁棒性较强.     

Audio–Visual Active Speaker Tracking in Cluttered Indoors Environments $^{ast}$

We propose a system for detecting the active speaker in cluttered and reverberant environments where more than one person speaks and moves. Rather than using only audio information, the system utilizes audiovisual information from multiple acoustic and video sensors that feed separate audio and video tracking modules. The audio module operates using a particle filter (PF) and an information-theoretic framework to provide accurate acoustic source location under reverberant conditions. The video subsystem combines in 3-D a number of 2-D trackers based on a variation of Stauffer's adaptive background algorithm with spatiotemporal adaptation of the learning parameters and a Kalman tracker in a feedback configuration. Extensive experiments show that gains are to be expected when fusion of the separate modalities is performed to detect the active speaker.      

Audio–Visual Active Speaker Tracking in Cluttered Indoors Environments

We propose a system for detecting the active speaker in cluttered and reverberant environments where more than one person speaks and moves. Rather than using only audio information, the system utilizes audiovisual information from multiple acoustic and video sensors that feed separate audio and video tracking modules. The audio module operates using a particle filter (PF) and an information-theoretic framework to provide accurate acoustic source location under reverberant conditions. The video subsystem combines in 3-D a number of 2-D trackers based on a variation of Stauffer's adaptive background algorithm with spatiotemporal adaptation of the learning parameters and a Kalman tracker in a feedback configuration. Extensive experiments show that gains are to be expected when fusion of the separate modalities is performed to detect the active speaker.     

Audio-visual active speaker tracking in cluttered indoors environments

We propose a system for detecting the active speaker in cluttered and reverberant environments where more than one person speaks and moves. Rather than using only audio information, the system utilizes audiovisual information from multiple acoustic and video sensors that feed separate audio and video tracking modules. The audio module operates using a particle filter (PF) and an information-theoretic framework to provide accurate acoustic source location under reverberant conditions. The video subsystem combines in 3-D a number of 2-D trackers based on a variation of Stauffer's adaptive background algorithm with spatiotemporal adaptation of the learning parameters and a Kalman tracker in a feedback configuration. Extensive experiments show that gains are to be expected when fusion of the separate modalities is performed to detect the active speaker.     

紧耦合多传感器混合跟踪算法

在增强现实应用中实现对运动目标的准确跟踪是一个具有挑战性的任务。基于混合跟踪通过对多传感器信息的融合通常比单一传感器跟踪算法更为优越的特性,提出了一种新的紧耦合混合跟踪算法实现视觉与惯性传感器信息的实时融合。该算法基于多频率的测量数据同步,通过强跟踪滤波器引入时变衰减因子自适应调整滤波预测误差协方差,实现对运动目标位置数据的准确估计。通过标示物被遮挡状态下的跟踪实验结果表明,该方法能有效改善基于扩展卡尔曼滤波器的混合跟踪算法对运动目标位置信息预测估计的准确性,提高跟踪快速移动目标的稳定性,适用于大范围移动条件下的增强现实系统。     

Robust visual tracking control system of a mobile robot based on a dual-Jacobian visual interaction model

This paper presents a novel design of a robust visual tracking control system, which consists of a visual tracking controller and a visual state estimator. This system facilitates human–robot interaction of a unicycle-modeled mobile robot equipped with a tilt camera. Based on a novel dual-Jacobian visual interaction model, a robust visual tracking controller is proposed to track a dynamic moving target. The proposed controller not only possesses some degree of robustness against the system model uncertainties, but also tracks the target without its 3D velocity information. The visual state estimator aims to estimate the optimal system state and target image velocity, which is used by the visual tracking controller. To achieve this, a self-tuning Kalman filter is proposed to estimate interesting parameters and to overcome the temporary occlusion problem. Furthermore, because the proposed method is fully working in the image space, the computational complexity and the sensor/camera modeling errors can be reduced. Experimental results validate the effectiveness of the proposed method, in terms of tracking performance, system convergence, and robustness.     

基于Tiny-YOLOV3的无人机地面目标跟踪算法设计

为了提高四旋翼无人机对地面目标跟踪的稳定性和跟踪精度,提出了一种结合Tiny-YOLOV3和卡尔曼滤波的跟踪算法;首先分析了Tiny-YOLOV3的原理和网络结构,并基于Tiny-YOLOV3的目标检测结果,结合无人机状态和目标的几何关系建立了目标跟踪系统的数学模型;接着对目标相对运动关系进行分析,建立目标的运动学模型,考虑到目标检测结果受干扰影响较大,应用卡尔曼滤波器实现对目标轨迹的滤波和预测,进而提升目标跟踪的精度;最后根据经过卡尔曼滤波后的目标轨迹信息设计无人机控制律,在轨迹控制的同时引入对无人机偏航角的控制,从而实现无人机对目标的稳定跟踪;仿真结果表明无人机对目标的位置跟踪精度在0.5 m以内,速度跟踪误差在0.2 m/s以内,偏航角跟踪误差在3°以内,跟踪效果良好,从而论证了所提算法的有效性。     

广播电视新闻中的主持人跟踪系统

针对广播电视新闻节目中的主持人跟踪问题,提出了一种将说话人分割聚类和说话人确认有效结合的算法,并根据该算法设计了一套主持人跟踪系统.该系统首先利用音频活动检测算法去除新闻音频资料中的静音段,然后说话人分割聚类算法将多说话人语音段分成若干单一话者语段,最后通过基于 GMM-UBM 的说话人确认算法辨认每段单一话者语段的话者身份是否为目标主持人.此外,分析了 T-Norm 对系统性能的影响.以中央电视台《新闻联播》为评测数据集,实验结果表明,该算法取得了良好的效果,跟踪系统的查准率(Precision)和查全率(Recall)分别为93.03%和84.34%.     

改进扩展卡尔曼滤波算法的目标跟踪算法

为了获得更加理想的运动目标跟踪效果,提出了一种基于改进扩展卡尔曼滤波的目标跟踪算法。构建时间差和信号到达方向的观测方程,利用几何和代数关系化简得到伪线性模型,通过改进卡尔曼滤波算法对目标运动轨迹进行跟踪,采用仿真实验对算法性能进行测试。结果表明,相对于传统扩展卡尔曼滤波算法,在相同条件下,该算法不仅提高了目标跟踪精度,而且使目标跟踪结果更加稳定。     

基于Kalman 预测的人体运动目标跟踪

在基于视觉图像的人体运动目标智能监控中,为了实现快速实时跟踪,使目标跟踪更为准确,利用Kalman方程的递推预估计能力,采用基于Kalman预测的目标跟踪方法,进行二维空间的运动仿真研究和室内环境下的实验测试分析。理论分析与实验结果都表明,该方法对目标的运动趋势和方向能够做出正确的预测估计,有效地提高目标跟踪的实时性,为后续的图像处理和分析提供了保证。