基于动态贝叶斯网络的音视频联合说话人跟踪

将多传感器信息融合技术用于说话人跟踪问题, 提出了一种基于动态贝叶斯网络的音视频联合说话人跟踪方法. 在动态贝叶斯网络中, 该方法分别采用麦克风阵列声源定位、人脸肤色检测以及音视频互信息最大化三种感知方式获取与说话人位置相关的量测信息; 然后采用粒子滤波对这些信息进行融合, 通过贝叶斯推理实现说话人的有效跟踪; 并运用信息熵理论对三种感知方式进行动态管理, 以提高跟踪系统的整体性能. 实验结果验证了本文方法的有效性.     

基于DSP的说话人定位跟踪系统的设计

针对室内说话人实时定位跟踪不准确的问题,提出了一种基于TMS320DM6437硬件平台的音视频融合定位跟踪方法。该方法利用Kalman滤波器和Mean-shift算法搜寻说话人最优位置进行视频定位跟踪。同时,采用到达时间差的音频方法进行目标位置估计。由Kalman信息整合中心进行音视频融合,以提高视听系统定位跟踪的稳定性。实验结果表明,与单模态定位跟踪系统相比,该方法对320×240的图像可实现平均20frame/s的跟踪速度,能提高目标定位跟踪准确度17%,改进效果明显且稳定。     

基于粒子滤波的双模图像融合自适应跟踪

针对视频跟踪中仅利用目标的单特征容易导致跟踪失败的问题,提出一种基于粒子滤波的可见光与红外序列图像相融合的自适应目标跟踪算法;该算法在粒子滤波跟踪算法框架下,根据单一信源运动目标序列图像的品质因子,利用自适应加权融合策略重构双模序列图像的特征选择机制,建立了基于自适应融合算法的系统观测概率模型和状态空间层次采样多特征融合跟踪算法,实现了对双模序列图像的融合以及对运动目标的稳健跟踪;跟踪试验结果表明,该算法可以有效实现对运动目标的稳健、准确跟踪。     

基于粒子滤波的声源方位跟踪算法

针对混响环境中说话人方位跟踪问题,提出一种基于粒子滤波的声源方位跟踪算法。该算法根据说话人的运动特点,在Langevin方程的基础上构建声源方位的动态模型,采用相位变换加权的可控响应功率作为定位函数,运用粒子滤波对声源方位进行跟踪。使用典型会议室环境下小型麦克风阵列接收的真实数据来做实验。结果表明,该算法能有效地实现随机走动说话人的方位跟踪,并且在水平角和仰角方向的均方根误差均小于5°。     

基于特征组合的人脸跟踪方法

针对复杂背景下的彩色视频序列图像,提出一种基于多特征组合的人脸跟踪方法.该方法采用肤色特征与运动特征来描述视频序列图像中的人脸,分别构造特征似然作为区分人脸目标与背景的置信度,并利用粒子滤波框架原理,用组合的特征似然来表征粒子权重.该方法中提出的自肤色检测算法避免了光线与类肤色像素对肤色特征的影响.在跟踪过程中根据分类...     

基于肤色和Gabor纹理的粒子滤波人脸跟踪

基于单一颜色信息的跟踪方法容易受到相似颜色的干扰,应用于复杂场景时存在局限性。为此,提出一种在粒子滤波框架中结合肤色和Gabor纹理信息的人脸跟踪方法。从视频序列中提取目标人脸区域的肤色直方图以及Gabor纹理特征向量,通过这两种观测特征计算粒子集权重,估计系统状态。采用民主融合策略自适应调整观测特征的融合权重,从而增强目标描述的可靠性。同时利用彩色视频中可进行肤色检测和Gabor滤波器组在多尺度、多方向上提取纹理的优势,以及粒子滤波器能够适应非高斯、非线性系统的特点,提高视频人脸区域的跟踪精度。实验结果表明,该方法对于类肤色区域、复杂纹理背景、目标遮挡和快速移动等干扰具有较强的鲁棒性。     

基于CamShift和Kalman滤波混合的视频手势跟踪算法*

提出了一种基于CamShift和Kalman滤波混合的跟踪算法,实现了对视频图像中动态手势的跟踪。在跟踪过程中,CamShift利用手势的颜色直方图模型,将图像序列通过一个肤色概率查找表转换为肤色概率分布图,结合运动信息和肤色概率分布,初始化一个搜索窗的大小和位置,并根据上一帧跟踪的结果自适应调整搜索窗口的位置和大小,从而定位出当前图像中手势的中心位置。在CamShift算法基础上利用Kalman滤波对搜索窗口进行运动预测。实验表明,该算法快速准确可靠,并且较好地处理了跟踪过程中大面积肤色干扰问题,对复杂     

融合目标特征和空间信息的粒子滤波跟踪

传统的基于颜色直方图的粒子滤波跟踪算法不能很好地利用跟踪对象的空间结构信息,因此在邻域颜色相似或目标模型微小变化时,不能取得良好的跟踪效果。提出一种融合目标特征和目标空间位置信息的粒子滤波跟踪算法,该算法鉴于目标空间位置包含跟踪对象一定的结构信息,可以和目标特征互为补充,利用定义的融合目标特征和目标空间位置的度量函数来进行跟踪对象相似度度量,以提高跟踪算法的稳健性和精确性。同时针对粒子滤波计算粒子相似度时可并行的特点,运用OpenMP共享存储并行计算进行粒子滤波跟踪的加速。实验表明,基于融合目标特征和空间信息的粒子滤波跟踪算法能得到更鲁棒的跟踪效果,可以有效地提高目标跟踪的速度。     

改进的多特征粒子滤波目标跟踪算法研究

针对在复杂环境下多特征融合的粒子滤波算法跟踪精确度低的问题,提出一种改进的多特征融合算法;该算法采用二阶中心差分卡尔曼滤波方法来实现建议分布函数的优化,在重要性采样中融入最新的测量信息,提高了粒子的使用效率,并引入动态模板更新机制对目标模板实时更新;在多特征融合策略上利用基于粒子滤波框架下的EM算法适用于不同数量样本集的特点求解状态估计,不仅避免因计算特征权重产生误差,而且提高了算法的实时性;滤波器仿真实验结果表明,在一维非线性模型下对比其它改进粒子滤波算法,本文提出的方法性能最优;在基于视频序列的目标跟踪实验中,通过比较本文算法在不同特征、不同采样粒子数量条件下的性能对比验证本文算法的有效性;最后通过一系列不同环境下的跟踪实验证明,本文算法对复杂条件下的目标跟踪具有较高的精度和鲁棒性。     

基于Mean-Shift的卡尔曼粒子滤波车辆跟踪算法研究

在视频车辆跟踪算法中针对传统粒子滤波的非线性、非高斯性可能导致跟踪过程的不准确性,提出一种基于Mean-Shift的卡尔曼(Kalman)粒子滤波算法。该算法利用建立基于目标颜色直方图特征模型对视频车辆目标进行建模,并将其与Kalman滤波相结合进行更新;通过采用Mean Shift算法将Kalman滤波器引用到粒子滤波器当中,通过预测迭代,从而达到对车辆的运行轨迹的修正。将先验信息预测与粒子滤波相结合在保持跟踪系统整体上的非线性、非高斯性,兼顾了卡尔曼滤波局部的线性高斯特性。实验结果表明,该方法与传统粒子滤波方法相比,具有较好的实时性和较高的准确率,能够准确稳定地对目标车辆进行跟踪。     

Audio–Visual Active Speaker Tracking in Cluttered Indoors Environments

We propose a system for detecting the active speaker in cluttered and reverberant environments where more than one person speaks and moves. Rather than using only audio information, the system utilizes audiovisual information from multiple acoustic and video sensors that feed separate audio and video tracking modules. The audio module operates using a particle filter (PF) and an information-theoretic framework to provide accurate acoustic source location under reverberant conditions. The video subsystem combines in 3-D a number of 2-D trackers based on a variation of Stauffer's adaptive background algorithm with spatiotemporal adaptation of the learning parameters and a Kalman tracker in a feedback configuration. Extensive experiments show that gains are to be expected when fusion of the separate modalities is performed to detect the active speaker.     

Audio-visual active speaker tracking in cluttered indoors environments

We propose a system for detecting the active speaker in cluttered and reverberant environments where more than one person speaks and moves. Rather than using only audio information, the system utilizes audiovisual information from multiple acoustic and video sensors that feed separate audio and video tracking modules. The audio module operates using a particle filter (PF) and an information-theoretic framework to provide accurate acoustic source location under reverberant conditions. The video subsystem combines in 3-D a number of 2-D trackers based on a variation of Stauffer's adaptive background algorithm with spatiotemporal adaptation of the learning parameters and a Kalman tracker in a feedback configuration. Extensive experiments show that gains are to be expected when fusion of the separate modalities is performed to detect the active speaker.     

Audio–Visual Active Speaker Tracking in Cluttered Indoors Environments $^{ast}$

We propose a system for detecting the active speaker in cluttered and reverberant environments where more than one person speaks and moves. Rather than using only audio information, the system utilizes audiovisual information from multiple acoustic and video sensors that feed separate audio and video tracking modules. The audio module operates using a particle filter (PF) and an information-theoretic framework to provide accurate acoustic source location under reverberant conditions. The video subsystem combines in 3-D a number of 2-D trackers based on a variation of Stauffer's adaptive background algorithm with spatiotemporal adaptation of the learning parameters and a Kalman tracker in a feedback configuration. Extensive experiments show that gains are to be expected when fusion of the separate modalities is performed to detect the active speaker.      

Fusion tracking in color and infrared images using joint sparse representation

Currently sparse signal reconstruction gains considerable interest and is applied in many fields. In this paper, a similarity induced by joint sparse representation is designed to construct the likelihood function of particle filter tracker so that the color visual spectrum and thermal spectrum images can be fused for object tracking. The proposed fusion scheme performs joint sparse representation calculation on both modalities and the resultant tracking results are fused using min operation on the sparse representation coefficients. In addition, a co-learning approach is proposed to update the reference templates of both modality and enhance the tracking robustness. The proposed fusion scheme outperforms state-of-the-art approaches, and its effectiveness is verified using OTCBVS database.     

Dynamical information fusion of heterogeneous sensors for 3D tracking using particle swarm optimization

This paper presents a new method for three dimensional object tracking by fusing information from stereo vision and stereo audio. From the audio data, directional information about an object is extracted by the Generalized Cross Correlation (GCC) and the object’s position in the video data is detected using the Continuously Adaptive Mean shift (CAMshift) method. The obtained localization estimates combined with confidence measurements are then fused to track an object utilizing Particle Swarm Optimization (PSO). In our approach the particles move in the 3D space and iteratively evaluate their current position with regard to the localization estimates of the audio and video module and their confidences, which facilitates the direct determination of the object’s three dimensional position. This technique has low computational complexity and its tracking performance is independent of any kind of model, statistics, or assumptions, contrary to classical methods. The introduction of confidence measurements further increases the robustness and reliability of the entire tracking system and allows an adaptive and dynamical information fusion of heterogenous sensor information.     

基于自适应特征融合的粒子滤波目标跟踪算法

提出了一种基于自适应特征融合的粒子滤波跟踪算法,用于解决传统的粒子滤波跟踪方法在复杂背景下容易跟踪失败的问题。该算法选取颜色特征和边缘特征来描述目标,并通过粒子滤波进行特征融合,根据可靠性因子调整各特征的权值系数;在跟踪过程中,随着目标自身形变,自适应更新目标模板。实验结果表明,在复杂背景下以及受到遮挡时,本算法能够准确稳健地跟踪目标。     

一种新颖的基于颜色信息的粒子滤波器跟踪算法

传统的基于直方图的粒子滤波器算法常常需要在准确表达颜色分布和计算效率之间做出妥协,从而影响跟踪算法的性能甚至导致跟踪算法失败.针对这一问题,文中提出一种新颖的基于颜色信息的粒子滤波器跟踪算法.该算法采用自适应剖分颜色空间的概率模型,能够用较少的子空间准确地表达目标的颜色分布.文中进一步提出一种推广的积分图像,通过在该积分图像上进行数组索引操作得到每一个子空间的像素数目、均值向量和协方差矩阵,从而能够快速地计算出颜色模型.然而在CPU上计算积分图像十分耗时,为此文中提出一种基于GPU的并行算法快速计算积分图像.该并行算法在显卡的GPU上创建3个线程网格,分别顺序执行3个Kernel函数,依次完成创建原始积分图像以及对它的行和列执行前缀求和算法的任务.同传统的基于直方图的粒子滤波器算法相比,新算法每帧平均跟踪时间显著减少,同时跟踪准确性和鲁棒性都有较大提高.