特征融合与视觉目标跟踪 *

针对跟踪过程中各类图像特征分离背景和目标能力的变化 ,提出一种基于增量判别分析的特征融合算法。该算法首先计算各特征图像的似然图 ,然后通过增量判别分析计算各特征分类性能 ,得到相应权重 ,并在此基础上求取融合似然图 ,通过粒子滤波算法确定待跟踪目标状态。通过对可见光及红外成像视频序列的仿真表明,该算法对环境光照变化、视角变化以及局部遮挡等均具有一定的鲁棒性。     

基于区域对比度和背景先验的显著目标检测

针对现有算法对复杂背景的图像检测效果较差的问题,提出融合区域对比度和背景先验的显著目标检测算法。首先利用超像素分割将图像分割成感知均匀的图像块,然后根据区域对比度计算全局对比度特征和空间聚集度特征,再根据背景先验得到背景集,计算图像块与背景集间的相似性特征,接着对三个特征显著图进行融合计算,最后根据每个像素与周围超像素的颜色和距离对比度得到每个像素的显著值。实验结果表明,所提算法能较均匀高亮整个目标且有效抑制无关背景信息。     

一种图像背景更换方法的实现

针对相对复杂图像的背景更换问题,本文先运用模糊C均值聚类算法（FCM）对图像进行模糊分割。再根据模糊分类后的图像,本文设计了一种图像目标提取方法。实验表明,这种方法能还原模糊分类后的图像目标,并使背景部分更换成其他颜色,从而实现图像目标的提取。最后,设计了一种新的数据融合法将两种不同的合成算法结合起来,最终使目标图像与其他背景图像有机的合成在一起,从而实现图像的背景更换。     

YOLOv3和双线性特征融合的细粒度图像分类

目的 细粒度图像分类是计算机视觉领域具有挑战性的课题,目的是将一个大的类别分为更详细的子类别,在工业和学术方面都有着十分广泛的研究需求。为了改善细粒度图像分类过程中不相关背景干扰和类别差异特征难以提取的问题,提出了一种将目标检测方法YOLOv3（you only look once）和双线性融合网络相结合的细粒度分类优化算法,以此提高细粒度图像分类的性能。方法 利用重新训练过的目标检测算法YOLOv3粗略确定目标在图像中的位置;使用背景抑制方法消除目标以外的信息干扰;利用融合不同通道、不同层级卷积层特征的方法对经典的细粒度分类算法双线性卷积神经网络（bilinear convolutional neural network,B-CNN）进行改进,优化分类性能,通过融合双线性网络中不同卷积层的特征向量,得到更加丰富的互补信息,从而提高细粒度分类精度。结果 实验结果表明,在CUB-200-2011（Caltech-UCSD Birds-200-2011）、Cars196和Aircrafts100数据集中,本文算法的分类准确率分别为86.3%、92.8%和89.0%,比经典的B-CNN细粒度分类算法分别提高了2.2%、1.5%和4.9%,验证了本文算法的有效性。同时,与已有细粒度图像分类算法相比也表现出一定的优势。结论 改进算法使用YOLOv3有效滤除了大量无关背景,通过特征融合方法来改进双线性卷积神经分类网络,丰富特征信息,使分类的结果更加精准。     

基于多尺度上下文信息的图像目标分类算法

针对真实场景图像的目标分类问题,提出一种基于多尺度上下文信息的分类算法.首先运用一种软判决采样机制对图像进行局部信息采样,使场景内混合的各类信息以一种鲁棒的方式得到有效分离;然后,进一步基于软判决采样和统计特征表达机制,计算各空间尺度下的目标上下文统计特征;最后,通过逻辑回归分类算法有效地融合多尺度的上下文信息,并作出分类决策.实验表明,所提出的算法能更好地刻画真实场景下目标的特性,明显提高图像目标分类性能.     

视频目标跟踪中的提升分类算法

针对目标跟踪过程中各类图像特征分离背景和目标能力的动态变化,提出一种基于协同训练框架的在线提升分类特征选择算法.该算法采用两组特征描述目标与背景区域各像素,并分别训练一在线提升分类器对特征组进行选择,然后综合分类结果,得到最优似然图像,基于该似然图像,采用粒子滤波对目标进行琅踪并通过图像处理方法获得最佳前景分割图.该方法的主要优点是仅需对首帧图像进行训练,并在跟踪过程中通过协同训练在线更新提升分类器.同时,实验表明该算法运算速度快,并能适应环境光照变化、遮挡等恶劣条件.     

基于多模型特征与精简注意力融合的图像分类

为了提高图像分类性能,本文提出一种多模型特征和注意力模块融合的图像分类算法(image classification algorithm based on Multi-model Feature and Reduced Attention fusion,MFRA).通过多模型特征融合,使网络学习输入图像不同层次的特征,增加特征互补性,提高特征提取能力;通过加入注意力模块,使网络更关注有目标的区域,降低无关的背景干扰信息.本文算法在Cifar-10,Cifar-100,Caltech-101这3个公开数据集上的大量实验对比,验证了其有效性.与现有算法对比,本文算法的分类性能有较为明显的提升.     

基于加权融合特征与Ostu分割的红外弱小目标检测算法

为提高红外弱小目标在复杂背景干扰与低信噪比条件下的检测精度与效率,基于局部加权融合特征与分类二维Ostu分割,提出红外弱小目标检测算法。利用红外弱小目标与背景的灰度差异,基于Top-Hat算子设计红外背景过滤机制,使弱小目标从背景中凸显出来,使用图像的熵值定义局部加权融合特征,完成弱小目标的粗定位。采用分形理论计算粗定位区域内所有像素的分维值,构建像素分维像模型完成弱小目标的细定位,并通过特征分类二维Ostu分割机制实现红外弱小目标的精确检测。测试结果表明,与现有红外弱小目标检测算法相比,该算法具有更高的检测精度与更短的检测耗时。     

分块多特征自适应融合的多目标视觉跟踪

为提高多目标视觉跟踪算法的实时性和稳定性,提出了分块多特征融合的目标跟踪算法.该算法融合底层颜色、纹理和边缘特征信息,以降低单一目标特征算法容易受复杂环境和目标形变的影响.建立分块目标多特征融合直方图模型,引入目标和背景区分度抑制背景分量,并且结合Kalman滤波器进行预测,在发生遮挡时根据置信度最大子块位置获取遮挡目标位置,实现目标稳定可靠的跟踪.实验结果表明:该算法对每帧图像的平均处理时间为36.2 ms,达到实时性的目的,且算法鲁棒性较强.     

基于PCA-SIFT特征与贝叶斯决策的图像分类算法

针对现有的基于SIFT特征的图像分类算法具有较大的储存空间需求及对图像背景较为敏感的问题,提出一种基于PCA-SIFT特征和贝叶斯决策的图像分类算法。该算法首先应用主成分分析将SIFT特征从128维降为36维,在训练过程中,对训练样本图像的PCA-SIFT进行区域匹配。基于匹配率选择目标图像中的稳定PCA-SIFT以提高算法对背景图像干扰的鲁棒性,然后应用最大似然估计估计概率分布参数,最后,应用贝叶斯决策理论实现图像分类。仿真实验表明,该算法与现有的SIFT图像分类算法相比分类精度高,而且具有最小的储存空间需求与较高的计算效率。     

一种用于智能监控的目标检测和跟踪方法*

在对现有目标检测、跟踪算法进行分析对比的基础上,设计并实现了一种简单有效的目标检测和跟踪方案。首先提出了一种基于像素灰度归类和单模态高斯模型的背景重构算法,能够利用多帧包含前景目标的场景图像重构准确的背景模型。进而以此为基础采用背景减法进行各帧中目标的检测,并选取形心作为匹配特征实现了场景中多个目标的有效跟踪。实验表明,该方法实现简单,无须事先提供背景图像即可实现目标的准确检测和跟踪,其性能明显优于传统基于时间平均背景模型的方法。     

Robust visual tracking via discriminative appearance model based on sparse coding

In this paper, we formulate visual tracking as a binary classification problem using a discriminative appearance model. To enhance the discriminative strength of the classifier in separating the object from the background, an over-complete dictionary containing structure information of both object and background is constructed which is used to encode the local patches inside the object region with sparsity constraint. These local sparse codes are then aggregated for object representation, and a classifier is learned to discriminate the target from the background. The candidate sample with largest classification score is considered as the tracking result. Different from recent sparsity-based tracking approaches that update the dictionary using a holistic template, we introduce a selective update strategy based on local image patches which alleviates the visual drift problem, especially when severe occlusion occurs. Experiments on challenging video sequences demonstrate that the proposed tracking algorithm performs favorably against several state-of-the-art methods.     

Multiple Object Tracking through Background Learning

This paper discusses about the new approach of multiple object tracking relative to background information. The concept of multiple object tracking through background learning is based upon the theory of relativity, that involves a frame of reference in spatial domain to localize and/or track any object. The field of multiple object tracking has seen a lot of research, but researchers have considered the background as redundant. However, in object tracking, the background plays a vital role and leads to definite improvement in the overall process of tracking. In the present work an algorithm is proposed for the multiple object tracking through background learning. The learning framework is based on graph embedding approach for localizing multiple objects. The graph utilizes the inherent capabilities of depth modelling that assist in prior to track occlusion avoidance among multiple objects. The proposed algorithm has been compared with the recent work available in literature on numerous performance evaluation measures. It is observed that our proposed algorithm gives better performance.     

Multi-object trajectory tracking

The majority of existing tracking algorithms are based on the maximum a posteriori solution of a probabilistic framework using a Hidden Markov Model, where the distribution of the object state at the current time instance is estimated based on current and previous observations. However, this approach is prone to errors caused by distractions such as occlusions, background clutters and multi-object confusions. In this paper, we propose a multiple object tracking algorithm that seeks the optimal state sequence that maximizes the joint multi-object state-observation probability. We call this algorithm trajectory tracking since it estimates the state sequence or “trajectory” instead of the current state. The algorithm is capable of tracking unknown time-varying number of multiple objects. We also introduce a novel observation model which is composed of the original image, the foreground mask given by background subtraction and the object detection map generated by an object detector. The image provides the object appearance information. The foreground mask enables the likelihood computation to consider the multi-object configuration in its entirety. The detection map consists of pixel-wise object detection scores, which drives the tracking algorithm to perform joint inference on both the number of objects and their configurations efficiently. The proposed algorithm has been implemented and tested extensively in a complete CCTV video surveillance system to monitor entries and detect tailgating and piggy-backing violations at access points for over six months. The system achieved 98.3% precision in event classification. The violation detection rate is 90.4% and the detection precision is 85.2%. The results clearly demonstrate the advantages of the proposed detection based trajectory tracking framework.     

基于粒子滤波和在线训练支持向量机的目标跟踪新方法

序列图像中运动目标跟踪的有效性和鲁棒性是一个非常富有挑战性的课题。为提高在运动背景条件下视觉目标跟踪的性能,克服复杂环境对跟踪算法准确性的影响,提出了一种基于粒子滤波和在线训练支持向量机的目标跟踪新方法。从目标的特征描述和提取着手,引入了积分直方图快速提取特征的方法,加快粒子滤波器运行速度,满足一定的实时性要求。同时,分析了运动背景条件下具有代表性的跟踪算法的本质和特性,结合目标识别创新性地提出在线训练支持向量机的方法,通过在线识别信息和跟踪信息的融合保证算法具备较强的鲁棒性。实验结果表明,该算法能有效的解决动态背景条件下遮挡、光照变化和运动模糊等复杂情况下,对目标进行准确、有效、近乎实时的跟踪。     

基于部分背景加权更新的均值漂移跟踪算法

为了解决均值漂移跟踪算法中背景对目标定位的扰动, 提出了一种基于颜色和纹理混合特征以及采用背景加权更新的改进算法。改进算法先将原始视频序列RGB帧图像转换为HSV颜色空间表示, 然后分别在H、S通道上提取颜色特征, 在V通道上用LBP描述符提取纹理特征, 在此基础上为目标区域和背景区域建立三维颜色纹理混合直方图作为其描述符; 在对象的跟踪过程中, 通过巴氏系数选择性地加权更新部分背景信息。实验结果表明, 与基于全部背景更新策略相比, 改进算法充分利用了颜色和纹理特征并加权更新背景信息, 具有更高的可靠性和鲁棒性, 具有更好的计算效率。     

基于自适应特征融合的粒子滤波目标跟踪算法

提出了一种基于自适应特征融合的粒子滤波跟踪算法,用于解决传统的粒子滤波跟踪方法在复杂背景下容易跟踪失败的问题。该算法选取颜色特征和边缘特征来描述目标,并通过粒子滤波进行特征融合,根据可靠性因子调整各特征的权值系数;在跟踪过程中,随着目标自身形变,自适应更新目标模板。实验结果表明,在复杂背景下以及受到遮挡时,本算法能够准确稳健地跟踪目标。     

基于均值漂移和边缘检测的轮廓跟踪算法

实时的轮廓跟踪算法可以为视频监控系统提供物体的轮廓信息以供对物体类别、物体行为等进行识别.提出一种基于均值漂移和边缘检测的轮廓跟踪算法.方法中,首先利用均值漂移算法跟踪得到目标物体的中心位置,同时用高斯统计模型进行背景更新,从前景图像和背景图像中分别得到具有相同位置和大小的前景矩形区域和背景矩形区域,然后用背景分割的方法得到目标物体区域,再对目标物体区域进行边缘检测就得到了目标物体的轮廓,进而实现了对目标物体的轮廓跟踪.实验表明,可以实时、准确、稳定地对目标物体进行轮廓跟踪.     

基于自适应背景的多特征融合目标跟踪

针对基于单一特征的目标跟踪算法,在复杂情形下,很难准确跟踪目标的问题,提出一种基于自适应背景的多特征融合目标跟踪算法。该算法利用颜色和基于灰度共生矩阵纹理特征表征目标,在粒子滤波的框中,通过分析在不同特征下,粒子空间分布、权值分布,以及特征对背景的区分性,提出一种有效的融合系数计算方法; 根据在跟踪过程中目标外观的变化情况,自适应更新目标模板。在不同场景下的实验结果表明:该算法在不降低实时性的前提下,抗背景干扰能力大幅度提高; 在各种场景下,均具有良好的稳定性和鲁棒性。     

Incremental Tensor Subspace Learning and Its Applications to Foreground Segmentation and Tracking

Appearance modeling is very important for background modeling and object tracking. Subspace learning-based algorithms have been used to model the appearances of objects or scenes. Current vector subspace-based algorithms cannot effectively represent spatial correlations between pixel values. Current tensor subspace-based algorithms construct an offline representation of image ensembles, and current online tensor subspace learning algorithms cannot be applied to background modeling and object tracking. In this paper, we propose an online tensor subspace learning algorithm which models appearance changes by incrementally learning a tensor subspace representation through adaptively updating the sample mean and an eigenbasis for each unfolding matrix of the tensor. The proposed incremental tensor subspace learning algorithm is applied to foreground segmentation and object tracking for grayscale and color image sequences. The new background models capture the intrinsic spatiotemporal characteristics of scenes. The new tracking algorithm captures the appearance characteristics of an object during tracking and uses a particle filter to estimate the optimal object state. Experimental evaluations against state-of-the-art algorithms demonstrate the promise and effectiveness of the proposed incremental tensor subspace learning algorithm, and its applications to foreground segmentation and object tracking.