引入视觉显著性的多特征融合跟踪

针对大多数目标跟踪算法采用单一特征描述目标,在背景区域出现相似的干扰特征时跟踪精确度较低的问题,提出了一种引入视觉显著性的多特征融合的目标跟踪算法。首先,采用视觉显著性机制处理颜色直方图得到显著性特征,再使用混合特征策略融合显著性特征和BRISK(binary robust invariant scalable keypoints)特征,获取目标前景和背景模型;其次,运用双向光流检测和误差度量提取动态特征,并使用自适应搜索机制提取候选目标区域的静态特征,融合动态特征和静态特征;最后,根据匹配算法估算目标跟踪框的自适应尺度及中心,确定目标在当前帧图像中所处的位置。实验结果表明,该算法能够处理强烈光照变化、目标尺度变化、快速运动及部分遮挡等情况下的目标跟踪问题,并实时稳定地获得单目标跟踪结果。     

基于差异颜色特性的自适应互补学习目标跟踪

针对模板与像素互补学习(Staple)算法中梯度直方图(HOG)特征对目标形状与尺度变化表达能力较弱,以及不能自适应地进行模型融合与模型更新的问题,提出一种基于差异颜色特性的自适应互补学习目标跟踪算法.首先在HOG特征基础上,增加具有良好形状与尺度不变性的颜色名特征,使用此多通道特征计算位置滤波器的响应图;其次计算颜色直方图特征的特征响应图,依据2种响应图的峰值和平均峰相关能量(APCE)指标自适应地分配权重,得到最终融合响应图;最后根据融合响应图的峰值和APCE指标实现高置信度的模型更新.在OTB-13和OTB-15标准测试集上与5种主流的跟踪算法进行实验的结果表明,该算法在目标形变、尺度变化、光照变化、遮挡等情况下均具有较高的鲁棒性,其跟踪精度和成功率指标都优于Staple及其他主流的跟踪算法.     

抗遮挡的自适应运动目标跟踪方法

针对复杂场景中的目标遮挡问题,提出一种基于均值漂移(Mean shift)和轨迹校正的自适应目标跟踪方法.由于Mean shift迭代易陷入局部最优点,这里引入Kalman滤波器以预测和校正目标运动轨迹,并根据迭代轨迹误差校正协方差,使得跟踪器在多峰值非高斯分布的复杂环境下也能收敛到全局最优点.基于Bhattacharrya系数计算色彩x、y方向分量相似度,并根据邻帧分量相似度偏差自适应调整相似度融合权值.综合当前帧和前面帧作用更新目标运动状态、特征和尺度模型.实验结果表明提出的方法对于静态场景遮挡和目标间互遮挡、部分和全部遮挡下的目标跟踪均具有鲁棒的跟踪性能.     

一种多特征自适应融合的球员跟踪算法

基于模型的跟踪方法难以处理足球视频中球员形态发生较大变化的情况。为此,提出一种改进的多特征自适应融合的球员跟踪算法。利用自适应高斯混合模型检测球场和球员区域,使用球员HUE颜色特征的Bhattacharyya距离度量法代替传统的模板匹配方法,辨别球队归属,自适应地融合目标模型的颜色、形状和时空特征信息,实现对球员的跟踪,采用三点估算预测方法解决球员完全遮挡现象。实验结果表明,该算法能较好地解决球员之间的遮挡问题,在球员形态变化较大时能实现稳定的跟踪。     

抗遮挡与尺度自适应的改进KCF跟踪算法

核相关滤波(kernel correlation filter,KCF)目标跟踪算法在目标发生尺度变化或受长时间遮挡时无法实现准确跟踪.对此,提出一种融合窗口滤波的抗遮挡尺度自适应的目标跟踪算法.首先,利用快速尺度估计对跟踪目标进行尺度变换;然后,当检测到目标受到遮挡时停止对分类器模型的更新,融合加权窗口滤波器对目标位置进行预测,并利用预测信息修正目标跟踪区域;最后,将所提出算法移植到DJI Guidance视觉平台上并为其设计跟踪实验.实验结果表明,该算法能够有效解决目标尺度变化与目标受遮挡等跟踪问题.     

自适应尺度特征融合与模型更新的跟踪算法

在核相关滤波器跟踪算法中,为了减少背景相似物等杂波对跟踪器的干扰,以及解决不同跟踪结果置信度下的模型更新问题,提出了自适应尺度特征融合与模型更新的跟踪算法。通过多特征融合和尺度变化策略改进了多特征的尺度核相关滤波器,使用多峰检测对响应图的整体振荡程度进行判断,再对峰值进行跟踪结果置信度评估;在遮挡、形变等跟踪结果置信度低的情况下及时停止模型更新,在高置信度模型更新时,引入初始模型进行对齐操作,减少模型的更新误差,抑制模型漂移。比较核相关滤波器算法,本算法准确度较高,且在目标尺度变化、遮挡和形变时稳定性更好。在OTB-50数据集上的实验结果表明,该算法在精度和成功率上都比核相关滤波器算法表现更优。     

基于特征融合及自适应模型更新的相关滤波目标跟踪算法

针对单一特征目标跟踪算法因背景干扰、目标遮挡造成的跟踪失败问题,以及跟踪过程中每帧进行模型更新容易造成错误更新和实时性差的问题,提出了一种基于特征融合及自适应模型更新策略的相关滤波目标跟踪算法-多特征自适应相关滤波目标跟踪算法。该算法在特征提取阶段将边缘特征及HOG特征加权融合作为目标特征,加强对边缘特征的学习;在模型更新阶段通过计算预测区域与真实区域的奇异值特征向量相似度,并结合设定的阈值判断是否需要进行模型更新,通过自适应更新的方式减少模型的更新次数。在标准测试视频集下验证所提算法,并与两种经典相关滤波算法进行比较,结果表明该算法能够较好地适应背景干扰及目标遮挡问题,跟踪目标的平均中心误差减少了9.05像素,平均距离精度提高12.2%,平均重叠率提高4.53%。     

融合尺度降维和重检测的长期跟踪算法

针对长期目标跟踪中存在的目标遮挡、尺度变化和光照变化等干扰造成的跟踪失败问题,提出一种融合尺度降维和重检测的长期目标跟踪算法.该算法在长期相关性跟踪算法的平移估计和尺度估计基础上,采用主成分分析降维策略来减少计算量,并建立高置信度样本集;当目标长期遮挡或丢失时,通过自适应阈值来启动在线分类检测器和最佳伙伴相似度匹配,重定位目标位置,并对模板均衡更新.在OTB-2015等标准数据集的部分序列上定量和定性评估的实验结果表明,文中算法的平均距离精度为95.4%,平均重叠成功率为89.2%,平均跟踪速度为23.68帧/s,且在遮挡、尺度变化和光照变化等场景下表现优异,能有效地实现长期目标跟踪.     

基于融合特征的多尺度快速相关滤波跟踪算法

针对复杂场景下目标遮挡和尺度变化所导致的跟踪效果不佳问题,提出一种基于融合特征的多尺度快速相关滤波跟踪算法。首先,对目标的3种特征降维融合构成特征矩阵;其次,采用主成分分析思想实时地提取显著特征,重构特征矩阵,在有效降维的同时训练位置相关滤波器;最后,利用融合特征矩阵训练尺度相关滤波器,从而准确预测目标位置和尺度。实验部分将改进算法与目前流行的相关滤波跟踪算法进行比较,结果表明,改进算法在目标遮挡和尺度变化场景下跟踪精度较高,平均跟踪速度达到52.5 frame/s。     

复杂背景下感兴趣运动目标的跟踪算法

针对由于复杂背景的干扰而导致不能准确跟踪感兴趣运动目标的问题,提出一种基于多特征自适应融合的粒子滤波跟踪算法。首先在HSV颜色空间中得到感兴趣运动目标的加权颜色分布模型,然后利用不变矩特征来消除背景中相似颜色物体和光照变化的干扰,两种特征通过自适应调整权重来更新粒子权值而融合于粒子滤波算法中,从而能够准确和稳定地跟踪运动目标。实验证明,该算法在运动目标平移、姿态变化、遮挡、光照变化及相似颜色干扰等复杂背景下都能够准确地进行跟踪,对背景干扰具有很强的鲁棒性。     

Semantic association enhancement transformer with relative position for image captioning

Transformer-based architectures have shown encouraging results in image captioning. They usually utilize self-attention based methods to establish the semantic association between objects in an image for predicting caption. However, when appearance features between the candidate object and query object show weak dependence, the self-attention based methods are hard to capture the semantic association between them. In this paper, a Semantic Association Enhancement Transformer model is proposed to address the above challenge. First, an Appearance-Geometry Multi-Head Attention is introduced to model a visual relationship by integrating the geometry features and appearance features of the objects. The visual relationship characterizes the semantic association and relative position among the objects. Secondly, a Visual Relationship Improving module is presented to weigh the importance of appearance feature and geometry feature of query object to the modeled visual relationship. Then, the visual relationship among different objects is adaptively improved according to the constructed importance, especially the objects with weak dependence on appearance features, thereby enhancing their semantic association. Extensive experiments on MS COCO dataset demonstrate that the proposed method outperforms the state-of-the-art methods.

     

基于SIFT 特征和粒子滤波的目标跟踪方法

现有的基于外观的目标跟踪算法,在光照变化和遮挡的情况下,不能准确跟踪目标．针对这个问题,考 虑到尺度不变特征（SIFT 特征）对于光照变换、尺度变换以及仿射变换的不变性,提出了一种利用SIFT 特征建立 目标模型,结合粒子滤波实现目标跟踪的新方法．在跟踪过程中,根据目标模型和候选目标中SIFT 特征点在时间 窗内的匹配情况,自适应更新目标模型的特征点,使模型能够适应目标外观变化．仿真结果证明了方法在不同环境 下的健壮性．     

一种基于联合轮廓特征矢量的目标识别方法

针对基于形状特征进行目标识别的方法存在的不足,提出一种联合轮廓不变矩特征和轮廓几何特征的识别方法;针对不同的待识别目标,采集足够数量的训练样本,统计每一个轮廓特征的均值、标准差和变异系数;并据此对这些轮廓特征进行动态筛选和加权,建立起待识别目标的联合轮廓特征矢量模型.在线识别时,提取场景目标的联合轮廓特征矢量,对其进行...     

结合时空一致性的FairMOT跟踪算法优化

目的 视频多目标跟踪(multiple object tracking,MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法 从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果 在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object tracking accuracy)值分别为71.2%、60.2%和36.1%,相比改进前的FairMOT算法分别提高了1.6%、3.2%和1.1%。与大多数其他现有方法对比,本文方法的MT(mostly tracked)比例更高,ML(mostly lost)比例更低,跟踪的整体性能更好。同时,在MOT17数据集中进行对比实验验证融合算法的有效性,结果表明提出的方法显著改善了多目标跟踪中的不一致问题。结论 本文提出的一致性跟踪方法,使特征在时间、空间以及训练测试中达成了更好的一致性,使多目标跟踪结果更加准确。     

Robot vision using a feature search strategy generated from a 3Dobject model

A robot vision system that automatically generates an object recognition strategy from a 3D model and recognizes the object using this strategy is presented. The appearance of an object from various viewpoints is described in terms of visible 2D features such as parallel lines and ellipses. Features are then ranked according to the number of viewpoints from which they are visible. The rank and feature extraction cost of each feature are used to generate a treelike strategy graph. This graph gives an efficient feature search order when the viewpoint is unknown, starting with commonly occurring features and ending with features specific to a certain viewpoint. The system searches for features in the order indicated by the graph. After detection, the system compares a lines representation generated from the 3D model with the image features to localize the object. Perspective projection is used in the localization process to obtain the precise position and attitude of the object, whereas orthographic projection is used in the strategy generation process to allow symbolic manipulation. Experimental results are given     

Sequential Monte Carlo for Bayesian matching of objects with occlusions

We consider the problem of locating instances of a known object in a novel scene by matching the fiducial features of the object. The appearance of the features and the shape of the object are modeled separately and combined in a Bayesian framework. In this paper, we present a novel matching scheme based on sequential Monte Carlo, in which the features are matched sequentially, utilizing the information about the locations of previously matched features to constrain the task. The particle representation of hypotheses about the object position allow matching in multimodal and cluttered environments, where batch algorithms may have convergence difficulties. The proposed method requires no initialization or predetermined matching order, as the sequence can be started from any feature. We also utilize a Bayesian model to deal with features that are not detected due to occlusions or abnormal appearance. In our experiments, the proposed matching system shows promising results, with performance equal to batch approaches when the target distribution is unimodal, while surpassing traditional methods under multimodal conditions. Using the occlusion model, the object can be localized from only a few visible features, with the nonvisible parts predicted from the conditional prior model.     

基于多外观模型的自适应加权目标跟踪算法*

偏最小二乘(PLS)跟踪算法忽略特征间及外观模型间的差异,容易受到光照、遮挡等因素的影响,降低目标的跟踪精度.针对上述问题,文中提出基于多外观模型的自适应加权目标跟踪算法(AWMA).首先使用PLS对目标区域逐步建立多个外观模型.然后根据各外观模型中特征的重要性及目标的显著度建立自适应权重的综合模型,融合多个外观模型完成目标与样本的误差分析.最后使用粒子滤波实现目标跟踪.实验表明,文中算法能更有效地过滤噪声数据,提高目标跟踪的鲁棒性和时间性能.     

连续跟踪状态下基于可分性特征的目标优化分类

针对拥塞复杂监控场景中目标的准确分类问题,提出了一种连续跟踪状态下基于可分性特征的目标优化分类方法。首先对整个场景中所有目标提取简单的颜色、形状和位置特征建立初始目标匹配,利用目标的运动方向及速率预测下帧中优先搜索区域以提高目标匹配效率,减少运算量,并对未建立对应关系的遮挡目标采用外观特征模型进行再匹配。为了提高目标分类的准确率,系统利用连续跟踪状态下目标特征的不间断提取和匹配,根据匹配最大概率决定最优分类结果。通过多种场景的实验结果表明,该方法的分类准确度比未利用连续跟踪信息的方案获得了更好分类准确度,平均达到了97%,有效改善了复杂场景中目标分类精度。     

Probabilistic Models of Appearance for 3-D Object Recognition

We describe how to model the appearance of a 3-D object using multiple views, learn such a model from training images, and use the model for object recognition. The model uses probability distributions to describe the range of possible variation in the object's appearance. These distributions are organized on two levels. Large variations are handled by partitioning training images into clusters corresponding to distinctly different views of the object. Within each cluster, smaller variations are represented by distributions characterizing uncertainty in the presence, position, and measurements of various discrete features of appearance. Many types of features are used, ranging in abstraction from edge segments to perceptual groupings and regions. A matching procedure uses the feature uncertainty information to guide the search for a match between model and image. Hypothesized feature pairings are used to estimate a viewpoint transformation taking account of feature uncertainty. These methods have been implemented in an object recognition system, OLIVER. Experiments show that OLIVER is capable of learning to recognize complex objects in cluttered images, while acquiring models that represent those objects using relatively few views.